Was habe ich vom unabhängigen Entwickler zum Mitwirkenden in der SeaTunnel-Community richtig gemacht?

Das Open-Source-Community-Team China machte seine erste Live-Übertragung und erzählte im Namen des Teilens die Geschichte hinter der Open-Source-Community China.“

Vorstellen

Hallo zusammen, mein Name ist Yan Chengyu und ich bin derzeit ein unabhängiger Entwickler. Der Schwerpunkt liegt auf Datenentwicklung, maschinellem Lernen, Ressourcenplanungsalgorithmen und verteilten Systemen.

Datei

GitHub-ID: CheneyYin

Persönliche Homepage: https://cheneyyin.github.io/

Welche Beiträge haben Sie für die Gemeinschaft geleistet?

Die Unterstützung der Spark-Engine und der Flink-Engine für den SeaTunnel-Datentyp wurde verbessert.
Einige Fehler in der Konvertierungsebene der Spark-Engine wurden behoben.
Die vom Assert-Connector unterstützten Datentypen wurden verbessert.
Einige CI-bezogene Fehler wurden behoben.
Einige Dokumentationen wurden verbessert.

Beitragsdatensatz: https://github.com/apache/seatunnel/pulls?q=is%3Apr+author%3ACcheneyYin+is%3Aclosed

Erste Bekanntschaft

Von 2022 bis 2023 habe ich versucht, eine visuelle Datenintegrationssoftware ähnlich wie StreamSet und NiFi zu entwickeln.

Bis etwa März 2023 habe ich eine einfache visuelle Datenintegrationssoftware Metal fertiggestellt und in mein GitHub-Repository migriert. Obwohl Metal über einfache Funktionen verfügt, konnte die Machbarkeit der Designidee und des Technologie-Stacks erfolgreich überprüft werden.

Erst als ich den in der devops.dev-Community veröffentlichten Artikel „Die Entwicklung der Architektur von ETL zu EtLT“ las, lernte ich viele neue Perspektiven zur Datenintegration kennen, wie zum Beispiel das Konzept des Small T und die Einschränkungen bei der Verwendung allgemeiner Datenverarbeitung Engines und der Wert integrierter Ausführungs-Engines und mehr.

Gleichzeitig ist dies auch mein erster Kontakt mit Apache SeaTunnel, das auf diesen neuen Konzepten aufbaut. Nachdem ich Apache SeaTunnel zum ersten Mal ausprobiert hatte, gab ich meine bisherige Ausrichtung entschieden auf und entschied mich dafür, in der SeaTunnel-Community aktiv zu werden.

Reichen Sie Ihre erste PR ein

Lassen Sie mich die Geschichte meiner ersten PR mit Ihnen teilen. Während eines Stresstests mit SeaTunnel bemerkte ich, dass die Spark-Engine eine OOM-Ausnahme (Out Of Memory) auslöste.

Ich habe das Problem zunächst reproduziert , dann Fehler behoben und die Ursache lokalisiert. Es wurde festgestellt, dass die Spark-Konvertierungsschicht TransformerProcessordie Ausgabeergebnisse vorübergehend im Speicher speicherte, was bei der Verarbeitung großer Datenmengen zu unzureichendem Heap-Speicher führte.

Nach einer eingehenden Analyse des Problems und der Suche nach einer Lösung habe ich meine erste Ausgabe (Nr. 4502) an die Apache SeaTunnel-Community gesendet. In dieser Ausgabe habe ich das Phänomen und die Gründe erläutert. und Lösungsvorschläge. Anschließend habe ich meine erste PR eingereicht (#4503).

Meine erste PR dauerte von der Einreichung bis zur Zusammenführung nur 4 Tage, was die effiziente Feedback-Geschwindigkeit der Community zeigt. Aber für mich persönlich ist dieser Prozess voller Erwartungen und langwierig, insbesondere wenn eine Anomalie in der CI-Umgebung auftritt und der Test nicht besteht.

Allerdings leisteten hochrangige Mitglieder der Community rechtzeitig Hilfe und die PR wurde schließlich erfolgreich zusammengeführt. Daher ist es bei der Teilnahme an frühen Beiträgen wichtig, Hilfe von hochrangigen Mitwirkenden einzuholen, und jeder wird gerne helfen! Aber bitte achten Sie auch darauf, die Zeit anderer nicht zu sehr zu verschwenden.

Kontinuierliche Teilnahme

Im vergangenen Jahr habe ich aktiv an Community-Aktivitäten teilgenommen, von technischen Experten geteilte Inhalte gelesen, Community-Probleme verfolgt und darauf reagiert und die Pull-Request-Liste weiterhin verfolgt.

Darüber hinaus habe ich auch einige Code-Beiträge für die Community geleistet.

Zum Beispiel:

Unterstützung für den Time-Typ von SeaTunnel zur Spark-Engine hinzugefügt (#5188)
Unterstützung für den Typ Decimal für konfigurierbare Genauigkeit und Skalierung zur Flink-Engine hinzugefügt (#5419)
Erweiterte generische Deklarationen im Hocon-Stil (#6187)
Der Assert-Connector wurde verbessert, um alle Datentypen abzudecken (#6275)

Die meisten dieser Pull-Anfragen dienen dazu, die Benutzererfahrung zu verbessern.

Mein Eindruck von der Community

Mein erster Eindruck von der Apache SeaTunnel-Community ist, dass sie enthusiastisch und aktiv ist. Die Community reagiert schnell auf Probleme und Pull-Anfragen und ist auch gegenüber neuen Mitwirkenden sehr freundlich und geduldig, sodass neue Mitwirkende einfach und schnell teilnehmen können.

Zukunftserwartungen

Es besteht die Hoffnung, dass die Community weiter wachsen und mehr Entwickler gewinnen kann, um die Entwicklung von SeaTunnel voranzutreiben. Wir hoffen, dass die Benutzerbasis von SeaTunnel weiter wächst, damit mehr Menschen von den praktischen Datenintegrationslösungen profitieren können. Es wird erwartet, dass sich das Benutzererlebnis weiter verbessert und SeaTunnel neue Durchbrüche in der Stabilität erzielen wird.

Gleichzeitig hoffen wir, dass die Dokumentation von SeaTunnel detaillierter und vollständiger wird und umfassende und klare Benutzerhandbücher und technische Dokumentationen bereitstellt, damit Benutzer schnell loslegen und Probleme lösen können.

Dieser Artikel wurde von Beluga Open Source Technology veröffentlicht !