auto presentación
Hola a todos, mi nombre es Yan Chengyu y actualmente soy un desarrollador independiente. Centrarse en el desarrollo de datos, el aprendizaje automático, los algoritmos de programación de recursos y los sistemas distribuidos.
ID de GitHub: CheneyYin
Página de inicio personal: https://cheneyyin.github.io/
¿Qué contribuciones has hecho a la comunidad?
- Se mejoró la compatibilidad del motor Spark y el motor Flink para el tipo de datos SeaTunnel.
- Se corrigieron algunos errores en la capa de conversión del motor Spark.
- Se mejoraron los tipos de datos admitidos por el conector Assert.
- Se corrigieron algunos errores relacionados con CI.
- Se mejoró alguna documentación.
Registro de contribución: https://github.com/apache/seatunnel/pulls?q=is%3Apr+author%3ACeneyYin+is%3Aclosed
primer conocido
De 2022 a 2023, intenté desarrollar un software de integración de datos visuales similar a StreamSet y NiFi.
Hasta aproximadamente marzo de 2023, completé un sencillo software de integración de datos visuales, Metal, y lo migré a mi repositorio de GitHub. Aunque Metal tiene funciones simples, verificó con éxito la viabilidad de la idea de diseño y la pila de tecnología.
No fue hasta que leí el artículo "La evolución de la arquitectura de ETL a EtLT" publicado en la comunidad devops.dev que aprendí muchas perspectivas nuevas sobre la integración de datos, como el concepto de t pequeña, las limitaciones del uso de la informática general. motores, y el El valor de los motores de ejecución integrados y más.
Al mismo tiempo, esta es también mi primera exposición a Apache SeaTunnel, que se basa en estos nuevos conceptos. Después de probar Apache SeaTunnel por primera vez, abandoné resueltamente mi dirección anterior y elegí estar activo en la comunidad SeaTunnel.
Envía tu primer PR
Permítanme compartir con ustedes la historia de mi primer PR En los primeros días, durante una prueba de esfuerzo usando SeaTunnel, noté que el motor Spark arrojaba una excepción OOM (Memoria insuficiente).
Primero reproduje el problema, luego lo depuré y localicé la causa. Se descubrió que la capa de conversión de Spark TransformerProcessoralmacenaba temporalmente los resultados de salida en la memoria, lo que provocaba una memoria de almacenamiento dinámico insuficiente al procesar grandes cantidades de datos.
Después de un análisis en profundidad del problema y de encontrar una solución, envié mi primer número (#4502) a la comunidad Apache SeaTunnel. Los amigos interesados pueden consultarlo. En este número, expliqué el fenómeno del problema y sus motivos. y soluciones propuestas. Posteriormente, envié mi primer PR (#4503).
Mi primer PR tardó solo 4 días desde el envío hasta la fusión, lo que muestra la velocidad de retroalimentación eficiente de la comunidad. Pero para mí personalmente, este proceso está lleno de expectativas y es largo, especialmente cuando ocurre una anomalía en el entorno de CI y la prueba no pasa.
Sin embargo, los miembros senior de la comunidad brindaron ayuda oportuna y el PR finalmente se fusionó con éxito. Por lo tanto, cuando participa en contribuciones tempranas, es crucial buscar ayuda de los contribuyentes senior, ¡y todos estarán felices de ayudar! Pero también tenga cuidado de no hacer perder demasiado el tiempo a otras personas.
Participación continua
El año pasado, participé activamente en actividades de la comunidad, leí contenido compartido por expertos técnicos, seguí y respondí problemas de la comunidad y seguí rastreando la lista de solicitudes de extracción.
Además, también hice algunas contribuciones de código a la comunidad.
Por ejemplo:
- Se agregó soporte para el tipo de tiempo de SeaTunnel al motor Spark (#5188)
- Se agregó soporte de tipo decimal para precisión y escala configurables al motor Flink (#5419)
- Declaraciones genéricas estilo Hocon mejoradas (#6187)
- Se mejoró el conector Assert para cubrir todos los tipos de datos (#6275)
La mayoría de estas Pull Requests están diseñadas para mejorar la experiencia del usuario.
Mi impresión de la comunidad.
Mi primera impresión de la comunidad Apache SeaTunnel es que es entusiasta y activa. La comunidad responde rápidamente a los problemas y las solicitudes de extracción, y también es muy amigable y paciente con los nuevos contribuyentes, lo que hace que la participación de nuevos contribuyentes sea fácil y rápida.
expectativas futuras
Se espera que la comunidad pueda crecer aún más y atraer a más desarrolladores para promover el desarrollo de SeaTunnel. Esperamos que la base de usuarios de SeaTunnel continúe expandiéndose, permitiendo que más personas disfruten de sus convenientes soluciones de integración de datos. Se espera que la experiencia del usuario siga mejorando y que SeaTunnel logre nuevos avances en estabilidad.
Al mismo tiempo, esperamos que la documentación de SeaTunnel sea más detallada y completa, proporcionando guías de uso y documentación técnica completas y claras para que los usuarios puedan comenzar y resolver problemas rápidamente.
¿Cuántos ingresos puede generar un proyecto desconocido de código abierto? El equipo chino de inteligencia artificial de Microsoft empacó colectivamente y se fue a los Estados Unidos, involucrando a cientos de personas. Huawei anunció oficialmente que los cambios de trabajo de Yu Chengdong estaban clavados en el "Pilar de la vergüenza de FFmpeg" durante 15 años. Hace, pero hoy tiene que agradecernos—— ¿Tencent QQ Video venga su humillación pasada? El sitio espejo de código abierto de la Universidad de Ciencia y Tecnología de Huazhong está oficialmente abierto para acceso externo : Django sigue siendo la primera opción para el 74% de los desarrolladores. El editor Zed ha logrado avances en el soporte de Linux. Un ex empleado de una conocida empresa de código abierto . dio la noticia: después de ser desafiada por un subordinado, la líder técnica se puso furiosa y grosera, fue despedida y quedó embarazada. La empleada Alibaba Cloud lanza oficialmente Tongyi Qianwen 2.5 Microsoft dona 1 millón de dólares a la Fundación Rust.¡Este artículo fue publicado por Beluga Open Source Technology !