자기 소개
안녕하세요 여러분, 제 이름은 Yan Chengyu이고 현재 독립 개발자입니다. 데이터 개발, 기계 학습, 리소스 스케줄링 알고리즘 및 분산 시스템에 중점을 둡니다.
GitHub ID: CheneyYin
개인 홈페이지 : https://cheneyyin.github.io/
지역 사회에 어떤 기여를 했습니까?
- SeaTunnel 데이터 유형에 대한 Spark 엔진 및 Flink 엔진 지원이 향상되었습니다.
- Spark 엔진 변환 레이어의 일부 버그가 수정되었습니다.
- Assert 커넥터에서 지원하는 데이터 유형이 개선되었습니다.
- 일부 CI 관련 BUG를 수정했습니다.
- 일부 문서를 개선했습니다.
기여 기록: https://github.com/apache/seatunnel/pulls?q=is%3Apr+author%3ACheneyYin+is%3Aclosed
첫 만남
2022년부터 2023년까지 StreamSet, NiFi와 유사한 시각적 데이터 통합 소프트웨어를 개발하려고 노력해 왔습니다.
2023년 3월쯤까지 저는 간단한 시각적 데이터 통합 소프트웨어인 Metal을 완성하고 이를 GitHub 저장소로 마이그레이션했습니다. Metal은 단순한 기능을 가지고 있지만 디자인 아이디어와 기술 스택의 타당성을 성공적으로 검증했습니다.
devops.dev 커뮤니티에 게시된 "ETL에서 EtLT로의 아키텍처의 진화"라는 기사를 읽고서야 나는 작은 t의 개념, 일반 컴퓨팅 사용의 한계 등 데이터 통합에 대한 많은 새로운 관점을 배웠습니다. 엔진, 통합 실행 엔진 등의 가치.
동시에, 이것은 이러한 새로운 개념을 기반으로 구축된 Apache SeaTunnel에 대한 나의 첫 노출이기도 합니다. Apache SeaTunnel을 처음 시도한 후, 저는 이전의 방향을 과감히 포기하고 SeaTunnel 커뮤니티에서 활동하기로 결정했습니다.
첫 번째 PR 제출
저의 첫 번째 PR 이야기를 들려드리겠습니다. 초기에 SeaTunnel을 사용한 스트레스 테스트 중에 Spark 엔진에서 OOM(Out Of Memory) 예외가 발생하는 것을 발견했습니다.
먼저 문제를 재현 한 다음 디버깅하여 원인을 찾았습니다. 스파크 변환 레이어가 TransformerProcessor출력 결과를 임시로 메모리에 저장해 대용량 데이터를 처리할 때 힙 메모리가 부족한 것으로 나타났다.
문제를 심층적으로 분석하고 해결책을 찾은 후 첫 번째 이슈(#4502)를 Apache SeaTunnel 커뮤니티에 제출했습니다. 관심 있는 친구들이 이를 확인할 수 있습니다. 이번 이슈에서는 문제의 현상과 이유를 설명했습니다. 그리고 제안된 솔루션. 그 후 첫 번째 PR(#4503)을 제출했습니다.
첫 번째 PR은 제출부터 병합까지 단 4일밖에 걸리지 않았는데, 이는 커뮤니티의 효율적인 피드백 속도를 보여줍니다. 하지만 개인적으로 이 과정은 기대가 가득하고 길다. 특히 CI 환경에 이상이 생겨 테스트를 통과하지 못할 경우 더욱 그렇다.
그러나 커뮤니티의 선배들이 적시에 도움을 주었고 결국 PR이 성공적으로 병합되었습니다. 따라서 초기 기여에 참여할 때 선배 기여자들에게 도움을 구하는 것이 중요하며 모두가 기꺼이 도와줄 것입니다! 하지만 다른 사람의 시간을 너무 많이 낭비하지 않도록 주의하시기 바랍니다.
지속적인 참여
지난 1년 동안 저는 커뮤니티 활동에 적극적으로 참여하고, 기술 전문가가 공유한 콘텐츠를 읽고, 커뮤니티 문제를 팔로우하고 응답하며, Pull Request 목록을 지속적으로 추적해 왔습니다.
또한 커뮤니티에 일부 코드 기여도 했습니다.
예를 들어:
- Spark 엔진에 SeaTunnel의 시간 유형에 대한 지원을 추가했습니다(#5188).
- Flink 엔진에 구성 가능한 정밀도 및 배율을 위한 Decimal 유형 지원을 추가했습니다(#5419).
- 향상된 Hocon 스타일 일반 선언(#6187)
- 모든 데이터 유형을 포괄하도록 Assert 커넥터를 개선했습니다(#6275).
이러한 Pull Request의 대부분은 사용자 경험을 개선하도록 설계되었습니다.
커뮤니티에 대한 나의 인상
Apache SeaTunnel 커뮤니티에 대한 첫인상은 열정적이고 활동적이라는 것입니다. 커뮤니티는 이슈 및 풀 요청에 신속하게 응답하고, 새로운 기여자에게 매우 친절하고 인내심을 갖고 있어 새로운 기여자가 쉽고 빠르게 참여할 수 있도록 해줍니다.
미래의 기대
커뮤니티가 더욱 성장하고 더 많은 개발자를 유치하여 SeaTunnel의 개발을 촉진할 수 있기를 바랍니다. SeaTunnel의 사용자 기반이 지속적으로 확대되어 더 많은 사람들이 편리한 데이터 통합 솔루션을 즐길 수 있기를 바랍니다. 사용자 경험은 지속적으로 개선될 것으로 예상되며 SeaTunnel은 안정성 면에서 새로운 돌파구를 마련할 것입니다.
동시에 SeaTunnel의 문서가 더욱 자세하고 완전해져서 사용자가 신속하게 시작하고 문제를 해결할 수 있도록 포괄적이고 명확한 사용 가이드와 기술 문서를 제공할 수 있기를 바랍니다.
알려지지 않은 오픈 소스 프로젝트가 얼마나 많은 수익을 가져올 수 있습니까? Microsoft의 중국 AI 팀은 수백 명의 사람들을 모아 미국으로갔습니다. Huawei는 Yu Chengdong의 직업 변경이 15년 동안 "FFmpeg Pillar of Shame"에 못 박혔다 고 공식 발표했습니다. 이전에는 그랬지만 오늘은 우리에게 감사해야 합니다.— Tencent QQ Video가 과거의 굴욕을 복수한다고요? Huazhong University of Science and Technology의 오픈 소스 미러 사이트가 외부 액세스 보고를 위해 공식적으로 공개되었습니다 . Django는 여전히 74%의 개발자가 선택한 제품입니다. Zed 편집자는 유명한 오픈 소스 회사의 전직 직원이었습니다 . 소식을 전했습니다: 기술 리더는 부하 직원의 도전을 받은 후 격노하고 무례하게 행동하여 해고되었으며 임신했습니다. 여직원 Alibaba Cloud가 공식적으로 Tongyi Qianwen 2.5를 출시했습니다. Microsoft는 Rust Foundation에 100만 달러를 기부했습니다.이 기사는 Beluga Open Source Technology 에서 출판되었습니다 !