오늘 많은 기대를 모았던 Apache DolphinScheduler 버전 3.2.0이 드디어 출시되었습니다! 'Breaking Trailer!'를 포함한 이전 예고편 중! Apache DolphinScheduler 3.2.0 새로운 기능 "스포일러"" , "3.2.0 버전 미리보기! Apache DolphinScheduler API 관련 기능 강화" , "3.2.0 버전 미리보기! 원격 로그는 Worker 장애로 인해 로그를 얻을 수 없는 문제를 해결합니다 ." 및 " 3.2.0 Ultimate Preview! "k8S 지원의 클라우드 네이티브 지원 New Spark" 기사 요약 에서는 버전 3.2.0의 새로운 기능과 최적화를 대략적으로 다루었습니다.
이제 새 버전의 새로운 "모습"을 살펴 보겠습니다!
릴리스 노트: https://github.com/apache/dolphinscheduler/releases/tag/3.2.0
다운로드 주소: https://dolphinscheduler.apache.org/en-us/download/3.2.0
주요 업데이트는 다음과 같습니다.
- 기본 테넌트 추가
- 여러 데이터 소스 추가
- 새로운 작업 유형
- 작업을 다시 실행할 때 앞으로 또는 뒤로 실행할 워크플로를 지정합니다.
- 원격 로깅 기능 추가
- 매개변수 최적화
- 리소스 센터
- 페이지 유용성 향상
- 클라우드 네이티브 지원으로 k8S 지원에 Spark 추가
- 일부 Restful API를 추가했습니다.
- 등록센터에 ETCD, JDBC 등록센터 추가
- 아키텍처 최적화
기본 테넌트 추가
이전 버전에서는 배포 후 사용자가 수동으로 테넌트를 추가해야 했습니다. 사용자가 Apache DolphinScheduler를 보다 직접적으로 사용할 수 있도록 기본 테넌트가 버전 3.2.0에 추가되었습니다.
여러 데이터 소스 추가
Snowflake, Databend, Kyuubi, Doris, OceanBase, Dameng, AzureSQL, StarRocks, AWS Athena와 같은 여러 데이터 소스가 추가되었으며 Redshift가 액세스 키를 추가하는 등 일부 데이터 소스가 업데이트되었습니다.
새로운 작업 유형
다음을 포함하여 몇 가지 새로운 임무 유형이 추가되었습니다.
-
-
일반 모듈에 Remote-shell 구성요소 및 Java Task를 추가합니다.
-
Cloud 모듈에는 Amazon DMS, Azure Datafactory, AWS Database Migration이 추가되어 다양한 클라우드와의 상호 연결이 강화됩니다.
-
머신러닝 모듈에는 Kubeflow 구성요소(클라우드 네이티브 기반으로 구축된 대규모 머신러닝 작업 도구 모음)가 추가됩니다.
-
다른 모듈 중에서 AmazonDatasync 및 Apache Linkis가 추가되었습니다.
-
Presto를 지원하는 DataX, 출력 매개변수 전달을 추가하는 http 작업, 동시에 여러 Yarn 작업을 종료하기 위한 배치 실행과 같은 일부 작업이 업데이트되었습니다.
종속 항목은 자체 종속성을 지원합니다.
Zeppelin 인증을 지원합니다.
또한 이제 작업에서 캐싱을 지원할 수 있습니다.
Sqoop 로그는 비밀번호 숨기기를 지원합니다.
그리고 SQL 작업은 기본 커터를 지원합니다.
원격 로깅 기능 추가
버전 3.2.0은 원격 로그 기능을 추가하고 Google Cloud Storage, Amazon S3, Alibaba Cloud OSS 로그 스토리지를 지원하며, 사용자는 구성 파일을 편집하여 클라우드에 로그를 저장할 수 있어 예상치 못한 상황 발생 시 Woker 로그가 손실되는 문제를 해결할 수 있습니다. 상황에 따라 사용자가 로그를 볼 수 없는 문제가 있습니다.
자세한 내용은 "3.2.0 버전 미리보기!"를 참고해주세요! 원격 로그는 작업자 장애로 인해 로그를 얻을 수 없는 문제를 해결합니다 .
매개변수 최적화
- 프로젝트 수준 매개변수가 추가되었습니다.
- 매개변수 우선순위를 조정하세요. 시작 매개변수가 가장 높습니다.
- 내장된 매개변수 계산 규칙이 추가되었습니다.
- 파일 형식 매개변수가 추가되었습니다.
클라우드 네이티브 관련
- KEDA를 자동 확장 및 축소 작업자로 지원
- AWS에 Terraform 배포 지원
- zk와 pg는 여러 아키텍처를 지원합니다
- Kubernetes에 Spark 작업 제출(자세한 내용은 "3.2.0 Ultimate Preview! 클라우드 네이티브 지원으로 k8S 지원에 Spark 추가" 참조 )
- Pod 실시간 로그 가져오기
- 맞춤 k8s 작업 라벨
리소스 센터
Alibaba Cloud OSS, Huawei Cloud OBS 및 Azure Blob Storage에 대한 지원을 추가하고 리소스 센터를 재구성하고 기본적으로 로컬을 저장 매체로 사용하도록 설계했으며 지원을 다시 업로드했습니다.
리소스 센터에서는 오버레이 업로드를 허용하고, 파일 경로를 최적화하고, 파일의 전체 경로를 표시합니다. 또한, 이전 버전에서 리소스센터에 업로드된 동일한 종류의 파일은 삭제 후 재업로드만 가능했으나, 새 버전에서는 이 기능이 최적화되어 업로드 버튼을 눌러 업로드할 수 있게 되었습니다.
파일 재업로드 지원
API 개선
버전 3.2.0에서는 taskInstance, 워크플로 상태, 워크플로 인스턴스, 워크플로 및 일정, 작업 관계 등 일부 Restful API가 추가되었으며, API가 워크플로 실행을 트리거할 때 인스턴스 ID를 얻을 수 있으므로 API 기능이 크게 향상되었습니다. 아파치 돌핀 스케줄러.
자세한 내용은 " 3.2.0 버전 미리보기!"를 참조하세요. Apache DolphinScheduler API 관련 기능 강화》
페이지 가용성 향상
3.2.0에서는 현재 워크플로로 이동하기 위한 워크플로 인스턴스 추가, 워크플로 이름 복사, 열 너비 조정 및 기타 작업 등 페이지의 사용성과 편의성이 높아졌습니다.
워크플로 인스턴스로 이동
워크플로 이름 복사
목록 이름 너비 조정
기본적으로 설치 후 사용할 수 있는 기본 테넌트와 로컬 리소스 센터가 있습니다.
기본 테넌트
워크플로 인스턴스에서 작업을 다시 실행할 수 있으며 작업 실행 로그가 더 명확해졌습니다.
가독성을 높이기 위해 작업
json 내보내기를 다시 실행할 수 있습니다.
등록센터
ETCD 및 JDBC 등록 센터가 추가되었습니다.
건축학
- 경고는 HA를 지원합니다
- 단일 스레드 업데이트 Kerberos
- 작업자 서버는 dao 종속성을 제거합니다.
- 태스크 인스턴스의 실패한 태스크 인수
- 동적 작업 그룹 구성 추가
- 리팩터링된 논리적 작업 및 원격 명령
- 리소스 제한(CPU 메모리)이 절대값에서 백분율로 변경되었습니다.
- SSO가 지원됩니다
그 중 SSO가 지원되면 사용자는 Casdoor를 통해 SSO 로그인을 얻을 수 있습니다. Casdoor는 OAuth 2.0, OIDC, SAML 및 CAS를 기반으로 하는 UI 중심의 IAM(ID 액세스 관리)/SSO(Single Sign-On) 플랫폼입니다. 먼저 Casdoor를 배포하고 '클라이언트 ID'와 '클라이언트' 두 필드를 가져와야 합니다. secret`을 선택한 다음 Dolphinscheduler-api/src/main/resources/application.yaml 파일을 수정하여 SSO를 구성합니다.
다음 단계에 따라 Casdoor를 통해 Apache Dolphinscheduler에 SSO 기능을 추가할 수 있습니다.
security:
authentication:
# Authentication types (supported types: PASSWORD,LDAP,CASDOOR_SSO)
type: CASDOOR_SSO
casdoor:
# Your Casdoor server url
endpoint:
client-id:
client-secret:
# The certificate may be multi-line, you can use `|-` for ease
certificate:
# Your organization name added in Casdoor
organization-name:
# Your application name added in Casdoor
application-name:
# Doplhinscheduler login url
redirect-url: http://localhost:5173/login
기여자 목록
이번 릴리스에 대한 지도를 주신 @zhongjiajie와 지원을 해주신 다음 기여자들에게 감사드립니다.
레이쥔: 샤오미의 새 운영 체제인 ThePaper OS의 공식 버전이 패키징되었습니다. Gome App의 추첨 페이지에 팝업 창이 창시자를 모욕합니다. Ubuntu 23.10이 공식적으로 출시되었습니다. 금요일을 활용하여 업그레이드하는 것이 좋습니다! Ubuntu 23.10 릴리스 에피소드: 증오심 표현이 포함되어 있어 ISO 이미지가 긴급하게 "리콜"되었습니다. 23세 박사 과정 학생이 22세 Firefox에서 "유령 버그"를 수정했습니다. RustDesk 원격 데스크톱 1.2.3이 출시되었습니다. TiDB 7.4를 지원하기 위해 향상된 Wayland 릴리스 : MySQL 8.0과 공식 호환됩니다. Logitech USB 수신기를 분리한 후 Linux 커널이 충돌했습니다. 마스터는 Scratch를 사용하여 RISC-V 시뮬레이터를 문지르고 Linux 커널을 성공적으로 실행했습니다. JetBrains는 도구인 Writerside를 출시했습니다. 기술 문서를 작성하기 위한 것입니다.106umao, Abingcbc, AliceXiaoLu, BongBongBang, CallMeKingsley97, Chris-Arith, DarkAssassinator, EricGao888, EricPyZhou, FlechazoW, Gallardot, GavinGYM, IT-Kwj, LiXuemin, LucasClt, Mukvin, NoSuchField, Orange-Summer, QuantumXiecao, Radeity, Rianico , 시수 - Coder, SbloodyS, Tianqi-Dotes, TyrantLucifer, ZhongJinHacker, Zzih, ahuljh, alei1206, alextinng, amaoisnb, arlendp, baihongbin, bmk15897, boy-xiaozhang, c3Vu, caishunfeng, calvinjiang, darrkz, davidzollo, dddyszy, devosend, 에디콘스, eye- gu, fengjian1129, fuchanghai, guowei-su, haibingtown, hantmac, hdygxsj, hezean, hiSandog, hoey94, hstdream, huage1994, imizao, 주장777, iuhoay, jackfanwan, jbampton, jieguangzhou, kezhenxu94, kingbabingge, labbomb, lenian, ly 10 9974 , lynn-illumio, Moonkop, muggleChen, pandong2011, pppppjcc, qianli2022, qindongliang, qingwli, rickchengx, ruanwenjun, sandiegoe, Seedcoder, shangeyao, shenyun, simsicon, Sketchmind, stalary, Tracehh, whhe, xdu-chenrj, Xiaomin0322, xingxing 나, 쉬춘 lai,xxjingcd, yeahhhz, youzipi, zhangfane, zhangkuantian, zhaohehuhu,zhoufanglu, zhuangchong, zhutong6688, zhuxt2015, zzzhangqi 이 기사는 Beluga Open Source Technology 에서 출판되었습니다 !