단계별 튜토리얼 MO | DolphinScheduler를 사용하여 MatrixOne에 연결하는 방법

[생방송 미리보기] 99위안 클라우드 가상 머신 × 9위안 클라우드 네이티브 아키텍처 √

1. 개요

Apache DolphinScheduler는 시각적 DAG 워크플로 작업 예약을 위한 분산되고 쉽게 확장 가능한 오픈 소스 시스템입니다. 라이프사이클 전반에 걸쳐 작업, 워크플로, 데이터 처리 프로세스를 시각적으로 운영할 수 있는 솔루션을 제공합니다.

Apache DolphinScheduler의 주요 목표는 복잡한 빅데이터 작업 종속성을 해결하는 것입니다. DAG(Directed Acylic Graph) 스트리밍 방식을 사용하여 작업을 조합함으로써 작업의 실행 상태를 실시간으로 모니터링할 수 있으며 작업 재시도, 지정된 노드 복구 실패, 일시 중지, 재개, 종료 등의 작업을 지원합니다.

MatrixOne은 시각적 DAG 워크플로 작업 예약 시스템 DolphinScheduler와의 연결을 지원합니다. 이 문서에서는 DolphinScheduler를 통해 MatrixOne에 연결하고 작업 흐름을 생성하는 방법을 안내합니다.

2. 시작 전 준비사항

MatrixOne의 설치 및 시작이 완료되었습니다.
DolphinScheduler 설치가 완료되었습니다.

3 MySQL 드라이버 구성

1. MySQL 드라이버를 다운로드하고 libs 디렉터리에 복사합니다.

설치가 완료된 후 mysql-connector-java 드라이버(버전 8.0.16)를 수동으로 다운로드한 다음 DolphinScheduler 설치 디렉터리 아래의 4개 디렉터리( api-server/libs, Alert-server/libs)에 복사해야 합니다. , 마스터 서버/libs 및 작업자 서버/libs.

Note
推荐使用 `mysql-connector-java-8.0.16.jar` 作为 MySQL 驱动包。

2. DolphinScheduler를 다시 시작하세요.

드라이버 패키지를 복사한 후 DolphinScheduler 서비스를 다시 시작해야 합니다. 먼저 DolphinScheduler 설치 디렉터리를 입력한 후 다음 명령을 실행하여 DolphinScheduler 서비스를 다시 시작합니다.

# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server

3. DolphinScheduler에 로그인하세요.

다음 그림에 표시된 대로 기본 사용자 이름 admin 및 비밀번호 돌고래scheduler123을 사용하여 http:// ip:12345/dolphinscheduler /ui 에 액세스하여 DolphinScheduler 웹 사용자 인터페이스에 로그인합니다 .

4. 데이터 소스 생성

데이터 소스 센터 > 데이터 소스 생성을 클릭 하고 MatrixOne 데이터 연결 정보를 입력합니다. 완료 후 연결 테스트를 클릭하고 , 연결이 성공하면 확인을 클릭하여 저장합니다.

4 프로젝트 워크플로우 생성

1. 테넌트 생성

보안 센터 에서 테넌트 생성을 클릭 하고 다음 그림과 같이 테넌트 이름을 입력합니다.

Note

在生产环境中，不建议使用 root 作为租户。

2. 프로젝트 생성

프로젝트 관리 에서 프로젝트 생성을 클릭 하고 아래와 같이 프로젝트 이름을 입력합니다.

3. 워크플로우 생성 및 노드 추가

이전 단계에서 생성한 프로젝트 이름을 클릭한 다음 워크플로 만들기를 클릭합니다 . 왼쪽의 SQL 노드를 오른쪽 캔버스로 드래그하고 노드 이름, 데이터 소스 정보, SQL 유형, SQL 문을 입력 하고 확인을 클릭합니다 . 아래 그림과 같이:

이 단계에서는 테이블 생성 노드를 생성하고 SQL 문을 사용하여 테이블을 생성합니다.

다음으로, 유사하게 데이터 삽입 및 쿼리 데이터 노드를 생성합니다 . 이 세 노드의 종속성은 아래와 같으며 수동으로 연결할 수 있습니다.

세 노드에 대한 SQL 문은 다음과 같습니다.

#create_table
CREATE TABLE IF NOT EXISTS test_table (id INT AUTO_INCREMENT PRIMARY KEY, name
VARCHAR(255) NOT NULL)
#insert_data
INSERT INTO test_table (name) VALUES ('John Doe')
#select_data
SELECT * FROM test_table

종속성에 따라 이 세 노드를 연결하고 저장을 클릭합니다 . 워크플로우 이름을 입력하고 이전에 생성된 테넌트를 선택한 후 실행 전략을 병렬 로 선택 하고 확인을 클릭합니다 .

워크플로를 생성한 후 워크플로 관계 페이지에서 생성된 워크플로를 볼 수 있으며 상태는 Workflow 오프라인 입니다 .

마찬가지로, 워크플로 정의 페이지에서 정의된 워크플로를 볼 수도 있으며 해당 상태는 오프라인 입니다 .

4. 온라인으로 접속하여 워크플로를 실행하세요.

워크플로를 실행하려면 먼저 온라인 상태여야 합니다. 이전에 생성된 워크플로를 온라인으로 가져오려면 온라인으로 전환 버튼을 클릭하세요 .

온라인으로 전환된 후 워크플로우 상태는 아래와 같습니다.

그런 다음 실행 버튼을 클릭하고 시작 전 구성 매개변수를 설정한 후 확인을 클릭합니다.

마지막으로, 다음 그림과 같이 프로젝트 개요 로 돌아가서 워크플로와 다음 세 가지 작업이 성공적으로 실행되었는지 확인합니다.

매트릭스원 소개

MatrixOne은 퍼블릭 클라우드와 프라이빗 클라우드 모두에 배포할 수 있는 클라우드 네이티브 기술을 기반으로 하는 다중 모드 데이터베이스입니다. 본 제품은 스토리지와 컴퓨팅 분리, 읽기와 쓰기 분리, 핫과 콜드 분리 등 독창적인 기술 아키텍처를 사용하여 스토리지와 컴퓨팅 세트에서 트랜잭션, 분석, 흐름, 타이밍, 벡터 등 다중 로드를 동시에 지원할 수 있습니다. 컴퓨팅 시스템이며 실시간 및 주문형 격리 또는 공유 스토리지 및 컴퓨팅 리소스를 수행할 수 있습니다. 클라우드 기반 데이터베이스 MatrixOne은 사용자가 점점 더 복잡해지는 IT 아키텍처를 크게 단순화하고 최소한의, 매우 유연하고, 비용 효율적인 고성능 데이터 서비스를 제공하는 데 도움을 줄 수 있습니다.

MatrixOne Enterprise Edition과 MatrixOne Cloud Services는 출시 이후 인터넷, 금융, 에너지, 제조, 교육, 의료 등 다양한 산업 분야에 적용되었습니다. 고유한 아키텍처 설계 덕분에 사용자는 하드웨어, 운영 및 유지 관리 비용을 최대 70%까지 절감하고 개발 효율성을 3~5배 높이는 동시에 시장 수요 변화에 보다 유연하게 대응하고 혁신 기회를 보다 효율적으로 포착할 수 있습니다. . 동일한 하드웨어에 투자하면 MatrixOne은 몇 배 더 많은 성능 향상을 달성할 수 있습니다.

MatrixOne은 오픈 소스 및 생태학적 공동 구축 개념을 고수하며 모든 핵심 코드는 오픈 소스이며 MySQL 프로토콜과 완벽하게 호환됩니다. 또한 파트너와 함께 여러 엔드 투 엔드 솔루션을 만들어 사용자 마이그레이션을 크게 줄였습니다.

키워드: 하이퍼컨버지드 데이터베이스, 멀티모드 데이터베이스, 클라우드 네이티브 데이터베이스, 국내 데이터베이스.

MatrixOrigin 공식 웹사이트: 차세대 하이퍼 컨버지드 이기종 오픈 소스 데이터베이스-MatrixOrigin (Shenzhen) Information Technology Co., Ltd. MatrixOne

Github 제공: GitHub - Matrixorigin/matrixone: 하이퍼컨버지드 클라우드 에지 네이티브 데이터베이스