어떻게 PostgreSQL를위한 알리 클라우드 AnalyticDB에 AWS에서 Redshift에 마이그레이션 응용 프로그램 및 데이터

PostgreSQL를위한 알리 클라우드 AnalyticDB 서비스를 창고 핵심 PostgreSQL을 기반 MPP 아키텍처, 실시간 데이터가 복잡한 ETL 작업을 지원할 수있는 등 (이하 ADB PG 라 함은, PostgreSQL을 원래 HybridDB이다), 또한 밀접하게 알리 클라우드 에코 시스템과 통합 된 고성능 온라인 쿼리를 지원합니다. 적색 편이가 같은 AWS의 MPP 데이터웨어 하우스 서버 PostgreSQL의 핵심 엔진을 기반으로, AWS 널리 데이터웨어 하우스로 사용되었습니다. 적색 편이 문법의 구조에서 높은 호환성 ADB PG 및 Redshift에. 이 문서에서는 두 숫자웨어 하우스 플랫폼 마이그레이션에 초점을 맞추고 있습니다.

제품 구조 비교

PostgreSQL의 9.4 최신 버전 6.0 빌드를 기반으로 PostgreSQL를위한 알리 구름 AnalyticDB이 Redshift에 PostgreSQL의 8.2 버전을 기반으로, 상대적으로 ADB PG 기능은보다 포괄적 인, 그리고 확장 된 분석 공동 생활 PostGIS와, 마들 리브 등을 포함하여 PostgreSQL의 생태 학적 도구와 완벽하게 호환된다. 만 서포트 칼럼 테이블 메모리를 적색 편이, 라인 메모리 테이블 기본 PostgreSQL을 지원하지 않으며, ADB PG의 PostgreSQL는 라인 메모리 테이블 지지체 유지 테이블 열의 지지체 OLAP 분석 존재한다.

PG 및 적색 편이를 위해 AnalyticDB 비교

기능 항목 ADB PG 적색 편이 비교
PostgreSQL의 버전 PG 9.4 PG 8.2 ADB는 환경 PG와 완벽하게 호환됩니다
SQL 구문 호환 PG, 오라클과 호환되는 구문의 일부 호환 PG ADB 호환성 강화
사무 지원 지원
라인 스토리지 지원 지원하지 않습니다 ADB PG를 기반으로 높은 처리량 데이터 저장 행 업데이트 작업
열 저장 지원 지원
저장 프로 시저 지원 지원하지 않습니다 PL / SQL에 대한 ADB의 지원은 PL / 자바 언어 등의 처리
파티션 테이블 지원 지원
클라우드 스토리지 지원 OSS 데이터에 대한 온라인 액세스를 지원 S3 온라인 데이터 액세스
멀티 모드 분석 PostGIS와, 마들 리브, 벡터 검색 지원하지 않습니다 ADB PG 임시 데이터 분석, 기계 학습 알고리즘, 비정형 데이터 검색

주요 문법 및 변환

구문이 높은 호환성, 그리고 다음과 같은 몇 가지 약간 다른 구문 설명 그래서 PostgreSQL을하고 PostgreSQL을 AWS Redshift에 대한 알리 클라우드 AnalyticDB는 독립형 핵심 엔진을 기반으로합니다.

빌드 문법 테이블에 DDL 차이

문법 적색 편이 ADB PG
해시 테이블 배포 DISTKEY (골) 배포 (골)
표 임의 유통 DISTSTYLE EVEN 임의로 분포
표 사본 배포 DISTSTYLE ALL DISTRIBUTED REPLICATED
데이터 압축 AZ64 / BYTEDICT / DELTA / LZO / RAW (비 압축) / 런 랭스 / ZSTD 와 (COMPRESSTYPE = {ZStD / ZLIB / QUICKLZ / RLE_TYPE / NONE})
열 정렬 키 예금 SORTKEY (골) 와 (APPENDONLY = TRUE, 방향 = 열) sortkey (볼륨)

문법 가이드

[ADB PG 빌드 테이블 가이드] ( https://help.aliyun.com/document_detail/118150.html )
[Redshift에이 (폼 가이드를 내장] https://docs.aws.amazon.com/redshift/latest/dg/r_CREATE_TABLE_NEW .html 중에서 )

데이터 마이그레이션

클라우드 스토리지에서 적색 편이와 ADB PG 지원 병렬 가져 오기 및 내보내기 데이터 알 수 있습니다. : PostgreSQL을위한 AnalyticDB에 데이터를 마이그레이션에서 적색 편이는 다음과 같은 단계를 포함
아마존 적색 편이, 아마존 S3 (아마존 간단한 진행하기 전에 미리 준비 준비 1. 자원과 환경을 PostgreSQL을위한 스토리지 서비스), AnalyticDB을 알리 클라우드 오브젝트 스토리지 서비스 (OSS)의 관련 자료.
아마존 S3에 2. 적색 편이 데이터를 가져옵니다.
OSS의에 CSV 형식의 데이터 파일 3. OSSImport 가져 오기 아마존 S3.
모드 (스키마), 테이블 (표), 뷰 (뷰) 및 함수 (기능)를 포함 PostgreSQL을위한 AnalyticDB Redshift에 대응하는 소스 및 타겟 오브젝트를 생성 제.
5. OSS 외부 테이블은 PostgreSQL을위한 AnalyticDB에 데이터를 가져옵니다.

다음과 같이 전체 마이그레이션 경로는 다음과 같습니다

데이터 이동

자세한 절차는에서 찾을 수 있습니다

추천

출처yq.aliyun.com/articles/742415