DBT (데이터 빌드 도구)의 경우에 대한 설명 :
1, ELT (데이터 추출, 데이터로드, 데이터 변환) 흐름의 데이터 처리는, DBT는 주로 프레임 T (에만 인식 공식 T) 및 L을 확인하는 데 사용되는 주로 구성 파일, 데이터 L 및 T의 정의에 의존한다;
예를 들어 구성 용지 경로 구성 데이터 파일은 데이터 파일 형식 (열 이름) 데이터 (고유 NOT_NULL, accepted_values 등), 데이터 변환 처리의 템플릿 유형을 검출;
구성 파일에 기초하여 DBT 프레임 데이터의 자동 처리하도록, 상기 데이터웨어 하우스에로드 데이터 파일, 프로브 데이터 규격, 데이터 변환 처리를하기 위해, 분석 데이터 세트를 생성하는데 사용될 수있다;
.SQL 변환 로직은 데이터 처리를 정의하는 데 사용되며, 2 .SQL, .yml 아이템 정보, 데이터 링크 정보는, 데이터 포맷, 데이터 타입 정보 검출을 정의하는 데 사용되는 프로파일 .yml, 두 가지 유형이있다;
도 3의 처리 흐름은 계층 분할에 의해 수행되는 전체 데이터 : 데이터 영역을로드 데이터 전처리 층 레이어 데이터 마트 프로파일은 층의 구성에 대해 정의되고, 각 층에 존재;
문서 데이터 처리 4, 출력 : 데이터웨어 하우스에 적재 된 원본 데이터, 데이터 검출 .yml 정의 형식에있어서, 품질 데이터는 탐사 및 생산 데이터 프로브 설명을도 1;
전체 데이터의 처리가 상기 데이터 모델은 혈액 및 데이터 모델 정의의 관계를 설명하는 보고서 /지도 데이터를 생성 할 수 있고, 완료 될 때,도 2,도 3이고;
DBT의 장점 :
1, 우려 코드 실행 순서없이 테이블과 뷰를 생성하는 걱정없이, 위의 코드 만 사용하여 논리를 개발하기 위해 관심의 개발을 설명 된대로 공식 웹 사이트, DBT의 자동 프레임 워크;
2, DBT 데이터 프레임이 정의 명세서 및 현상 공정을 가지며, 항목은 규범 제한 될 수 있으며
3 DBT 프레임 복잡성을 줄이고 같은 코딩 반복 수, 추출 된 일반 기능되었습니다 데이터 프로파일 구성 파일에 정의 된 프로브의 내용, 자동 DBT 프로브 출력의 결과, 코드의 발전을 방지하기 위해, 데이터는 감소 된 프로파일 링 어려움;
DBT이 부족합니다 :
1 DBT은 예컨대, CSV 파일과 같은 파일의 원시 데이터를 읽을 수있다;
이 같은 데이터웨어 하우스도 몇 종에 대한 지원 : 등 포스트 그레스, 프레스토, 스파크, 기타 데이터웨어 하우스의 경우, 플러그인을 개발하는 DBT의 필요성
로직 코드 처리를도 3의 데이터 구성 스펙 .SQL 파일 포맷, 코드 관리의 복잡성이 증가 복잡한 프로젝트 구성 파일 .SQL 포맷 실제 프로젝트 코드 데이터 라인의 리치 백에 따라 정의된다. 숫자는 코드 빗질과 관리의 복잡성에 가져, 많은 SQL 프로파일 될 것입니다;
4, 실제 프로젝트 데이터 객체 필드는 .yml 구성 파일이 그 이상 복잡 할 것이다 필드를 정의하고, 더 될 것입니다;
GitHub의 주소 :
https://github.com/fishtown-analytics/dbt