나는 데이터 테이블 전에 여러 번 벡터 데이터 세트가 포함 계산 말했다 하둡, MPP 및 스트림 프로세싱 엔진을 , 그러나 당신은 의미를 전달하는 것은 동일하지 않습니다 계산 된 데이터 캐리어의 세 가지 유형을 찾을 수 있습니다.
이제 우리 모두가 빅 데이터를 찾고 현장으로 돌진, 사실, 당신은 그냥 실시간 차원을 높이기 위해 기존의 오프라인 마케팅 기업 내의 모든 장면을 넣어, 기존의 대기업 데이터 사용이 가능한 새로운 가치 지점을 만들 수 있습니다 낮은 교수형 과일 사업.
그러나 현실은,이 사업이 빠르게 실시간 응용 프로그램 시나리오를 구현하는 간단한 SQL을 사용할 수없는 경우 조금 더 높은 임계 값을 달성하기 위해 실시간 애플리케이션 시나리오이며, 실시간 애플리케이션의 프로젝트의 건설을 완료 3-6 개월 사용할 필요하므로 탐사의 많은 또는 혁신적인 사라.
세 가지 빅 데이터 플랫폼 기술 구성 요소 하둡의 많은 기업, MPP 및 스트리밍은 몇 년 전,하지만 왜 번성으로 액세스와 같은 실시간 애플리케이션을 할 수 없을 것?
같은 IBM STREAM 다른 스트림 프로세싱 엔진은 몇 년 전 같은 특정 개발 임계 값을 가지고 있기 때문에, 우리는 심지어 데이터 스트림 처리 개발자의 팀이 없습니다.
우리의 대규모 기업은 실시간 데이터를 사용할 수 있어야합니다, 그것은 실시간 데이터 세트를 확립 할 필요가 실시간 응용 프로그램 데이터는 개발자가 단순한 SQL을 작성할 수 있습니다.
데이터 테이블
그래서 테이블에서, 실시간 데이터는 어떻게 할까?
다음은 사실, 가장 중요한이며, 당신이 이해 할 수 있도록 논리적 구조에 실시간 데이터의 테이블 실시간 모델의 레이어가.
1, 실시간 액세스 : 데이터의 종류가 다른 액세스 수로 +의 카프카는 이제 표준뿐만 아니라 다른 문서입니다 방법, 데이터베이스 등 DSG 기술을 필요로한다. 예를 들어, B-도메인 운영자는 주문 위치 O 도메인, 인터넷 및 실시간 데이터 다른 유형의 전화를해야합니다.
2, 컴퓨팅 프레임 워크 : 여기에, 기존의 람다 아키텍처의 한, 개발자들은 상대에 따라 프레임 워크, 개발, 테스트, 운영 및 유지 보수 실시간 상대적으로 카파 아키텍처입니다 / 오프라인 통합 비즈니스 개발 능력의 어려움에 직면 할 필요가 그것은 작고, FLINK 컴퓨팅 스트리밍 수행 프레임 워크, 높은 처리량, 밀리 초 응답, 융합의 배치 유동 특성을 발휘을 제공 할 수 있습니다.
실시간 데이터 조각과 같은 컴퓨팅 컴포넌트들의 흐름을 분할 배치 성분은 배치 프로세스를 달성 스트림 관련하여, 데이터의 두 종류 오프라인 데이터 모델 (상주 메모리)를 제공한다.
3, 실시간 모델 : 데이터웨어 하우스 모델, 실시간 모델은 확실히 맨 먼저 비즈니스 중심, 같은 사업자가 경쟁을 처리하는 교통 사업자, 서비스 알림을 가지고, 새로운 멀리 넣어 당겨 가게 배수, 음성 소비, 운영 평가의 사무실, 실시간 관리입니다 실시간 조기 경보, 실시간 통찰력, 실시간 추천 및 실시간 일련의 시나리오, 당신은 항상 공통 데이터 모델 요소와 실시간 교통 추출물을 기반으로해야합니다.
예를 들어, 이주 노동자의 전화 번호는 교통의 중심지로 확산을위한 장면을 트리거 할 가능성과 대중을 "긴 위치가있는 경우"10 분 이상 사용자가 마케팅 발사있는 새로운 실시간 마케팅을 당겨 요소는 실시간 모델 재사용 할 수있다.
실시간 수직 모델은 두 개의 DWD로 나눌 수 있습니다 및 DW, DWD 모델은 실제로 실시간 데이터 표준화 및 필터 필드의 모든 유형의 이름을 딴 작업은, 여기에 세 가지 범주로 나누어 데이터 관리의 표준화, DW 모델을 촉진해야합니까 : 동적 모델, 이벤트 모델 및 시계열 모델 , 다양한 시나리오에 대한 각 모델 및 적응에 저장 형식이 필요합니다.
- 동적 모델 : 실시간 비즈니스 트랜잭션 볼륨으로 통계 지표의 실시간 분석에 적합한 실시간 데이터 요약 통계, 그리고 카프카와 HBase를 저장할 수 있습니다.
- 이벤트 모델 : 같은 LBS 위치 마케팅을 실행할 수있는 로그 궤도 변경 이벤트는, 다음과 같은 이벤트 모델 설계의 일반적인 위치입니다에서 사용자의 위치를 기록하는 등 비즈니스 이벤트의 시리즈로 추상화 실시간 데이터 및 MQ와 레디 스에 저장 될 수있다 :
당신은 또한 슬라이딩 윈도우 위치 - 더 - 분에게 최신의 시간 절약 등의 슬라이딩 윈도우 모델을 디자인 할 수 있습니다 :
- 타이밍 모델 : 주요 위치를 저장하는 것은 사용자의 공간 - 시간 온라인 정보는 매우 긴 편리한 계산을 거 같은 다양한 비즈니스 시나리오의 빠른 계산을위한 필요에 따라, 또는 (데이터베이스 시퀀스)의 HBase를 TSDB에 저장 될 수있다 :
4, 실시간 서비스
실시간 모델은 테이블에 충분한 데이터하지 않습니다으로도 당신은 진정한 개발 비용을 줄이기 위해 그래픽, 과정 중심, Stitchable 데이터 개발 도구, 실시간 데이터를 제공해야합니다. 그러나, 다른 기술적 수단 오프라인 및 실시간 데이터 처리로 인해, 대부분이 두 가지 유형의 데이터 개발 및 관리를위한 다양한 플랫폼에서 호스팅 결과적.
예를 들어, 우리의 오프라인 데이터 DACP 플랫폼 관리에 의해 모델,하지만 전에 데이터가 종종 응용 프로그램 자체의 일부입니다 DACP 플랫폼에서 무료로 실시간이 응용 프로그램은 특정 스크립트를 작성하여 기본 데이터 소비 및 처리 스트림 프로세싱 엔진에 필요 높은뿐만 아니라 자원의 매우 심각한 낭비뿐만 아니라이 임계 값 프로세스는 응용 프로그램이 실제로 각 실시간 스트림 데이터를 사일로.
보기의 적용 점을 서, 실제로 필요한 사업은 통합 데이터 관리 플랫폼의 개발은, 데이터는 간단한 SQL-사용자 정의 출력과 관련된 등 레이아웃을 혼합 할 수있는 능력, 혼합, 같은 통합 된 객체로 관리되어야 라인 오프 및 실시간 응용 프로그램은 실시간 및 효율적인 해외 / 오프라인 데이터 서비스를 제공하기 위해 다양한 유형의 데이터가 필요합니다.
5, 실시간 애플리케이션
테이블의 데이터가 빠른 예약 실시간 데이터를 지원할 수 있다면, 우리의 추정에 의하면, 실시간 데이터, 배포주기 1-2 일 0.5 개월로 감소 될 응용 프로그램, 테스트 시나리오를 개발하고, 효율이 매우 높습니다.
사업자의 약관, 실시간 데이터만큼, 풍부한 충분한 장면 때문에, 설정 테이블의 실시간 데이터에 대한 필요성은 여전히 매우 높다.
우리가 계획 및 실시간 애플리케이션의 건설을 할 수있는 사전에 항상 3-6개월, 캠퍼스 마케팅에 실시간으로 참여하기 시작했을 때 나는 3 년 전 기억, 그러나, 수요는 매년 변경해야합니다, 다음 응용 프로그램은 바퀴를 재발견해야하지만, 지식은 보존되지 않습니다.
빅 데이터의 내부 및 외부 작업의 심화, 우리는 점점 더 많은 수요가, 당신이 기술적 인 능력이 증가 강화와 함께 수요가 많은 시간을 찾아 놀라게 될 것입니다 것을 발견, 매우 자주, 기술은 주요 생산적인 힘이다. 우리 중 많은 제품의 실현을 위해, 작업 관리자가 깊은 이해해야 할 책임이있다.
그 이후로, 나는 우리가 새로운 단계로 대용량 데이터 및 응용 프로그램 수준의 관리를 강화하기 위해, 신속하고 효율적으로 실시간 애플리케이션의 방대한 양을 만들기 위해, 진정한 실시간 데이터 세트를 구축 할 수 있습니다, 생각, 그리고 마지막으로 우리했다 지금이 도로에 온다.