디지털화 프로세스가 심화됨에 따라 기업은 점점 더 데이터에 의존하고 있으며 데이터 리소스의 중요성이 점점 더 두드러지고 있습니다. 데이터를 잘 관리하고 사용하는 방법, 데이터 거버넌스를 잘 수행하는 방법, 데이터 리소스의 가치를 최대한 발휘하는 방법은 품질과 효율성을 향상시키는 과정에서 중요한 문제가 되었습니다.
이번 라이브 방송에서는 데이터 거버넌스 시스템, 기술 프레임워크, 데이터 거버넌스 분야에서 클라우드 네이티브 데이터 플랫폼의 장점을 소개했습니다. 다음 내용은 라이브 텍스트를 기반으로 초안으로 구성됩니다.
전통적인 데이터 거버넌스 시스템 및 프레임워크
디지털 트랜스포메이션에서 전략적 드라이브는 기반이고, 데이터 거버넌스는 기반이며, 데이터 인텔리전스는 방향입니다.
데이터 거버넌스는 전체 데이터 수명 주기 동안 조직, 관리 및 기술의 관점에서 지속적으로 데이터 사용 행동을 변경하는 프로세스입니다. 데이터 거버넌스의 기본 목표는 데이터 보안을 보장하고 데이터 가치를 향상시키는 것입니다.
동시에 데이터 거버넌스는 정보 시스템의 구현 수준에 초점을 맞춘 시스템으로 정보 기술 부서와 비즈니스 부서의 지식과 의견을 통합하는 것을 목표로 합니다. 비즈니스 전략을 달성하고 데이터 보안을 보장하며 개인 정보 유출 위험을 줄입니다.
데이터 거버넌스 시스템은 여러 수준의 조직, 관리 및 기술을 포함하며 비즈니스 부서와 밀접하게 관련되어 있습니다. 일반적으로 기업의 데이터 거버넌스 작업은 비즈니스 부서에서 주도하고 IT 부서에서 지원합니다.
그림 1 데이터 거버넌스 시스템의 아키텍처 다이어그램
위 그림과 같이 데이터 거버넌스 체계는 데이터 거버넌스 대상, 데이터 거버넌스 업무, 데이터 거버넌스 지원의 3단계로 구분된다.
- 데이터 거버넌스의 대상은 테마별로 구분되며, 기업마다 데이터 테마가 다르며 기업 자체 조직 및 부서 설정과 밀접한 관련이 있으므로 여기서는 설명하지 않습니다.
- 데이터 거버넌스 지원에는 기업의 조직 구조, 데이터 거버넌스 프로세스에서의 역할, 데이터 거버넌스를 기반으로 하는 내부 시스템 및 프로세스, IT 기술 아키텍처 및 플랫폼이 포함됩니다.
- 데이터 거버넌스 작업에는 주로 마스터 데이터 관리, 데이터 표준 관리, 데이터 품질 관리, 데이터 자산 관리, 데이터 보안 관리, 데이터 수명 주기 등이 포함됩니다. 그 중 마스터 데이터 관리, 메타 데이터 관리 및 데이터 품질 관리가 핵심입니다.
마스터 데이터 관리
마스터 데이터는 고객, 제품, 직원, 계정 등 비즈니스 가치가 높고 다양한 비즈니스 부서에서 재사용할 수 있는 핵심 비즈니스 엔터티를 설명하는 데이터로, 여러 이기종 애플리케이션 시스템에 존재합니다.
마스터 데이터 관리는 기업의 여러 비즈니스 시스템에서 가장 핵심적이고 가장 많이 공유되는 데이터(즉, 마스터 데이터)를 통합하여 정리 및 보강을 중앙 집중화하고 마스터 데이터를 서비스 형태로 기업 내 운영 및 분석 유형에 배포합니다. .응용 프로그램.
마스터 데이터 관리의 목적은 데이터가 시스템과 플랫폼에서 사용될 때 마스터 데이터의 일관성을 유지하는 것입니다.
데이터 품질 관리
데이터 품질 관리 시스템은 데이터 품질에 대한 판단과 데이터 품질을 보증하고 향상시키는 모든 활동과 프로세스를 포함하여 종합적인 데이터 품질 관리를 위해 노력합니다.
그 중 데이터 품질 최적화 및 개선은 재고 데이터를 지향하는 데이터 품질 관리 활동으로, 비즈니스 시스템이나 주제에 따라 일괄적으로 데이터를 분석 및 정리하고 기존 데이터의 품질을 개선한다.
데이터 품질 관리의 관리 및 통제는 먼저 기업 내 관련 규칙 및 규정을 수립하고 데이터 품질의 지속적인 개선을 보장하기 위해 다양한 주제 영역에 따라 데이터에 해당하는 부서를 지정해야 합니다.
그림 2 데이터 품질 문제의 속성 및 추적 가능성
위의 피시본 다이어그램에서 볼 수 있듯이 데이터 품질 문제에는 여러 가지 이유가 있으며 그 중 인력, 프로세스 및 비즈니스 시스템 프런트 엔드 항목이 주요 데이터 품질 문제입니다. 비즈니스 시스템 백엔드 데이터베이스 설계, 데이터 추출, 데이터 로딩 등은 부차적인 데이터 품질 문제입니다.
원시 데이터 품질 문제를 겨냥하여 입력의 자동화 및 사용 편의성을 개선하여 프런트엔드 입력 시 오류 확률을 줄일 수 있습니다.
2차 데이터 품질 문제의 경우 데이터 오류를 방지하기 위해 데이터 비교를 수행하기 위해 데이터 전송 프로세스에 일부 묻힌 지점 검사가 추가됩니다.
메타데이터 관리
메타데이터는 데이터의 데이터를 기술하는 데 사용되며 책의 카탈로그에 해당하며, 데이터 사용자가 데이터의 특성, 내용, 기능, 획득 방법, 사용 요구 사항을 충족할 수 있습니다. 적절한 평가가 필요합니다.
데이터 거버넌스 시스템에서 메타데이터는 비즈니스 메타데이터, 기술 메타데이터, 운영 메타데이터 및 관리 메타데이터의 네 가지 유형으로 나눌 수 있습니다.
메타데이터 관리는 수집, 관리, 분류, 서비스의 4단계로 구분되며, 표준 공식화, 보완 유지, 관리 분류, 혈연 분석, 쿼리 통계 등 많은 링크가 포함됩니다.
대기업의 경우 메타데이터의 규모가 상대적으로 크고 메타데이터 관리를 실현하기 위해서는 많은 인력과 시간이 필요하며 프로젝트 주기는 연 단위인 경우가 많다.
또한 엔터프라이즈 데이터 거버넌스에는 데이터 표준, 데이터 보안, 데이터 수명 주기 등도 포함되며 여기서는 반복하지 않습니다.
데이터 거버넌스 과제
새로운 기술의 지속적인 출현과 데이터 볼륨의 급속한 성장으로 인해 기존 데이터 거버넌스 시스템은 구현 중에 다음과 같은 문제에 직면합니다.
- 높은 메타데이터 관리 비용: 비즈니스 메타데이터 구현에는 비즈니스 담당자의 개입 및 식별이 필요하며 각 데이터 플랫폼을 입력해야 하며 데이터 전송의 운영 메타데이터도 입력해야 하므로 높은 기록 비용이 발생합니다.
- 데이터 품질을 보장하기 어렵다: 플랫폼 간의 데이터 전송 과정에서 2차 데이터 품질 문제가 발생하고 많은 매장 포인트 검증 작업이 필요합니다.
- 데이터 표준은 복잡합니다. 각 데이터 플랫폼은 데이터 표준을 확인해야 하며 플랫폼 간 데이터 표준의 일관성을 보장하기 어렵습니다.
- 복잡한 데이터 동기화 전략: 마스터 데이터 플랫폼은 마스터 데이터를 여러 데이터 플랫폼에 동기화해야 하며, 이를 위해서는 복잡한 동기화 전략이 필요합니다. 그렇지 않으면 마스터 데이터 버전이 일치하지 않는 문제에 직면할 수 있습니다.
- 민감한 데이터는 중앙에서 관리하기 어렵습니다: 각 데이터 플랫폼의 민감한 데이터는 정기적으로 식별되어야 하며 플랫폼 간 데이터 전송에는 암호화 및 암호 해독이 필요하므로 유지 관리가 어렵습니다.
- 긴 데이터 서비스 응답 주기: 데이터 서비스는 여러 데이터 플랫폼을 통해 처리 및 처리되어야 하므로 데이터 서비스의 응답 시간이 길어집니다.
클라우드 네이티브 데이터 플랫폼에서의 데이터 거버넌스
현재 클라우드 컴퓨팅은 기업 IT 아키텍처에 큰 영향을 미치고 변화를 가져오고 있으며 클라우드 네이티브 플랫폼은 위에서 언급한 데이터 관리 및 거버넌스 부담을 크게 줄이고 대응 주기를 단축할 수 있습니다. 생겨났습니다.
그림 3 클라우드 네이티브 플랫폼 시스템 및 데이터 거버넌스
위의 그림에서 볼 수 있듯이 기존 데이터 시스템과 비교하여 클라우드 네이티브 데이터 플랫폼 시스템은 다음과 같은 특징이 있습니다.
- 원스톱 애자일 데이터 서비스: 원스톱 데이터 포털을 통해 데이터 자산을 신속하게 검색하고, 새로운 데이터 서비스 및 제품을 신속하게 개발하고, 온라인에서 신속하게 릴리스하고, 사용자와 상호 작용하고, 반복적으로 업데이트하고, 롤링에서 엔터프라이즈 데이터 자산의 가치를 축적합니다. 방법.
- 클라우드 네이티브 데이터 플랫폼: 스토리지 컴퓨팅 분리 아키텍처를 채택하고 기본적으로 OneData를 지원하며 기업 핵심 데이터의 일관성을 보장하고 데이터 거버넌스의 복잡성을 줄입니다. 다양한 비즈니스 시나리오 유연한 요구 사항을 충족하는 동시성. 동시에 자체 치유 기능이 있으며 시스템 가용성을 향상시킵니다.
- 클라우드 네이티브 빅 데이터 지원 플랫폼: 클라우드 네이티브 데이터 플랫폼에 대한 안정적인 지원을 제공하고 스토리지 컴퓨팅 분리, 유연한 스케줄링, 더 나은 리소스 격리 및 기타 기능을 실현하고 하이브리드 클라우드 및 기타 이기종 환경 배포를 지원하여 비즈니스 연속성을 보장합니다. 기업은 비즈니스 목표를 빠르게 달성합니다.
새로운 기술이 계속 발전하고 애플리케이션 시나리오가 계속 증가하고 비즈니스 모델이 계속 복잡해짐에 따라 글로벌 데이터 거버넌스의 개념이 기업에서 점점 더 중요해지고 있습니다. 글로벌 데이터는 기업과 관련된 내부 및 외부 데이터를 포함하며 기업의 비즈니스 및 상업적 성격과 밀접한 관련이 있습니다.
클라우드 네이티브 데이터 플랫폼의 "저장 및 컴퓨팅 분리"는 기업 내에서 글로벌 데이터 융합을 실현하고 분산된 데이터 플랫폼을 통합하며 데이터 섬 현상을 완전히 제거하고 중앙 집중식 데이터 보안 관리를 가능하게 하여 보안 허점을 줄입니다. 품질 문제, 마스터, 메타데이터, 데이터 표준, 글로벌 데이터에 대한 데이터 아키텍처 및 모델의 원스톱 관리, 데이터 거버넌스의 복잡성 크게 감소, 동시에 클라우드 네이티브 데이터 자산 서비스는 비즈니스를 보다 민첩하고 적응하게 합니다. 급변하는 시장에 대응하고 데이터 자산을 지속적으로 반복하여 Digital Transformation을 실현합니다.
현재 HashData는 중국의 선도적인 클라우드 네이티브 데이터 플랫폼으로서 금융, 통신, 정부 업무, 에너지, 운송 등 많은 분야에서 대규모 상업적 사용을 달성하여 기업이 글로벌 데이터 거버넌스를 수행하도록 지원합니다. 효율적이고 편리하게.
그림 4 HashData는 대규모 국영 은행에서 구현됩니다.
대규모 국영 기업을 예로 들면 HashData 클라우드 네이티브 데이터 플랫폼을 사용하여 모든 P9 분석 플랫폼을 통합하고 글로벌 데이터를 주제 도메인에 따라 분할하여 중앙 집중식 데이터 관리 및 제어를 실현하고 통합 및 통합했습니다. 데이터 아키텍처.
동시에 전 지점의 데이터 플랫폼을 모아 글로벌 데이터와 컴퓨팅 자원을 통일적으로 제공한다. 공유 저장소를 기반으로 전체 은행의 통합 및 분석 지향적인 엔터프라이즈 수준 데이터 보기를 관리하고 다양한 응용 시나리오에 따라 여러 컴퓨팅 클러스터를 설정합니다.인증 후 모든 컴퓨팅 클러스터는 공유 저장소의 모든 데이터에 액세스하여 완료할 수 있습니다. 비즈니스 처리 및 계산 또는 온라인 쿼리 및 분석.
통합 데이터 플랫폼으로 인해 전체 은행에서 통합 데이터 모델의 모범 사례를 사용할 수 있어 서로 다른 기술 스택으로 인한 모델 차이를 피하고 2차 데이터 품질 문제 및 메타데이터 작업을 줄이고 데이터 관리 비용을 크게 줄일 수 있습니다.
앞으로 우리는 최신 클라우드 네이티브 기술 사례를 모든 생활에 도입하여 기업이 OneData를 실현하고 데이터의 가치를 쉽게 발휘할 수 있도록 지원하기를 기대합니다!