이 기사의 저자 인 Pan Anqun, Tencent Cloud TDSQL 책임자. Pan Anqun은 주로 Tencent Cloud 분산 데이터베이스의 연구 개발을 담당하고 있으며 분산 데이터베이스 연구 및 개발 분야에서 13 년 이상의 경험을 보유하고 있으며 그의 연구 개발 결과는 VLDB 및 SIGMOD와 같은 많은 국제 최고 컨퍼런스에 선정되었습니다. 그의 팀이 만든 안전하고 제어 가능한 분산 데이터베이스 TDSQL은 업계 최초로 인터넷 뱅킹의 핵심 거래 시스템에 사용되었으며, 최초의 은행 핵심 시스템에 진입했으며, 기존의 대형 은행이 첫 번째 "메인 프레임"은 은행 업계에서 아래로 이동합니다. 분산 플랫폼의 국내 엔터프라이즈 수준 분산 데이터베이스.
제로, 소개
데이터베이스 기술은 반세기 동안 개발되었습니다. 데이터베이스 Turing Award 수상자 인 Michael Stonebraker는 데이터베이스 시스템 읽기에서 데이터베이스 모델 기술을 9 개의 다른 시대와 유형으로 나누었습니다. 클라우드 시대가 시작된 후 새로운 A 관점에서 시작할 수 있습니다. 데이터베이스와 같은 기본 기술의 과거와 미래를 검토합니다.
클라우드 컴퓨팅을 기반으로 데이터베이스를 포함한 IT 기본 기술은 기술적 형태에서 전체 시장의 온 / 오프라인 통합으로 상당한 변화를 겪었습니다. 데이터베이스 기술은 클라우드 시대에 전통적인 중앙 집중식에서 분산 마이그레이션 및 교체로 추세를 보였으며 이는 국내에서도 데이터베이스 기회와 도전.
2020 년 11 월 Gartner는 2020 년 데이터베이스 공급 업체 평가 보고서를 발표했습니다. 국가 데이터베이스 공급 업체는 3 개의 자리를 차지하여 국내 데이터베이스 개발의 새로운 단계를 표시합니다.
동시에 Gartner는 2022 년까지 전 세계 데이터베이스의 4 분의 3이 클라우드에서 실행될 것으로 예측하고 있으며, 현재 클라우드 데이터베이스 개발이 "데이터베이스에서 클라우드로, 즉 데이터베이스에서 클라우드 데이터베이스로. ","클라우드 데이터베이스에서 클라우드 네이티브 데이터베이스로 "변환의 두 번째 단계로.
최종 분석에서 클라우드 데이터베이스는 업계의 인정을 받기 위해 무엇을 했습니까? 데이터베이스 개발의 미래 트렌드는 무엇입니까? 새로운 기회 아래 클라우드 통합 시대에 기술 혁신의 흐름을 어떻게 파악할 수 있습니까? 현재 국내 데이터베이스가 화제가되면서 우리의 이해와 생각에 대해 이야기하고 모두를 격려합시다.
1. 클라우드 시대 IT 기본 기술의 진화
클라우드 컴퓨팅의 발전과 함께 전체 IT 기본 기술의 지구를 흔드는 변화는 여러 측면에 반영됩니다.
IT 시설의 배치는 과거에 단편화되었던 것에서 오늘날 중앙 집중화되고 대규모로 옮겨졌습니다. 과거에는 각 기업이 자체 데이터 센터와 서버, 네트워크, 운영 체제, 데이터베이스 등을 포함한 기타 IT 인프라를 구축하여 기업 시장에서 단편화 된 IT 시설 모델을 형성했습니다. 오늘날 클라우드 컴퓨팅 서비스를 기반으로 기업 IT 시설은 중앙 집중식 및 대규모 효과를 보이고 있으며 효율성, 성능 및 비용에 대한 요구 사항이 증가하고 있습니다.
과거의 소프트웨어 제공 모델에서 서비스 제공 모델에 이르기까지 IT 서비스 제공. 과거에는 상용 소프트웨어를 구매하거나 오픈 소스 소프트웨어 제품을 사용하는 것이 기본적으로 상용화 또는 오픈 소스를 통해 배포되었지만 이제는 완전히 개별 서비스 형태로 제공됩니다. 이로 인한 변화는 사용자가 여러 서버를 구매할 계획이 아니라 데이터베이스 사용 요구 사항이있을 때 클라우드에서 직접 사용할 수 있다는 것입니다.
개발 방식은 과거 사업의 매우 낮은 수준의 개발과 낮은 수준의 API 호출 작업에서 SaaS 기반의 Severless 서비스 모드로의 모드를 제시 할 것입니다. 클라우드에서 개발자는 다양한 SaaS 서비스를 사용할 수 있습니다. 이것은 효율성과 기본 기술 능력 측면에서 큰 변화입니다.
데이터 양식 및 애플리케이션 시나리오 측면에서 실제로 과거 데이터 양식 또는 애플리케이션 시나리오는 상대적으로 단일화되어 있으며, 기존 데이터베이스를 예로 들어 시나리오는 주로 금융, 운영자, 정부 업무와 같은 전통 산업에 집중되어 있습니다. 인터넷, 모바일 인터넷, 산업용 인터넷의 발달에 따라 다양한 산업이 점차 전자 및 정보화 개발 동향을 가속화하고 응용 서비스 형태가 다양 화됨에 따라 현재의 산업 데이터 형태와 응용 시나리오가 더욱 다양 화되고 앞으로 나아가고 있습니다. 기본 데이터베이스 기능에 대한 더 많은 요구 사항 및 과제. 과거에는 산업 현장이보다 구조화 된 데이터 였고 관계형 데이터베이스가 현장 요구 사항의 상당 부분을 지원할 수있었습니다. 이제 NoSQL 및 그래프 데이터베이스와 같은 많은 유형의 데이터베이스가 등장했음을 알 수 있습니다. NoSQL 종속 자 동시에 KV 유형, 문서 유형 등 다양한 범주로 세분화 할 수 있으며 전체 데이터베이스 유형은 여전히 증가하고 있습니다. 이것은 매우 합리적인 현상입니다. 즉, 미래 데이터베이스의 경우 자체 개발도 다양하고 통합적이며 혁신적인 트렌드를 보여줄 것입니다. 우리는 전통적인 경험에 따르면 기술 제품이 단일 형태라면 가능한 한 일반화를 추구하는 것이 추구된다는 것을 알고 있습니다. 그러나 현재 다양한 요구의 추세에 따라 다양한 절충과 절충이 필요합니다. 기술 응용 수준.
따라서 이것은 데이터베이스에 새로운 도전과 요구를 가져 오는 클라우드 시대의 발전과 변화라고 할 수 있습니다. 현재 클라우드 데이터베이스가 일반 트렌드가되었지만 국내 클라우드 데이터베이스 개발을 위해서는 기본 기능, 비용 효율성, 제품화 및 미래 기술 통합에 대한 지속적인 탐구와 돌파구가 필요하다고 생각합니다.
2. 클라우드 데이터베이스 기술 발전의 과제
클라우드 컴퓨팅의 특성과 결합하여 국내 클라우드 데이터베이스의 개발은 클라우드 시대의 다양한 추세에 직면하면서 가용성 및 일관성, 높은 동시성 성능 및 탄력적 확장 성과 같은 기본 기능 혁신을 지속적으로 탐색해야 할 필요성에 직면 해 있습니다. 차세대 분산 데이터베이스 제품을 만듭니다.
첫째, 가용성과 일관성입니다.
데이터베이스로서 고 가용성 및 데이터 일관성은 가장 기본적인 과제입니다. 고 가용성에는 99.999 % 이상이 필요합니다. 강력한 데이터 일관성은 데이터에 오류가없고 데이터베이스의 안정성이 높다는 것을 의미합니다. 클라우드 컴퓨팅 시대에 기술 시설의 업그레이드는 기술 구현 방식에 변화를 가져 왔습니다. 과거에는 금융 산업과 같이 시스템의 가용성과 일관성을 보장하기 위해 높은 안정성을 갖춘 전통적인 중앙 집중식 메인 프레임 또는 미니 컴퓨터를 기반으로했습니다. 그러나 기존의 중앙 집중식 구조에는 성능 및 처리량의 경계를 포함하여 명백한 기술적 경계가 있으며 오늘날 이미 더 큰 처리량과 성능 병목 현상에 직면 해 있으며 클라우드 시대의 산업 요구를 충족 할 수 없습니다. 당연히 현재 업계 추세는 분산 아키텍처와 x86 기반의 분산 및 개방형 플랫폼으로 변환 및 업그레이드하는 것입니다. 전통적인 아키텍처 시스템은 메인 프레임 또는 미니 컴퓨터의 하드웨어 수준에서 많은 중복 설계에 의존하며 하드웨어 수준에서 가용성과 일관성을 보장합니다. 상대적으로 말하면 x86 머신 배포를 기반으로하는 차세대 분산 아키텍처 시스템은 데이터 일관성과 높은 시스템 가용성을 보장하기 위해 성능 및 무제한 수평 확장을 달성하는 방법에 대한 새로운 과제와 요구 사항을 제기합니다.
둘째, 성능 비용입니다.
클라우드 컴퓨팅 시대에 대규모 달성 후 비용 절감을 이룰 수 없다면 용납 할 수 없습니다. 클라우드 컴퓨팅이 사회 전체의 자원 활용률을 높이기 위해서는 성능 비용이 최소한으로 유지되어야합니다.
Tencent Cloud의 서비스에 대해 고려해야 할 사항은 고객이 가장 저렴한 가격으로 가장 진보 된 서비스를 구매할 수 있도록하는 방법입니다 (예 : 가장 큰 디스크 공간을 구매하는 데 최소한의 비용을 지출하고 최고의 TPS 및 기타 제품 성능). 이 과정에서 가장 중요한 것은 자원 활용입니다. 예를 들어, 클라우드 컴퓨팅 서비스 제공 업체가 리소스 사용률을 20 % 높이면 고객과 서비스 제공 업체 자체 비용의 일부를 크게 줄일 수 있습니다.
셋째, 클라우드 네이티브는 유연해야 함을 의미합니다.
탄력적 인 확장 성은 과거에 사전 구매 또는 사전 할당이 아닌 사용자의 실제 요구에 따라 리소스를 할당하고 사용할 수 있음을 의미합니다. 과거에는 대부분의 고객이 먼저 추정 한 다음 구매했기 때문에 리소스 활용도가 비판을 받았습니다. 이제 사용자는 향후 사용할 리소스 수를 추정 할 필요가 없지만 실시간 사용 요구 사항에 따라 탄력적 인 확장을 달성 할 수 있습니다. 이로 인해 클라우드 데이터베이스는 리소스 활용도를 개선하여 비용 이점을 얻을 수 있습니다. 그러나 극도의 탄력적 확장은 더 높은 수준의 SQL 지원 및 분산 트랜잭션 기능 측면에서 데이터베이스에 대한 더 높은 요구 사항을 제시합니다.
넷째, 클라우드 데이터베이스 제품화 및 서비스의 정도입니다.
국내 데이터베이스 개발도 여러 단계를 거쳤지만, 텐센트 등 국내 클라우드 벤더가 다수를 기반으로 한 데이터베이스 등 차세대 기본 소프트웨어 기술 개발 기회를 잡은 것은 바로 클라우드 컴퓨팅과 인터넷의 등장이다. 비즈니스 시나리오의 특성과 요구 사항. 지난 수년 동안 Tencent는 전체 데이터베이스의 제품화를 개선하고 기술 제품화 및 서비스 개선을 포함하여 사용자 경험을 개선하는 방법에 크게 중점을 두었습니다. 인터넷 제조업체는 내부 비즈니스 시나리오를 기반으로 자체 기술 시스템을 개발하는 것이 장점이며 B에게 개방하는 과정에서 제품 표준화, 다용도 성 및 사용자 경험과 같은 문제에 직면합니다. 업계 고객에게 기술 제품을 제공하기위한 요구 사항은 내부 사용을 지원하는 것보다 훨씬 높습니다. 전통적인 기업 고객의 경우 Tencent Cloud는 고객에게 반제품이 아닌 완전한 제품을 제공하기를 희망합니다. 따라서 제품화의 정도는 Tencent가 항상 강조해 온 기능입니다.
다섯째, 대규모 장면 검증.
마지막 요점은 클라우드 데이터베이스의 경우 안정성 및 기능 요구 사항을 포함한 기본 기능 개발의 핵심 조건은 폴리싱을위한 충분한 애플리케이션 시나리오가 있어야한다는 것입니다. 데이터베이스 시스템의 개발과 개선은 매우 복잡한 과정인데 어떻게 데이터베이스를 실행하고 적용 할 수 있을까요? 오늘날 우리는 지속적이고 방대한 장면 연마가 제품 개발의 핵심 조건이라고 믿습니다. Tencent의 자체 애플리케이션과 클라우드의 모든 계층의 애플리케이션과 100 만 명 이상의 개발자의 사용 덕분에 Tencent Cloud 데이터베이스는 제품을 연마하기에 충분한 공간을 가질 수 있습니다. 이것이 우리의 도전이자 우리의 발전을 촉진하는 토양입니다.
이러한 도전은 클라우드 데이터베이스 개발의 유일한 방법이며 클라우드 컴퓨팅 시대에 새로운 세대의 분산 데이터베이스 제품을 만들 수있는 기회이기도합니다.
3. 클라우드 데이터베이스의 주요 미래 동향
이러한 과제와 클라우드 컴퓨팅 시대가 제공하는 기회를 바탕으로 우리는 클라우드 데이터베이스의 향후 개발에 몇 가지 주요 추세 요구 사항이 포함될 것이라고 믿습니다.
Elastic Scaling : 핵심 비용 문제-리소스 활용도 해결
앞서 언급했듯이 비용과 성능이 핵심 요소입니다. 여기에 클라우드 컴퓨팅 시대의 차이 확장이 있습니다. 즉, CPU, 메모리 및 디스크와 같은 인프라 리소스의 유연한 스케줄링을 달성해야합니다.
클라우드 데이터베이스 시대에 우리는 궁극적 인 탄력적 확장 아키텍처를 탐색하여 성능, 효율성 및 비용 문제를 포괄적으로 해결할 것입니다. 서로 다른 시나리오에 초점을 맞춘 클라우드 네이티브 분산 데이터베이스는 두 가지 아키텍처로 나눌 수 있습니다. 하나는 Shared Nothing이고 다른 하나는 Shared Storage이며, 둘 다 컴퓨팅 및 스토리지를위한 별도의 아키텍처를 구현하여 더 나은 탄력적 확장 성을 달성 할 수 있습니다. 기존 아키텍처에서 제한된 스토리지 용량, 어려운 확장 및 높은 마스터-슬레이브 대기 시간의 단점이 있으며 비용을 절감하고 선도 기술의 비용 효율성을 완전히 해제 할 수 있습니다.
컴퓨팅 및 스토리지 데이터베이스 서비스의 완전한 서버리스 아키텍처도 미래에 집중할 수있는 방향입니다. 자동 및 비유 도적 확장 및 축소를 기반으로 실제 사용에 따라 동시에 과금 할 수 있으며, 클라우드 데이터베이스의 유용성을 향상시킬 것입니다.
다중 모드 및 다중 엔진 추세에 따라 데이터베이스 하위 계층 및 서비스의 하이퍼 통합
새로운 인프라 및 산업용 인터넷의 급속한 발전, 다양한 산업의 디지털화 가속화, 점점 다양 화되고 방대한 데이터 형태. 데이터베이스 성능, 비용, 서비스 및 기타 측면의 문제를 가장 효율적으로 해결하는 방법은 하이퍼 컨버전스입니다. 피할 수없는 추세.
현재 우리는 모든 삶의 각계에서 전자, 정보 건설 및 디지털 변환의 추세에 처해 있으며 수많은 새로운 장면이 업계에서 지속적으로 등장하고 있습니다. 다양한 IT 시스템 아키텍처를 지원하는 기본 소프트웨어 기술로서 데이터베이스는 수많은 NoSQL 사례를 포함하여 전체 기술 형태로 다양한 새로운 애플리케이션 구현을 보유하고 있으며 스토리지 분야에는 기존 B + 트리, 현재 LSM 트리 및 라인 아키텍처가 있습니다. 스토리지 및 컬럼 스토리지와 같은 제품; 워크로드 유형에 따라 OLTP, OLAP 또는이 둘을 혼합 한 HTAP 데이터베이스가 등장했습니다.
대부분의 경우 다양한 엔진 제품이 기업이나 시스템에 독립적으로 존재하지 않습니다. 하나의 크기는 아무것도 맞지 않습니다. 기술적 인 관점에서 보면 극한의 성능 비용과 다목적 성 사이에는 자연스러운 모순이 있기 때문에 다각화 된 시나리오에서는 여러 엔진이 공존해야하며, 다양한 엔진의 특성과 장점을 최대한 활용하여 극한과 다목적 성을 모두 달성 할 수 있습니다.
하지만 클라우드 데이터베이스 서비스 제공 업체가 아니라 이러한 다양한 엔진 제품을 고객과 개발자가 직접 선택할 수 있도록 노출합니까? 제품 서비스 경험의 관점에서는 그렇지 않아야합니다. 다중 모드 기술 엔진의 현재 상황은 개발자가 모델을 선택하고 응용 프로그램을 개발하는 데 필연적으로 어려움을 초래할 것입니다. 즉, 충분히 높은 성능을 달성하면서 다양한 시나리오에 적응할 수 있는지 확인하는 방법, 이는 현재 데이터베이스 개발이 직면 한 문제이기도합니다. 딜레마. 이 문제를 해결하기 위해 앞으로는 사용자가 이러한 복잡한 선택을 할 필요가 없지만 시스템은 AI 지능형 스케줄링, 서버리스 및 기타 솔루션을 기반으로하여 다중 엔진으로 통합되고 표준화 된 서비스를 완벽하게 실현할 수 있기를 바랍니다. 낮은 수준의 관점에서 볼 때 향후 개발자는 특정 제품 선택을 인식 할 필요가 없습니다. 예를 들어 데이터 분석을 수행 할 때 시스템은 최상의 성능과 보장 된 트랜잭션 일관성으로 솔루션을 예약 할 수 있습니다.
이를 바탕으로 클라우드 데이터베이스 서비스의 미래 트렌드는 소프트웨어 및 하드웨어 통합, 프라이빗 클라우드 및 퍼블릭 클라우드 플랫폼 통합 및 기타 제품 및 서비스 제공 솔루션을 포함한 제공 방법의 통합으로, 고객이 민감한 비즈니스와 운영 사이의 균형을 맞출 수 있습니다. 비용보다 정교한 관리를 실현합니다.
지능형 : AI + DB
지능형 기술과 같은 기본 기술의 생태적 통합 및 변환, 데이터베이스 자율성 및 지능형 관리의 실현도 미래 데이터베이스 트렌드 중 하나입니다. 과거에는 기업의 경우 몇 명의 DBA로 수십 개의 인스턴스 세트를 관리하기에 충분했지만, 예를 들어 수십만 개의 데이터베이스 인스턴스가있는 Tencent의 경우 운영을 유지하기 위해 인력을 배치하기가 어려웠으므로 도구 또는 플랫폼을 사용하여 운영 효율성 문제를 해결합니다. 또한 분산 형 마이크로 서비스 전환의 현재 추세에 따라 미래의 엔터프라이즈 IT 운영에도 점점 더 강력한 자율성 요구 사항이있을 것입니다. 지능형 기술과 데이터베이스의 하위 계층의 통합은 데이터베이스의 전체 라이프 사이클 지능형 관리를 실현할 수 있습니다.
새로운 하드웨어 배당금 출시 가속화
과거에는 새로운 하드웨어 프로모션주기가 매우 길었고 많은 전통적인 기업들이 새로운 하드웨어를 구매하는 데 비교적 보수적이었습니다. 클라우드 공급 업체의 경우, 중요하지 않은 애플리케이션에서 처음으로 새로운 하드웨어 애플리케이션을 탐색하는 데 점차 주도권을 행사할 수있을뿐만 아니라 대규모 현장 검증을 통해 꾸준하고 대규모 프로모션을 달성하는 것이 상대적으로 가능합니다. 이러한 관점에서 클라우드 컴퓨팅 서비스를 기반으로하는 클라우드 네이티브 데이터베이스는 비교적 쉽게 탐색하고 새로운 하드웨어로 인한 배당금을 방출합니다.
현재 우리는 SSD, NVM, RDMA + SPDK, 천 코어 서버, 이기종 프로세서 등 끝없는 새로운 하드웨어 혁신의 시대에 있습니다. 클라우드 데이터베이스 서비스를 기반으로 고객 및 일반 개발자도 새로운 하드웨어를 더 많이 즐길 수 있습니다. 하드웨어가 가져다주는 축복입니다.
따라서 통합, 자율성 및 유틸리티는 미래의 엔터프라이즈 수준 분산 데이터베이스의 기본 특성입니다. Tencent Cloud Database는 미래의 모든 계층에서 고객의 다양한 요구를 충족시키기 위해 실제 수준에서 위의 추세를 구현할 것입니다.