비용은 90% 절감되며, 해외 소셜 플랫폼 타이핑은 데이터벤드의 빅데이터 탐색 및 실천을 기반으로 한다.

오픈소스 중국 커뮤니티 팀이 공유라는 이름으로 오픈소스 중국 커뮤니티의 뒷이야기를 전하는 첫 생방송을 진행했습니다."

타이핑(입력기술)은 2022년에 설립되었습니다. 주로 동남아, 중남미, 중동 등 해외 지역에 소셜 플랫폼을 제공하는 해외 기업입니다. 소셜 플랫폼은 국내 Soul, Momo 등과 유사하며 라이브 비디오 방송, 음성 채팅방, 짧은 비디오, 생활 공유, 문자 채팅 등의 소셜 기능을 제공하며 등록 사용자는 100만 명이 넘고 수십만 명이 사용하고 있습니다. 일일 활성 사용자. 사람들은 플랫폼 내에서 흥미로운 사람들을 만나고, 새로운 친구를 사귀고, 자신만의 소셜 커뮤니티를 구축할 수 있습니다.

비즈니스 시나리오 기능 입력

오늘날 소셜 플랫폼은 삶의 필수적인 부분이 되었습니다. 사람들은 소셜 플랫폼에서 친구를 사귀고 정보를 공유하고 교환하며, 이 정보에는 사용자 행동과 선호도에 대한 풍부한 데이터가 포함되어 있습니다. 빅데이터 기술은 이러한 방대한 양의 데이터를 효과적으로 마이닝하고 분석할 수 있도록 하여 소셜 플랫폼 및 사용자 경험 개발을 위한 기술 지원 및 의사결정 지원을 제공합니다.

소셜 기업으로서 타이핑의 데이터 중요성은 자명합니다. 데이터를 통해 많은 비즈니스 가치를 얻을 수 있습니다.

1. 소셜 플랫폼을 위한 사용자 초상화를 만드세요. 사용자 초상화는 사용자의 행동 데이터와 개인 정보를 기반으로 한 사용자 모델입니다. 타이핑은 사용자의 관심, 친구 관계, 관심사, 취미 등의 데이터를 분석하여 플랫폼 내에서 사용자의 정확한 사용자 초상화를 구축할 수 있습니다. 사용자 초상화를 통해 플랫폼은 사용자의 요구 사항과 행동 경향을 더 잘 이해할 수 있으며 이를 통해 Typing 사용자에게 보다 개인화되고 정확한 서비스와 권장 사항을 제공하고 플랫폼의 사용자 경험과 만족도를 향상시킬 수 있습니다.

2. 소셜 플랫폼에서 콘텐츠 추천 및 개인화된 푸시. 타이핑 전체 소셜 플랫폼에는 오디오, 비디오, 텍스트, 사진 및 기타 형식을 포함한 다양한 콘텐츠가 있으며 사용자가 관심 있는 콘텐츠와 사람을 찾는 것이 어려운 경우가 많습니다. 타이핑은 빅데이터 분석 기술의 도움으로 사용자의 과거 행동 데이터를 분석하여 사용자의 관심사와 선호도를 파악하고 이를 통해 사용자에게 개인화된 콘텐츠 추천 및 푸시를 제공할 수 있습니다. 개인화된 콘텐츠 푸시를 통해 Typing 소셜 플랫폼은 사용자 활동과 접착성을 높이는 동시에 플랫폼에 대한 사용자 의존도와 충성도를 높일 수 있습니다.

3. 소셜 플랫폼에서 사회적 관계를 채굴합니다. 소셜 플랫폼으로서 사람들 간의 사회적 관계는 타이핑의 핵심입니다. 사회적 관계에 대한 이해와 분석은 타이핑이 사용자의 관심과 요구를 더 잘 발견하는 데 도움이 될 수 있습니다. 타이핑은 빅데이터 분석 기술을 통해 사용자의 친구 관계, 상호 작용 행동 및 기타 데이터를 분석하고 사용자 간의 관심 그룹 및 소셜 네트워크를 발견하여 사용자에게 보다 정확하고 관련성이 높은 소셜 추천을 제공할 수 있습니다. 동시에 사회적 관계 마이닝은 사용자 이탈 예측 및 사용자 관계 유지와 같은 전략적 지침을 플랫폼에 제공하여 사용자 유지 및 활동을 향상시킬 수도 있습니다.

타이핑이 직면한 기술적 과제

스타트업 규모에 제약이 있어 타이핑의 전체 R&D팀은 15명 남짓이다. 빅데이터 전담팀이나 AI 알고리즘 추천팀은 없지만, 회사는 정교한 운영에 대한 수요가 강해 세심한 관리가 필요하다. 사용자와 전체 플랫폼을 알고 뿌리를 알아보세요. 데이터를 기반으로 가치 있는 분석과 통찰력을 도출하는 방법은 필수가 되었습니다. 이 목표를 달성하기 위해 Typing 기술팀은 많은 탐색을 수행했으며 Alibaba Cloud 및 Huoshan Engine의 빅데이터 솔루션에 노출되었습니다. 그러나 Typing의 관점에서 이러한 솔루션은 문서화부터 액세스까지 매우 복잡합니다. 시간과 인건비가 상대적으로 높아 창업이 어렵다.

타이핑도 오픈소스인 클릭하우스를 시도했지만, 중간 데이터 정리 ETL 작업을 일부 수행해야 하는 전담 데이터 개발자가 필요했지만 이 분야의 인력 부족으로 인해 결국 구현하지 못했습니다.

데이터벤드를 선택하는 이유는 무엇입니까?

Typing의 기술 팀 리더인 Wu Yunpeng은 컨퍼런스의 오픈 소스 이벤트에서 Databend를 접하게 되었으며, 일련의 심층적인 이해와 교류를 거쳐 Databend의 다음 기능에 깊은 매력을 느꼈습니다.

저장 및 계산 분리 아키텍처: Databend는 저장과 계산을 완전히 분리하며 사용자는 애플리케이션의 필요에 따라 쉽게 확장하거나 축소할 수 있습니다. 동시에 Databend는 완전히 객체 지향적인 스토리지 설계로 기존 데이터베이스 디스크 용량의 제약을 극복합니다.
고성능 쿼리: Databend의 고급 아키텍처와 벡터화된 쿼리 엔진은 대규모 데이터를 즉시 분석할 수 있을 뿐만 아니라 대기 시간을 1초 미만 수준으로 줄입니다. 동시에 데이터 수준 병렬성(벡터화된 쿼리 실행) 및 명령 수준 병렬성(SIMD) 기술을 사용하여 탁월한 성능으로 데이터 분석을 제공합니다. TPC-H 표준에 따라 Databend는 기존 스토리지 및 컴퓨팅 통합 데이터베이스와 비교하여 데이터 가져오기, 콜드 실행 및 핫 실행이라는 3차원에서 주류 외국 차세대 스토리지 및 컴퓨팅 통합 클라우드 기본 데이터베이스보다 1.3배 빠릅니다. 속도가 2~3배 빨라집니다.
주류 데이터 생태계 및 도구와 원활하게 연결: Databend Cloud는 주류 데이터 기술 및 도구와 원활하게 연결되어 Java, Go, Python, Node.js, Rust 및 기타 언어 SDK를 제공하고 Kafka, DBT, FlinkCDC, Airbyte, Data X를 지원합니다. Devezium 및 기타 도구는 Typing의 원래 기술 스택의 호환성 문제를 해결하고 데이터 변환, 비즈니스 인텔리전스, 임시 분석 및 데이터 응용 프로그램의 모든 요구 사항을 충족하며 사용자가 데이터의 잠재적 가치를 신속하게 탐색하는 데 도움을 줄 수 있습니다.
저렴한 비용: Databend Cloud의 경제적이고 지능적인 컴퓨팅 클러스터는 고도로 압축되고 성능이 최적화된 개체 스토리지와 결합되어 Typing과 같은 스타트업은 더 이상 데이터 처리에 막대한 비용을 지출할 필요가 없습니다.
사용 용이성: Databend Cloud는 원스톱 SaaS 서비스를 제공합니다. 데이터 파이프라인 및 작업 관리를 통해 데이터 가져오기를 더 쉽게 만들어 사용자가 운영 및 유지 관리 없이 즉시 사용할 수 있도록 합니다. 동시에 Databend에는 구축할 인덱스가 없고, 수동 조정이 없으며, 파티션 또는 샤딩된 데이터의 수동 계산이 없으며, 이 모든 작업은 데이터가 테이블에 로드될 때 수행됩니다.

배포 계획

Databend의 다양한 기능은 빅 데이터 플랫폼에 대한 Typing의 요구 사항을 충족하므로 Typing은 Databend 데이터베이스를 주요 빅 데이터 분석 도구로 선택했습니다. 일련의 계획, 준비, 호환성 평가 및 기타 작업을 거쳐 빅데이터 컴퓨팅 사업이 Databend Cloud로 성공적으로 마이그레이션되었습니다. 현재 Typing의 데이터 소스는 주로 AWS Aurora 데이터베이스에서 제공되며 개발자는 매일 정기적으로 T+1 방식으로 데이터를 동기화합니다. 먼저 databend-py SDK를 사용하여 Aurora 데이터베이스에 있는 수십 개의 테이블을 S3으로 내보낸 다음 Databend를 통해 S3의 데이터를 Databend Cloud로 직접 가져옵니다. Databend가 고수하는 오픈 소스 철학과 Superset에 대한 오픈 소스 기여 덕분에 Databend는 Superset 오픈 소스 데이터 대시보드 도구에 쉽게 액세스할 수 있습니다. Databend Cloud에서 계산된 데이터는 데이터 시각화를 위해 Superset으로 전송됩니다.

이 시나리오에서 Databend의 주요 목적은 운영 데이터 대시보드를 호스팅하는 것입니다. 매일 오전 8시에 타이핑 동기화가 시작되며, 데이터 용량은 2~3TB 정도다. 오전 10시 출근 전까지 데이터 가져오기 및 계산을 완료할 수 있다. Typing의 기술 직원은 퇴근 후 Superset의 운영 및 제품에 대한 시각적 데이터 대시보드를 만들 수 있습니다.

또한 Databend는 Typing에서 또 다른 용도로 사용됩니다. 데이터베이스에서 생성된 과거 사용자 행동 데이터(예: 소비 기록, 음성실, 선물 배달 등)를 사용하여 Databend Cloud에서 전체 사용자 계산을 수행하여 사용자 그룹 레이블을 계산합니다. 그런 다음 비즈니스 서버를 가져와 비즈니스 애플리케이션 개발을 지원함으로써 사용자를 차별화하고 보다 개인화된 푸시를 제공합니다.

프로젝트 수입

작년 11월 배포가 완료된 지 반년이 지났습니다. Databend Cloud는 쿼리 속도, 결과 정확성, 비용 등 Typing의 빅데이터 분석에 대한 다양한 과제를 매우 잘 해결했습니다.

Databend Cloud로 마이그레이션한 후 Typing의 데이터 비용은 더 빠른 쿼리 속도를 기반으로 90% 감소했습니다. 현재 가장 비용이 많이 드는 부분은 AWS Aurora에서 Databend Cloud로 데이터를 동기화하는 것입니다. Typing도 Databend로 탐색하려고 합니다. . 동기화 메커니즘을 교체하여 이 비용을 줄입니다.
Typing의 운영팀은 일부 지표를 설정하고 데이터 대시보드를 보기 위해 SQL을 작성하는 경우가 많습니다. Databend는 통합된 SQL 인터페이스를 제공하므로 제품 및 R&D의 원래 데이터베이스 사용 습관을 준수하므로 적응 비용이 절약됩니다. 운영팀은 새로운 데이터 대시보드를 시작하는 것이 매우 쉽다고 보고했습니다. 무엇을 작성하든 전체 프로세스가 매우 원활하고 안정적입니다.
서비스 과정에서 Databend는 공식적으로 독점적인 엔지니어 서비스를 제공하며 긴급 문제는 며칠 또는 몇 시간 내에 보고되고 해결될 수 있습니다. Typing의 경우 데이터 개발 전담 인력을 절약하고 Databend 엔지니어를 데이터 팀의 일원으로 활용할 수 있습니다. 이는 과거 일부 클라우드 제공업체 서비스에서는 전혀 상상할 수 없었던 일입니다.

미래탐구

현재 Typing은 Databend에 대한 새로운 탐색을 시작하고 있습니다. Databend에 대한 신뢰로 인해 Typing은 이를 더 넓은 범위의 용도로 확장하려고 합니다. 앞으로 Typing은 비즈니스 서버에 묻혀 있는 데이터를 Databend Cloud에 동기화할 계획입니다. 묻혀 있는 데이터에는 더 많은 사용자 행동이 포함되어 있으므로 이러한 데이터는 데이터베이스 데이터보다 비즈니스 결정에 더 가치가 있습니다. 서버의 숨겨진 데이터는 시간에 더욱 민감하며 약 15분마다 동기화되므로 거의 실시간 동기화가 필요합니다. Databend는 비용과 적시성을 고려한 후 최소 시간 수준에 도달할 수 있는 증분 동기화 솔루션을 제공합니다.

Typing과의 전체 협력 프로세스 전반에 걸쳐 Databend는 Typing이 기존의 많은 기술적 문제를 해결하도록 도왔을 뿐만 아니라 개방형 협력 개념을 고수하여 Typing을 통해 더 많은 시나리오를 탐색하여 소셜 플랫폼 비즈니스 개발을 위한 신뢰할 수 있는 데이터 지원을 제공했습니다.