コストは 90% 削減され、海外のソーシャルプラットフォーム Typing は Databend のビッグデータの探索と実践に基づいています。

オープンソースの中国コミュニティチームは、共有の名のもとに、オープンソースの中国コミュニティの背後にあるストーリーを伝える初のライブブロードキャストを行いました。」

タイピング（インプットテクノロジー）は2022年設立。主に東南アジア、中南米、中東などの海外地域にソーシャルプラットフォームを提供する海外企業です。そのソーシャルプラットフォームは国内のSoul、Momoなどと同様で、ライブビデオブロードキャスト、ボイスチャットルーム、ショートビデオ、ライフシェアリング、テキストチャットなどのソーシャル機能を提供しており、登録ユーザーは100万人以上、数十万人を超えています。毎日のアクティブユーザー。人々はプラットフォーム内で興味深い人々に会い、新しい友達を作り、独自のソーシャルコミュニティを構築することができます。

ビジネスシナリオ機能の入力

今日、ソーシャルプラットフォームは生活に欠かせないものとなっています。人々はソーシャルプラットフォーム上で友達を作り、情報を共有し、交換します。この情報にはユーザーの行動や好みに関する豊富なデータが含まれています。ビッグデータテクノロジーにより、これらの大量のデータを効果的にマイニングして分析できるようになり、ソーシャルプラットフォームとユーザーエクスペリエンスの開発に対する技術サポートと意思決定のサポートが提供されます。

ソーシャル企業として、Typing がデータを重要視していることは自明のことです。データを通じて多くのビジネス価値が得られます。

1. ソーシャルプラットフォーム用のユーザーポートレートを作成します。ユーザーポートレートは、ユーザーの行動データや個人情報に基づいたユーザーモデルです。タイピングは、ユーザーの注意、友人関係、興味、趣味などのデータを分析することにより、プラットフォーム内でユーザーの正確なユーザーポートレートを構築できます。ユーザーのポートレートを通じて、プラットフォームはユーザーのニーズと行動傾向をより深く理解できるため、タイピングユーザーによりパーソナライズされた正確なサービスと推奨事項が提供され、プラットフォームのユーザーエクスペリエンスと満足度が向上します。

2. コンテンツの推奨とソーシャルプラットフォームでのパーソナライズされたプッシュ。タイピングソーシャルプラットフォーム全体には、音声、ビデオ、テキスト、写真、その他の形式を含むさまざまなコンテンツがあり、ユーザーが興味のあるコンテンツや人を見つけるのは難しいことがよくあります。ビッグデータ分析テクノロジーの助けを借りて、Typing はユーザーの過去の行動データを分析してユーザーの興味や好みを理解し、それによってユーザーにパーソナライズされたコンテンツの推奨やプッシュを提供できます。タイピングソーシャルプラットフォームは、パーソナライズされたコンテンツのプッシュを通じて、ユーザーのアクティビティと定着率を高めると同時に、ユーザーのプラットフォームへの依存度と忠誠心を高めることができます。

3. ソーシャルプラットフォームでの社会的関係のマイニング。ソーシャルプラットフォームとして、人々間の社会的関係は Typing の中核です。社会的関係の理解と分析は、Typing がユーザーの興味やニーズをより適切に発見するのに役立ちます。ビッグデータ分析テクノロジーの助けを借りて、Typing はユーザーの友人関係、インタラクティブな行動、その他のデータを分析し、ユーザー間の興味グループやソーシャルネットワークを発見し、より正確で関連性の高いソーシャルレコメンデーションをユーザーに提供できます。同時に、ソーシャル関係マイニングは、ユーザーの離脱予測やユーザー関係の維持などの戦略的ガイダンスをプラットフォームに提供して、ユーザーの維持とアクティビティを向上させることもできます。

タイピングが直面する技術的な課題

スタートアップの規模により、Typing の研究開発チームは全体で 15 人程度しかいないため、専門のビッグデータチームや AI アルゴリズム推奨チームは存在しません。しかし、同社は洗練された運用に対する強い要求を持っており、それには細心の注意が必要です。ユーザーもプラットフォーム全体も、自分のルーツを知り、自分のルーツを知りましょう。データに基づいて価値のある分析と洞察をどのように導き出すかが不可欠になっています。この目標を達成するために、Typing 技術チームは多くの調査を実施し、Alibaba Cloud と Huoshan Engine のビッグデータソリューションを体験してきました。しかし、Typing の見解では、これらのソリューションはドキュメントからアクセスまで非常に複雑です。時間と人件費が比較的高いため、新興企業が立ち上げるのは困難です。

タイピングではオープンソースの Clickhouse も試しましたが、この分野の人員不足のため、専任のデータ開発者が中間データのクリーニング ETL 作業を行う必要がありましたが、最終的には実装できませんでした。

データベンドを選ぶ理由?

Typing の技術チームのリーダーである Wu Yunpeng は、カンファレンスのオープンソースイベント中に Databend に出会い、一連の深い理解と交流を経て、Databend の次の機能に深く惹かれました。

ストレージと計算の分離アーキテクチャ: Databend はストレージと計算を完全に分離しており、ユーザーはアプリケーションのニーズに応じて簡単に拡張または縮小できます。同時に、Databend は完全にオブジェクト指向のストレージ設計であり、従来のデータベースディスク容量の制約を打ち破ります。
高性能クエリ: Databend の高度なアーキテクチャとベクトル化されたクエリエンジンにより、大量のデータを瞬時に分析できるだけでなく、レイテンシーを 1 秒未満のレベルにまで削減できます。同時に、データレベルの並列処理 (ベクトル化されたクエリ実行) と命令レベルの並列処理 (SIMD) テクノロジを使用して、優れたパフォーマンスのデータ分析を提供します。 TPC-H 標準に基づくと、Databend は、従来のストレージとコンピューティングの統合データベースと比較して、データのインポート、コールドラン、ホットランの 3 つの次元で、主流の海外の新世代ストレージとコンピューティングの統合クラウドネイティブデータベースより 1.3 倍高速です。速度が 2 ～ 3 倍速くなります。
主流のデータエコロジーおよびツールとシームレスに接続: Databend Cloud は、主流のデータテクノロジーおよびツールとシームレスに接続し、Java、Go、Python、Node.js、Rust およびその他の言語 SDK を提供し、Kafka、DBT、FlinkCDC、Airbyte、Data X をサポートします。 Devezium やその他のツールを使用すると、Typing の独自のテクノロジースタックの互換性の問題を解決し、データ変換、ビジネスインテリジェンス、アドホック分析、データアプリケーションのすべてのニーズを満たし、ユーザーがデータの潜在的な価値を迅速に探索できるようになります。
低コスト: Databend Cloud の経済的でインテリジェントなコンピューティングクラスターと、高度に圧縮されパフォーマンスが最適化されたオブジェクトストレージを組み合わせることで、Typing のような新興企業はデータ処理に巨額の費用を費やす必要がなくなります。
使いやすさ: Databend Cloud は、データパイプラインとタスク管理を通じてワンストップの SaaS サービスを提供し、データのインポートを容易にし、ユーザーは運用やメンテナンスなしですぐに使用できるようにします。同時に、Databend にはインデックスの構築や手動チューニング、パーティションやシャーディングされたデータの手動計算は必要なく、すべてデータがテーブルに読み込まれるときに行われます。

導入計画

Databend のさまざまな機能は、ビッグデータプラットフォームに対する Typing のニーズをまさに満たしているため、Typing は主要なビッグデータ分析ツールとして Databend データベースを選択しました。一連の計画、準備、互換性評価、その他の作業を経て、ビッグデータコンピューティングビジネスは Databend Cloud への移行に成功しました。現在、Typing のデータソースは主に AWS Aurora データベースから取得されており、開発者は毎日定期的に T+1 方式でデータを同期しています。まず、databend-py SDK を使用して、Aurora データベース内の数十のテーブルを S3 にエクスポートし、次に Databend を通じて S3 のデータを Databend Cloud に直接インポートします。 Databend が遵守しているオープンソースの理念と、Superset へのオープンソースの貢献のおかげで、Databend は Superset オープンソースデータダッシュボードツールに簡単にアクセスできます。 Databend Cloud によって計算されたデータは、データ視覚化のために Superset に転送されます。

このシナリオでは、Databend の主な目的は運用データダッシュボードをホストすることです。タイピングは毎日午前8時に同期を開始し、データ量は約2〜3TBで、午前10時に出勤する前にデータのインポートと計算を完了できます。 Typing の技術スタッフは、仕事後に Superset で業務と製品に関する視覚的なデータダッシュボードを作成できます。

さらに、Databend にはタイピングのもう 1 つの用途があります。これは、データベースで生成された履歴ユーザー行動データ (消費記録、ボイスルーム、ギフト配送など) を使用して、Databend Cloud で完全なユーザー計算を実行し、ユーザーグループラベルを計算します。次に、ビジネスサーバーをインポートしてビジネスアプリケーション開発をサポートし、ユーザーを差別化し、よりパーソナライズされたプッシュを提供します。

プロジェクト収入

昨年 11 月に導入が完了してから半年が経過しましたが、Databend Cloud は、クエリの速度、結果の精度、コストなど、Typing のビッグデータ分析のさまざまな課題をうまく解決しました。

Databend Cloud への移行後、Typing のデータコストは、クエリ速度の高速化に基づいて 90% 削減されました。現在、最もコストが高い部分は、AWS Aurora から Databend Cloud へのデータの同期の消費量です。Typing は、Databend を使用して調査しようとしています。同期メカニズムを置き換えることにより、このコストを削減します。
Typing の運用チームは、いくつかのインジケーターを設定したり、データダッシュボードを表示したりするための SQL を作成することがよくあります。 Databend は統合された SQL インターフェイスを提供するため、製品や研究開発の元のデータベース使用習慣に準拠し、適応コストを節約します。運用チームは、新しいデータダッシュボードを使い始めるのが非常に簡単で、何を書いても結果がすぐに得られると報告しました。
サービスプロセス中、Databend は正式に独占的なエンジニアサービスを提供し、緊急の問題は数日または数時間以内に報告され、修正されます。タイピングの場合、専用のデータ開発人員を節約し、データチームの一員として Databend エンジニアを活用できます。これは、過去の一部のクラウドプロバイダーサービスではまったく考えられなかったことでした。

未来の探求

現在、Typing は Databend への新たな探求を開始しています。また、Typing は Databend をより幅広い用途に拡張したいと考えています。将来的には、Typing はビジネスサーバーの埋め込みデータを Databend Cloud に同期する予定です。埋もれたデータにはより多くのユーザー行動が含まれるため、これらのデータはデータベースデータよりもビジネス上の意思決定にとって価値があり、データのこの部分は、より時間に敏感な論理的なビジネスをサポートするために使用されます。サーバーの非表示データは時間に敏感で、約 15 分ごとに同期されるため、ほぼリアルタイムの同期が必要です。コストと適時性を考慮した結果、Databend は最小時間レベルに到達できる増分同期ソリューションを提供します。

Typing との協力プロセス全体を通じて、Databend は Typing が多くの既存の技術的問題を解決するのを支援しただけでなく、オープンな協力の概念を堅持して、Typing とのより多くのシナリオを探索し、ソーシャルプラットフォームビジネスの開発に信頼できるデータサポートを提供しました。