GreptimeDB v0.7 リリース - クラウドネイティブの監視シナリオを完全にサポート

オープンソースの中国コミュニティチームは、共有の名のもとに、オープンソースの中国コミュニティの背後にあるストーリーを伝える初のライブブロードキャストを行いました。」

つい先週、GreptimeDB 2024 ロードマップを発表し、今年の GreptimeDB のいくつかのメジャーバージョン計画を明らかにしました。 3 月の早春の到来に伴い、本番レベルに適した GreptimeDB の最初のオープンソースバージョンも、すべてが回復する「啓蟄」の季節に予定通り到着しました。 v0.7 は、実稼働対応バージョンへの重要なステップを示しており、コミュニティのすべてのメンバーが積極的に参加し、貴重なフィードバックを提供することを歓迎します。

v0.6 から v0.7 にかけて、Greptime チームは大きな進歩を遂げました。合計 184 のコミットがマージされ、82 の機能拡張、35 のバグ修正、19 のコードリファクタリング、および多数の修正を含む 705 のファイルが変更されました。テスト作業。この期間中、合計8 人の独立したコントリビュータがGreptimeDB のコードコントリビュートに参加しました。GreptimeDBのコードコントリビュートに積極的に参加し、私たちと一緒に成長し続けた GreptimeDB の最初のコミッタである Eugene Tolbakov に特に感謝します。

更新のハイライト (ストリーム保存バージョン) メトリックエンジン: 監視可能なシナリオ向けに設計された新しいエンジンが推奨され、クラウドネイティブの監視シナリオに適した多数の小さなテーブルを処理できます。リージョン移行: 使用エクスペリエンスを最適化し、SQL を通じて簡単に実行できます。リージョン移行、逆インデックス: ユーザークエリに関係するデータセグメントを効率的に特定し、データファイルのスキャンに必要な IO 操作を大幅に削減し、クエリプロセスを高速化します。

v0.7 は、GreptimeDB がオープンソースになってからの数少ないメジャーバージョンアップデートの 1 つであり、今回はビデオアカウントでもライブ配信します。機能の詳細について詳しく知りたい場合、デモを視聴したい場合、またはコア開発チームと詳細なディスカッションをしたい場合は、来週木曜日 (3 月 14 日) 午後 19 時 30 分からのライブブロードキャストにご参加ください。

リージョンの移行

リージョン移行は、データノード間でデータテーブルのリージョンを移行する機能を提供し、ホットスポットデータ移行とロードバランシングの水平拡張を簡単に実装できます。 GreptimeDB は、v0.6 のリリース時にリージョン移行が最初に実装されたと述べました。このバージョンの更新により、ユーザーエクスペリエンスが向上し、最適化されました。

これで、SQL 経由でリージョン移行を簡単に実行できるようになりました。

select migrate_region(
    region_id,
    from_dn_id,
    to_dn_id,
    [replay_timeout(s)]);

メトリックエンジン

Metric Engine は、監視可能なシナリオ向けに設計された新しいエンジンであり、その主な目標は、多数の小さなテーブルを処理できるようにすることであり、Prometheus の使用などのクラウドネイティブの監視シナリオに特に適しています。この新しいエンジンは、合成ワイドテーブルを利用することで、インジケーターデータを保存し、その上でメタデータを再利用できるようになり、重すぎる既存の Mito エンジンテーブルの一部を克服できます。

凡例 - 生のメトリックデータ
- 6 つのノードエクスポーターの次のメトリックが例として挙げられます。 Prometheus に代表される単一値モデルシステムでは、相関性の高い指標であっても、いくつかに分割して個別に保存する必要があります。
凡例 - ユーザーの観点から見た論理テーブル
- メトリックエンジンはメトリックの構造を正確に復元します。ユーザーに表示されるのは、書き込まれたメトリックの構造です。
凡例 - パースペクティブを格納する物理テーブル
- ストレージ層では、Metric Engine がマッピングを実行し、物理テーブルを使用して関連データを保存します。これにより、ストレージコストが削減され、大規模な Metrics ストレージがサポートされます。
凡例 - 次の研究開発計画: フィールドの自動グループ化
- 実際のシナリオで生成されるメトリクスのほとんどは関連性があります。 GreptimeDB は、関連するインジケーターを自動的に導出し、それらをマージすることができます。これにより、メトリック全体のタイムラインの数が削減されるだけでなく、関連するクエリにも使いやすくなります。
ストレージコストの最適化

コストテストは AWS S3 ストレージバックエンドに基づいて実行され、各データは約 30 分間書き込まれ、合計書き込み量は約 30w row/s でした。プロセス内で各オペレーションが発生する回数をカウントし、AWS の見積もりに基づいてコストを見積もります。テスト中はインデックス機能が有効でした。

見積もりについては、 https://aws.amazon.com/s3/pricing/で標準レベルを参照してください。

上記のテストテーブルからわかるように、Metric Engine は物理テーブルの数を減らすことでストレージコストを大幅に削減でき、換算された総合コストは 8 桁以上削減されます。ミトエンジンと比較して1倍。

転置索引

新しく導入されたインデックスモジュールである逆インデックスは、ユーザークエリに関係するデータセグメントを効率的に特定し、データファイルのスキャンに必要な IO 操作を大幅に削減し、クエリプロセスを高速化するように設計されています。 TSBS テストシナリオでは、シーンのパフォーマンスが平均 50% 向上し、一部のシナリオではパフォーマンスが 200% 近く向上しました。転置インデックスの主な利点は次のとおりです。

すぐに使える: システムは適切なインデックスを自動的に生成するため、ユーザーは追加のインデックスを指定する必要はありません。
実用的な機能: 複数列値の等価性、範囲、および規則的な一致をサポートし、ほとんどのシナリオでデータを迅速に見つけてフィルタリングできるようにします。
柔軟な適応: 内部パラメータを自動的に調整して構築コストとクエリ効率のバランスをとり、さまざまなシナリオのインデックス作成のニーズに効果的に対応します。

凡例 - 転置インデックスとデータ配置プロセスの論理表現
- ユーザーは複数の列でフィルター条件を指定し、転置インデックスの素早い配置により、一致しないデータセグメントのほとんどを削除でき、その結果、スキャンするデータセグメントが減り、クエリの高速化が実現します。

その他のアップデート

1. データベースの管理機能が大幅に強化されました

information_schema テーブルを大幅に補足し、SCHEMATA や PARTITIONS などの新しい情報を追加しました。さらに、新しいバージョンでは、DB 管理操作を実装するための多くの新しい SQL 関数が導入されています。たとえば、リージョンフラッシュをトリガーしたり、リージョン移行を実行したり、SQL を介してプロシージャの実行ステータスをクエリしたりできるようになりました。

2. パフォーマンスの向上

v0.7 バージョンでは、Memtable が再構築され、データスキャン速度が向上し、メモリ使用量が削減されました。同時に、オブジェクトストレージの読み取りおよび書き込みパフォーマンスに対して多くの改善と最適化も行いました。

アップグレードガイド

新しいバージョンにはいくつかの大きな変更があるため、この v0.7 リリースではアップグレードにダウンタイムが必要です。一般的なアップグレードプロセスは次のとおりです。

新しい v0.7 クラスターを作成する
古いクラスターのトラフィック入口を閉じる (書き込みを停止する)
GreptimeDB CLI アップグレードツールを使用してテーブル構造とデータをエクスポートする
GreptimeDB CLI アップグレードツールを使用して新しいクラスターにデータをインポートする
受信トラフィックが新しいクラスターに切り替わります

詳細なアップグレードガイドについては、以下を参照してください。

中国語: https://docs.greptime.cn/user-guide/upgrade
英文：https://docs.greptime.com/user-guide/upgrade

今後の展望

次の大きなマイルストーンは 4 月で、v0.8 がリリースされます。このバージョンでは、GreptimeDB データストリームで継続的な集計操作を実行するように特別に設計された、最適化されたストリームコンピューティングソリューションである GreptimeFlow が導入されます。柔軟性の必要性を考慮して、GreptimeFlow を GreptimeDB コンピューティング層に統合して一緒に展開することも、独立したサービスとして展開することもできます。

機能レベルでの継続的なアップグレードに加えて、バージョンのパフォーマンスの最適化も継続していますが、v0.7 のパフォーマンスは以前に比べて大幅に向上していますが、観測可能なシナリオでは、一部の主流のソリューションとの間にはまだギャップがあります。これは、次の重要な最適化の方向性でもあります。

年間を通じたバージョン更新計画を包括的に理解するには、GreptimeDB ロードマップ 2024 をお読みください。コードの貢献や、機能やパフォーマンスに関するフィードバックやディスカッションに参加することも歓迎します。GreptimeDB の継続的な成長と改善を一緒に見守りましょう。

グレップタイムについて:

Greptime Greptime Technology は、スマートカー、モノのインターネット、可観測性など、大量の時系列データを生成する分野にリアルタイムで効率的なデータストレージと分析サービスを提供し、顧客がデータの深い価値を発掘できるよう支援することに取り組んでいます。現在、主な製品は次の 3 つです。

GreptimeDB は、Rust 言語で書かれた時系列データベースであり、分散型、オープンソース、クラウドネイティブであり、企業が長期ストレージコストを削減しながら、リアルタイムで時系列データの読み取り、書き込み、処理、分析を行うのに役立ちます。
GreptimeCloud は、可観測性、モノのインターネット、その他の分野と高度に統合できるフルマネージド DBaaS サービスをユーザーに提供できます。
GreptimeAI は、LLM アプリケーション向けに調整された可観測性ソリューションです。
車両とクラウドの統合ソリューションは、自動車会社の実際のビジネスシナリオに深く入り込み、企業の車両データが急激に増加した後の実際のビジネスの問題点を解決する時系列データベースソリューションです。

GreptimeCloud と GreptimeAI は正式にテストされています。最新の開発状況については、公式アカウントまたは公式 Web サイトをフォローしてください。 GreptimDB のエンタープライズバージョンに興味がある場合は、アシスタントに連絡してください (アシスタントを追加するには、WeChat で greptime を検索してください)。

公式サイト：https://greptime.cn/

GitHub: https://github.com/GreptimeTeam/greptimedb

ドキュメント: https://docs.greptime.cn/

Twitter: https://twitter.com/Greptime

スラック: https://www.greptime.com/slack

LinkedIn: https://www.linkedin.com/company/greptime