企業データの規模の拡大とビジネスの多様化に伴い、大量のデータに対するリアルタイムかつ多次元の柔軟なクエリが一般的なビジネス要件になりました。同時に、複数のデータベース システムが標準となり、データ管理が複雑になるだけでなく、ますます複雑化するデータ環境と厳格なデータ セキュリティ要件に直面して、データ使用の困難さも増します。複数のデータベース システムの共存の問題、深刻なサイロ化、わかりにくい権限管理、データのクエリと抽出の難しさなどの問題を解決します。同時に、企業のデータセキュリティ管理に対する要求はますます高まっており、さまざまな役割や部門がさまざまなデータにアクセスする必要があり、データベースのアクセス許可をどのように細かく制御し、データ漏洩や誤操作を防ぐかが重要な課題となっています。
建設の背景
毎日のクエリと比較して、インデックス作成、パーティショニング、その他のテクノロジを使用して、システム実装時のクエリ効率を最適化および向上させます。アドホック クエリを生成するにはさまざまな方法があります。一般的な方法は、アナリストがセマンティック レイヤーを使用してテーブルを選択し、テーブル間の関連付けを確立し、最終的に SQL ステートメントを生成することです。アドホック機能は分析です。これらのクエリは使用中にエンジニアによって一時的に生成されます。アドホック クエリの場所は EDW 内にあります。データ ウェアハウス システムでは、使用するアドホック クエリが増えるほど、データ ウェアハウスの要件が高くなります。
銀行や消費者金融会社を例に挙げると、ビジネスの問い合わせやアドホックなニーズが統一されており、各部門は商品の研究開発、業務推進、融資後の管理、法令順守など複数の業務領域をカバーしています。複数の種類のデータベース インスタンスが共存するため、ユーザー システムの統合、データ権利管理、運用セキュリティ監査、SQL クエリ構文などの側面が非常に複雑になり、複数のデータベースにアクセスし、データ エクスポートを統合できるプラットフォームが急務となっています。
ケースシナリオ
業務量の増大に伴い、業務処理の効率化とリスク管理レベルの向上を図るため、主にリスク管理部門、テクノロジー部門、金融市場部門の3つの部門に分かれており、その中でもリスク管理担当者はSQLを使いこなすことができます。ビジネスで SQL 構文を変更すると、構文の非互換性がよく発生します。金融市場担当者が SQL を使用することはほとんどなく、詳細なデータを取得するには視覚的にドラッグ アンド ドロップする必要があります。科学技術省の開発者は、データベースの操作時にコア データを誤って削除したり変更したりすることがよくあり、ビジネス データベースに負荷をかける危険な SQL を作成するため、データ セキュリティを確保するためにユーザーに対してコード インスペクションを設定する必要があります。
部門管理者は、ユーザーのアカウント情報とデータ ソースの JDBC リンク情報をプラットフォームに均一に設定し、ビジネス ニーズに応じてデータのアクセス許可とコード検証ルールを設定します。基本的な設定を完了した後、リスク マネージャーは下流のコンピューティング エンジンをブロックできます。プラットフォームでは、一般的な SQL 構文を使用して数値を取得するため、金融市場担当者はまずビジネスに応じて一般的に使用されるデータ モデルを構成し、次に視覚的な検索と Excel データの並べ替えを実行する必要があります。開発者は、割り当てられた権限に基づいてデータベース上でのみ DML ステートメントを実行できます。権限を超えて承認が必要な SQL がある場合、その SQL は承認が渡された後にのみ実行できます。
問題点の分析
1. アカウントのセキュリティリスクが存在する
データベース アカウントは複数のオペレータによって共有されることが多く、運用担当者や保守担当者の権限が実際の作業に必要な権限を超えてしまう可能性があり、データのセキュリティが脅かされることがあります。
2. データベースごとに構文の違いがある
さまざまな種類のデータベースには独自の SQL 構文とルールがあります。開発者が SQL クエリ ステートメントを作成する場合、さまざまなデータベースに適応する必要があるため、開発作業負荷が増大し、潜在的なエラーやパフォーマンスの問題が発生する可能性があります。
3. 多次元のビジネス クエリで発生する問題
ビジネス クエリ プロセスでは、ドリル、スクロール、スライス、ダイシング、および行と列の変換が一般的であり、小売シナリオで単一の PV をクエリする場合、またはビジネス フローをクエリする場合、データの読み取りには数百ギガバイトのクエリ メモリが必要です。 ; 夜間のスケジュール設定とデータ同期が常に不十分であり、プロダクト マネージャーとアナリストは勤務時間中にタスク スクリプトを強制終了します。
4. 不十分な監査証跡と追跡の困難
従来のツールでは、ユーザーや行動のデータを記録できず、異常なデータ操作があった場合、ソースを追跡できず、責任を特定できないため、データの二次侵害につながり、長期的な健全で安定した運用に課題が生じる可能性があります。プラットホーム。
5. ビジネス担当者は SQL を使用する頻度が低い
多くのレポート担当者やアナリスト担当者は SQL ステートメントに慣れていません。これまで、抽出操作では IT 担当者がSQL クエリを作成する必要があり、その結果、データ クエリのサイクルが長くなり、効率が低下していました。ビジネス意思決定のサポート。
6. ビジネスデータが複数のシステムに分散している
複雑なフュージョン分析シナリオでは、データ アナリストがローカルの Excel ファイルに保存されているデータをシステムにインポートしてビジネス データベース データと関連付けることが難しく、タイムリーかつ柔軟な方法でビジネス データを分析することができなくなります。
建設計画
1. 統合されたクエリエンジン
複数のデータベース構文への適応をサポートし、クエリ ステートメントを自動的に変換し、構文の強調表示、キーワード プロンプト、書式設定、その他の機能を含むIDE 編集インターフェイスを提供するため、ユーザーは基礎となるデータベースの構文の違いを気にする必要がなく、すべての作業を完了できます。データ接続とデータをワンストップで処理、データ分析、その他のフルプロセス機能を提供します。
2. アイデンティティ認証の一元管理
プラットフォームを使用する前に、管理者はユーザーの個人アカウント情報と対応する権限を管理する必要があります。統合クエリ プラットフォームにログインした後にのみデータベースにアクセスでき、データベースの実際のアカウント パスワードにはアクセスできません。
3. AI支援によるデータクエリ
対応する SQL コマンドは、 SQL 生成、書き換え、エラー修正などを含む、自然言語で表現されたデータ クエリ結果に基づいて変換でき、クエリ担当者が複雑なデータ抽出と分析作業を簡単に完了できるようにします。
4. データ分析の閾値を下げる
ビジネス担当者は、基礎を深く理解することなく、ドラッグ アンド ドロップ操作を使用して、データ抽出、モデル構成、フィルター構成、ビジュアル レポート構成などの機能を直感的に実行でき、データ ソースの選択、クエリ条件の定義、データの結合を行うことができます。データの意思決定支援機能を向上させるためのデータベース構造と SQL 構文。
5. データベースのセキュリティ権限の管理と制御
データの感度解除や行レベルのアクセス許可などのセキュリティ対策を構成し、さまざまな役割と責任に応じてアクセス許可を設定して、ビジネス データベース内のデータのプライバシーとセキュリティを確保し、アクセス許可の変更や危険な SQL などのユーザーの行動のリアルタイム監査を実施します。データコンプライアンスを確保するために使用します。
建設収入
消費者金融会社のプロジェクト実施において、各部門の担当者が必要な情報を迅速に入手できるようになり、業務処理の効率が大幅に向上し、顧客情報の照会や取引記録の検索、リスク情報の評価など、さまざまなシーンで充実したデータ分析が可能になります。同時に財務情報のセキュリティと機密性も確保され、その後のプラットフォームの安定稼働を強力に保証します。
1. データ需要サイクルが大幅に短縮される
従来のデータ要求プロセスでは、複数の部門による承認と調整が必要であり、IT スタッフがスケジュールを設定して手動で抽出します。統合クエリ プラットフォームは、SQL/セルフサービス データ取得を使用して、データ アナリストとビジネス担当者が統合プラットフォーム上でオンデマンドでセルフサービス データ取得を行うことを可能にし、通信、開発、テストのコストを大幅に削減し、データ取得サイクルを短縮します。元の 3 ～ 5 日を数分に平準化します。
2. データに基づいた意思決定の敷居が大幅に下がる
セルフサービスのデータ取得や SQL 収集などの機能を利用して、最前線のビジネス管理者や運用管理者もマルチソースの異種データ資産に簡単にアクセスできるようになり、全従業員によるデータ主導の意思決定が促進されます。プラットフォームでは、ビジネス側のデータ分析への参加が大幅に増加しており、ログイン数、滞在期間、SQL コレクションの数、クエリ タスクの数、データ エクスポートの数などはすべて、プロジェクト計画の予想をはるかに上回っています。
3. データリスク業務の統合トレーサビリティ
プラットフォームの監査ログ機能の助けを借りて、さまざまなドッキング データベースのデータ操作動作が完全にカバーされ、操作動作の完全な記録率への 100% のアクセスが達成されるだけでなく、データ セキュリティ管理とコンプライアンスが強化されます。また、データリスク業務の特定と調査にかかる時間が数時間から数分に大幅に短縮され、監査対応効率が 80% 以上向上します。
4. データアクセス権は可視化され、管理可能です
統合クエリ プラットフォームは、行/列レベルの権限制御とデータ非感作テクノロジを使用して、データ アクセス権限の視覚化と洗練された管理を実現し、データ セキュリティ管理と制御機能を向上させます。データテーブル権限設定の実効カバレッジ率が95%以上に向上し、不正なデータアクセスを効果的に防止し、顧客情報やチャネルデータなどの自動識別と機密保護を実現し、データ共有における企業のセキュリティとコンプライアンスを効果的に確保します。そして規則性。
「産業指標システム白書」ダウンロードアドレス：https://www.dtstack.com/resources/1057 ?src=szsm
「Dutstack 製品ホワイトペーパー」ダウンロードアドレス：https://www.dtstack.com/resources/1004 ?src=szsm
「データ ガバナンス業界実践ホワイト ペーパー」ダウンロード アドレス: https://www.dtstack.com/resources/1001?src=szsm
ビッグデータ製品、業界ソリューション、顧客事例について詳しく知りたい、または相談したい場合は、Kangaroo Cloud 公式 Web サイトをご覧ください: https://www.dtstack.com/?src=szkyzg
私はオープンソース紅蒙を諦めることにしました 、オープンソース紅蒙の父である王成露氏：オープンソース紅蒙は 中国の基本ソフトウェア分野における唯一の建築革新産業ソフトウェアイベントです - OGG 1.0がリリースされ、ファーウェイがすべてのソースコードを提供します。 Google Readerが「コードクソ山」に殺される Fedora Linux 40が正式リリース 元Microsoft開発者：Windows 11のパフォーマンスは「ばかばかしいほど悪い」 馬化騰氏と周宏毅氏が「恨みを晴らす」ために握手 有名ゲーム会社が新たな規制を発行：従業員の結婚祝いは10万元を超えてはならない Ubuntu 24.04 LTSが正式リリース Pinduoduoが不正競争の罪で判決 賠償金500万元