著者: Yue Yang、Chen Dequan、Liu Jingna
北京玉石科技有限公司は2023年6月に設立されました。玉石科技は、資産運用業界が機関中心からユーザー中心へ移行する変革の時代において、「インテリジェント投資時代のテーマ入口」と位置付けられています。 、テーマ別投資エンジンを構築し、包括的な投資統合を強化し、投資家と資産管理機関をテーマおよびコアとし、自然言語インタラクションを入り口として「新しい橋」を作成します。
Yushi Technology は、毎日平均 10,000 件の財務情報を処理し、情報を収集し、新たなトレンドを発見し、トレンドの転換点を判断することで、10 以上のスーパーテーマ、40 以上の投資テーマ、200 以上の投資テーマを含むテーマ投資システムを形成しています。サブテーマ:現在 10 業界のベンチマーク顧客であり、データ API と週次および月次レポートを通じてサービスを提供しています。現在、合計約 500 件のレポートと 1,000 件近い公的アカウント分析記事が発行されています。長期的には、ユーザーの意図をリアルタイムにマイニングし、テーマを計算することで、数千人規模のテーマ型投資エージェントを実現します。
プラットフォームの機能と直面した課題
ユシテクノロジーの製品は代表的な情報サービス製品です。プラットフォームは複数のチャネルを通じて金融業界の情報を収集し、ローカルに保存した後、投資分析フレームワークに従って処理するための関連プロセスを開始し、最終的に外部サービスを提供するための金融データ製品を形成します。プラットフォームのビジネス機能とシステム リソースの要件には、次の特徴があります。
1. 大量のデータと多様なストレージ要件
a) プラットフォームのコアデータは主に非構造化データであり、ソースデータ、中間データ、結果データを含む各処理段階のデータの総量は TB レベルですが、この規模はファイルまたはオブジェクトのストレージとしては簡単です。 , ただし、分析/インデックスのストレージには依然として一定のプレッシャーがあります。
b) 非構造化データ ストレージでは、ファイル、オブジェクト、OLAP データベース、キャッシュおよびインデックス システムなどのさまざまな処理プロセスに直面する場合、複数のアクセス インターフェイスのサポートが必要です。
c) 財務情報の処理は適時性要件を満たす必要があるため、分析ストレージ システムのクエリ パフォーマンスにも高い要件が求められます。
2. データ処理プロセスは複雑で変更されやすい
a) データ処理プロセスは、システム内の投資分析戦略を具体化したものであり、プラットフォーム全体の中核となります。これらのプロセスのキー ノード処理ロジックは、標準化されたプラットフォーム関数では実装できず、Java/Python コードを通じてプラットフォームに公開する必要があり、プロセスによって柔軟に呼び出すことができます。
b) ビジネス ロジック要件を実現するために、処理プロセス内の処理ノード間、ノードとデータ ストレージ インターフェイス間、さらにはプロセス間でさえ、頻繁なデータ フローと対話要件が存在します。
c) 投資戦略は、市場の変化や顧客のニーズに応じてタイムリーに調整する必要があります。データ処理プロセスとコア処理ロジックさえも、ビジネス戦略に応じて同時に調整する必要があります。
d) データ処理ロジックが複雑なため、開発がオンラインになった後は、多くの場合、運用環境での特定のデータの処理を追跡して分析する必要があり、詳細なランタイム情報を簡単に表示できる必要があります。
3. プラットフォームのリソース需要には明らかな山と谷があります。
a) プラットフォームの 1 日の運用中には、情報が集中的に流入して処理される時間帯や、業務担当者が集中的にクエリを実行する時間帯など、一定のピークが存在します。一方で、週初めや月初めにはアクセスのピークも発生します。
b) ピーク期間には、より高い処理パフォーマンスの拡張率が必要であり、異なるピークの種類には異なるシステム リソースの要件があります。異なるシナリオでは、拡張アクションの事前計画が必要です。
4. 信頼性/適時性の要件
a) 情報は 24 時間生成され続け、プラットフォームに入力されてから数分以内に処理され、外部サービスのデータプールに入力される必要があります。そのため、プラットフォームは安定して処理できる必要があります。データのバックログを回避するために、トラフィックのピークに遭遇したときに継続的に自動的に拡張します。処理プロセスに漏れやエラーがあった場合、自動的に再試行できる必要があります。
b) 外部サービス関連システムは、エンド ユーザーのアクセス ポータルとして機能し、サービスの継続性に一定の要件があります。
上記のプラットフォーム機能設計を踏まえ、Yushi Technology では IaaS/PaaS を含む IT インフラストラクチャに対して次の要件を設けています。
1. 多様なストレージタイプ、システム間のスムーズな相互アクセス、複数のストレージタイプをサポート、さまざまなストレージシステム間のシームレスな相互アクセス、日常の使用、管理、データ転送はGUIを通じて設定できます。
2. シンプルかつ柔軟なデータ処理プロセス
a) 統一された処理フロー管理の入り口を提供し、グラフィカルなプロセス設計をサポートします。
b) 複雑なビジネス ロジックを実装するための共通の開発言語の使用をサポートし、プロセスにシームレスに組み込むことができます。
c) プロセスノード間、プロセスとデータストレージインターフェース、プロセス間の複雑な対話制御を実現できます。
d) 実行時プロセスを追跡および分析でき、特定のデータまたはプロセスを簡単に追跡および分析できます。
3. システムの自動拡張・縮小
a) データ処理プロセスのシステム容量は、トラフィックの山と谷に応じて自動的に拡張および縮小でき、その拡張と縮小は、システム間の依存関係に基づく特定のスクリプトに従って処理できます。
b) 他のビジネス システムは、ビジネス アクセスの山と谷に応じて自動的に調整する必要があります。
4. 研究開発業務全体の品質と効率の向上
a) システムの信頼性を確保しながら、IT リソースと管理コストの直接コストを削減します。 b) CI/CD プロセス全体の効率を向上します。
クラウド ワークフロー CloudFlow + Function Compute FC は、複雑なデータ処理の向上を支援します
Yushi Technology は、クラウド ネイティブの波の中で誕生したデータ テクノロジー企業です。設立当初は、IT 業務全体の品質と効率の向上、コストの最適化を目的として、クラウド ネイティブ テクノロジーの導入を決定しました。
品質と効率を向上させる上で直面する課題は主にデータ処理プロセスに焦点が当てられているため、Alibaba Cloud やコンテナ化されたデプロイメントなどの通常の CI/CD 効率向上ツールの使用に加えて、最終的にクラウド ワークフロー CloudFlow と機能を選択しました。 FC2の新商品です。目標は、クラウド ワークフロー CloudFlow を通じて複雑なデータ プロセスを管理する必要性を解決し、クラウド ワークフロー CloudFlow の運用中に一部のノードが複雑なビジネス ロジックを処理すると同時に、Function Compute FC を使用して問題を解決することです。処理能力により、柔軟なスケーリングのニーズを完全に解決できます。
データ フロー図は次のとおりです。
実践を通じて、一般的なワークフローでは、CloudFlow を使用して Web インターフェイスを開発すると、主流の Java アプリケーション フレームワークを使用する場合と比較して開発作業量が約半分に削減され、同時にオンライン リリースのリンクが省略されるため、オンラインの効率が向上することがわかりました。デバッグも改善され、Web コンソールに基づく追跡とデバッグの使用効率も一定期間の適応後に大幅に改善されました。
Yushi Technology は 6 か月間使用し、20 近くのワークフローを開発しました。これらのワークフローは数十の関数を呼び出し、数十万回実行されます。ワークフローを担当するエンジニアは 1 人だけですが、平均して約 2 週間ごとに新しいワークフローを開始することは可能です。エンジニアにとっては、オンラインでの追跡やデバッグが必要になる場合を除けば、基本的にオンライン化後のワークフローの実行状況を気にする必要がなく、まさに「放っておけば忘れる」ことが実現します。
展望
ビッグモデル時代のデータ中心のスタートアップとして、当社はアリババが提供するインフラストラクチャ革新機能を通じて、データプラットフォームと大規模モデルの機能を組み合わせる可能性をさらに深く掘り下げ、エンド顧客に強力な機能とサービスを提供していきます。より多くの反復を可能にする高速データ製品。
私はオープンソースの産業用ソフトウェアを諦めることにしました - OGG 1.0 がリリースされ、Huawei がすべてのソース コードを提供しました。Google Python Foundation チームは「コード クソ マウンテン」によって解雇されました 。 Fedora Linux 40が正式リリース。有名ゲーム会社がリリース 新規定：従業員の結婚祝儀は10万元を超えてはならない。チャイナユニコム、世界初のオープンソースモデルLlama3 8B中国語版をリリース。Pinduoduoに賠償判決国内のクラウド入力方式に500万元の罰金- クラウドデータアップロードのセキュリティ問題がないのはファーウェイだけ