個人ブログのナビゲーションページ（クリック、右側にリンク個人のブログを開くために）：ダニエルは、テクノロジ・スタックにあなたを取ります
投資運用会社は、金融と投資機関の規模と複雑さのさまざまな統合システムを提供することに焦点を当て、システムは、主にポートフォリオ管理、取引執行管理、リアルタイム監視と管理、リスク管理、その他の機能モジュールから構成されています。製品の数が企業経営を育成して、大量のデータを管理し、使用することは困難、様々な証券会社のシステムと異なるデータ・ストレージ・フォーマットに散在しました。
機関投資家や投資判断は、運用効率を最大化するために支援するために、同社は分析結果に基づいて、各取引プラットフォーム、バランス、注文取引、及び与えられたタイムリーな投資アドバイスの基本的な情報で自分のリアルタイムのユーザーを監視する必要があります。
場合は、会社の場合ではありません。現在では、より多くの企業は、上流、下流のタイミング配信システムの外部からさまざまなビジネスにおけるリアルタイムのデータベースに加えて、データ伝送にシナリオを要求し、外部パートナーからビジネス・ニーズのデータを取得する必要がある多くのシナリオがあるサプライヤーを。
あなたは毎日、多くの場合、どのような方法を使用して、エンタープライズシステムの外部からデータを取得したい場合は？
ユーザーによって与えられた回答の一部は次のとおりです、データ取り込み後に、サードパーティシステムが提供するAPIインタフェースたinvoke手動でスクリプトを記述し、独自のクリーニングロジックを記述し、最終的にデータ・フロアを実現するために必要に応じて。
しかし、サードパーティシステムの数が増加して、元のスクリプトによれば、過剰なメンテナンスコストとデータ転送タスクの管理コストを生じさせる場合。痛みのポイントを解決するために、データ同期タスクの新しいバージョンでDataPipeline増加「カスタム・データ・ソース」機能では、ユーザーがアップロードカスタムロジックのJARパッケージのアプローチによってデータにアクセスすることができます。新機能は、MySQLやOracle、SQLServerの、ハイブ、のいずれかのサポートのHBase や他の一般的なデータソース、および（例えばテンセントクラウドTDSQLなど）他の一般的なデータベース、一般的に使用されるAPIコールを、ユーザ定義のSDK、またはPythonのクロールデータによる。
提供された値「カスタムデータソース」
「カスタムデータソース」は、ユーザーができることにより：
-
データ収集ロジックの統合管理は、迅速な統合JARはスクリプト開発の量を減らします。
-
上流が変化したとき、各データ送信タスクのために調整することができません。
-
これは、クリーニングツールのDataPipelineとオブジェクトの初期化機能は、全体的な開発の量を減らし、および監視と早期警告を提供するために、データ解析機能と組み合わせることができます。
「カスタムデータソース」機能を使用する方法
ユーザーは、次の4つのステップを通じて、「カスタム・データ・ソース」機能を使用することができます。
-
カスタムデータソースを作成し、JARパッケージをアップロード（またはJARパッケージをアップロードし、検索）。
-
保存されたデータの送信先を選択します。
-
データ解析ロジックのクリーニングツールを使用します。
-
すべての設定を完了するために、先のテーブル構造を構成します。
「カスタムデータソース」コアページについて：
1.利用者は、カスタムデータソースと宛先を選択した後、読み取りJARファイルには、設定工程アップロードします
-
ユーザーは、新しいJARパッケージをアップロードすることができ、あなたはまた、JARの歴史のドラッグ＆ドロップのアップロードを選択するために、ボックスをクリックすることができ、このタスクを使用しています。
-
詰めユーザ設定情報は、データパスを読み、読み出した論理データソースを完了するために必要。
2.ユーザは、テーブル内のターゲット表にマッピングすることができる各オブジェクトを読み取る、読み取りするタスクに1つまたは複数のオブジェクトを選択することができ
3.読み取りの完了が提供された後、書き込み工程において各オブジェクトが読み取られるようにするためのロジックを解析するデータを決定するために設けられています。
-
DataPipelineは、ユーザがカスタムロジックを解析し、サンプルを参照することができ、JSONの解析例を提供します。
-
「サンプルデータ」モジュールが表示オブジェクトを読み取ることによって得られた構成データ。
-
先に書き込まれたデータの最終フォーマットを参照するには、「試運転」の「業績」モジュールクリックでクリーニングスクリプトの内容が完了した後。
4.ロジックを解析した後、ユーザが手動で名前を追加することができ、先のテーブルの構造を完成するために、対応するデータタイプを選択します
すべての設定を完了した後、データ転送タスクを実行するために、「アクティブ今」をクリックしてください。
付属のJava / C / C ++ /機械学習/アルゴリズムとデータ構造/フロントエンド/アンドロイド/パイソン/プログラマ読み/シングル書籍図書Daquanは：
（点击右侧 即可打开个人博客内有干货）：技术干货小栈
=====>>①【Java大牛带你入门到进阶之路】<<====
=====>>②【算法数据结构+acm大牛带你入门到进阶之路】<<===
=====>>③【数据库大牛带你入门到进阶之路】<<=====
=====>>④【Web前端大牛带你入门到进阶之路】<<====
=====>>⑤【机器学习和python大牛带你入门到进阶之路】<<====
=====>>⑥【架构师大牛带你入门到进阶之路】<<=====
=====>>⑦【C++大牛带你入门到进阶之路】<<====
=====>>⑧【ios大牛带你入门到进阶之路】<<====
=====>>⑨【Web安全大牛带你入门到进阶之路】<<=====
=====>>⑩【Linux和操作系统大牛带你入门到进阶之路】<<=====天下没有不劳而获的果实，望各位年轻的朋友，想学技术的朋友，在决心扎入技术道路的路上披荆斩棘，把书弄懂了，再去敲代码，把原理弄懂了，再去实践，将会带给你的人生，你的工作，你的未来一个美梦。
