【AI】アルゴリズムチートシート～大規模モデルの微調整方法まとめ～ - コードワールド

【AI】アルゴリズムチートシート～大規模モデルの微調整方法まとめ～

開発 2023-07-16 12:10:29 訪問数: null

NoSuchKey

おすすめ

転載: blog.csdn.net/weixin_44491772/article/details/130859060

【AI】アルゴリズムチートシート～大規模モデルの微調整方法まとめ～

LORA の大規模モデルにより、アルゴリズムの微調整とトレーニングが高速化されます

命令の微調整から数学的推論機能まで、大規模モデルの可能性を探る | 9 月 14 日の大規模モデルシリーズアクティビティの第 11 号

Lamini: 大規模言語モデルの微調整フレームワーク

[LLM] 大規模言語モデル学習用の LLAMA 2: オープンな基盤と微調整されたチャットモデル

マルチモーダル大規模モデル (大規模モデルの基礎、微調整、ビデオ理解マルチモーダル事前トレーニング)

[Java アルゴリズム] ソートアルゴリズムの大規模なコレクション

大規模モデルの微調整方法の概要: LoRA、アダプター、プレフィックスチューニング、P チューニング、プロンプトチューニング

650 億のパラメータ、8 つの GPU で微調整可能: Qiu Xipeng のチームは大規模モデルの敷居を下げました

Peft ライブラリを使用するためのヒント (1): ベースモデルと Lora モデルのマージ [Peft ライブラリを使用してベースモデル (LLaMA-7B など) を微調整すると、Lora パラメータモジュールと完全なパラメータモジュールが取得されます。微調整は、基本モデルと Lora パラメータをマージした後にのみ取得できます。大規模モデルの後]

リアルスマートは大規模モデル技術を初めて採用し、その「AI+RPA」シリーズ製品は包括的なインテリジェントアップグレードを先導します

工業情報化省: 大規模モデルアルゴリズムにおける技術的ブレークスルーの促進とスマートチップの計算能力の向上に重点を置く

【ChatGLM】ChatGLM 大規模モデルの微調整

微調整: 大規模モデルの最適化戦略

大規模言語モデルの入門チュートリアルパート 1: BERT BERT が最先端の埋め込みを構築する方法を学びます (ソースコード付きのチュートリアル)

大規模モデルのアルゴリズムサーバーを長期間研究した結果、4060Ti 16G は依然としてコスト効率が高く、マルチカードサーバーに組み立てることができることがわかりました。

アテンションメカニズムから RLHF まで、大規模モデルテクノロジを始めるための必読リスト

大規模モデルの LLM 微調整エクスペリエンスの共有と概要

[自然言語処理] [大規模モデル] 非常に少ないリソースで大規模モデルのメソッドを微調整するための LoRA および BLOOM-LORA 実装コード

大規模モデル微調整テクノロジー: 統合フレームワーク (統合アダプターチューニング、プレフィックスチューニング、LoRA) [大規模モデルパラメーターを凍結し、新しく挿入されたパラメーターレイヤーを微調整します]

大規模モデル微調整技術：DeltaTuning 【既存PEFTの統一フレームワークを提案、最適化の観点からPEFTの有効性を説明、大規模実験を実施】【パラメータを効率的に微調整するための統一フレームワーク】

[AI New Trends Journal #2] AI がコンピューターアルゴリズム、大規模モデルのランク付け方法、写真を数秒で QR コードに変換、ワンクリックアニメスタイルのビデオを発明

Transformers の Trainer を使用して、PyTorch で事前トレーニングされた大規模モデルを微調整する

LLM-大規模モデルトレーニング-ステップ(3): 命令微調整 [教師微調整] [中国語命令コーパス] [トレーニング方法は教師なし学習と同じ] [命令コーパススタイル: 命令+入力+出力]

クラウドネイティブのベクトルデータベース PieCloudVector は、マルチモーダルな大規模モデル AI アプリケーションを支援します

【LLMシリーズの命令微調整】早い話が、大型モデルの命令微調整の「プロンプト」

血圧アルゴリズムとシャワー温度調整

resnet の事前トレーニングモデルと微調整

650 億個のパラメータを備え、8 つの GPU で大規模モデルのパラメータを微調整できます。Qiu Xipeng チームの最新論文がここにあります。

大規模モデル開発 (14): OpenAI Chat モデル + Google API を使用して、インテリジェントな電子メール送受信のための AI アプリケーションを実装します。

おすすめ

ランキング

図ヤン・テクノロジー商品リスト2020から02

React(5) ライフサイクル (古い)

Wi-FiPHY速度

コースレビュー1

MFCのWin32 APIのシリアル非同期モードは、vs2015を実証します

定理[ルーカス]羅区P4345

Renren.comはネットワーク全体に削除されましたが、私は彼に同情しません！

操作にMongoDBに関連するPythonのファイル

el-tree チェックしたものを展開します

最初のブログは、JavaScriptを学ぶための基礎0.1についての記録

アーカイブ

もっと

2025-03-24(0)

2025-03-23(0)

2025-03-22(0)

2025-03-21(0)

2025-03-20(0)

2025-03-19(0)

2025-03-18(0)

2025-03-17(0)

2025-03-16(0)

2025-03-15(0)