魔方陣量子化を使用した DeepSeek-LLM-7B-Chat 大規模モデルをデバイス間でローカルに実行する - コードワールド

魔方陣量子化を使用した DeepSeek-LLM-7B-Chat 大規模モデルをデバイス間でローカルに実行する

その他 2024-01-03 17:28:39 訪問数: null

NoSuchKey

おすすめ

転載: my.oschina.net/u/4532842/blog/10446044

魔方陣量子化を使用した DeepSeek-LLM-7B-Chat 大規模モデルをデバイス間でローカルに実行する

魔方陣量子化を使用した DeepSeek-LLM-7B-Chat 大規模モデルをデバイス間でローカルに実行する

魔方陣量子化を使用した DeepSeek-LLM-7B-Chat 大規模モデルをデバイス間でローカルに実行する

魔方陣量子化を使用した DeepSeek-LLM-7B-Chat 大規模モデルをデバイス間でローカルに実行する

魔方陣量子化を使用した DeepSeek-LLM-7B-Chat 大規模モデルをデバイス間でローカルに実行する

NVIDIA が、ローカルで大規模なモデルの実行を高速化する Windows 用 TensorRT-LLM ライブラリをリリース

LangChain 大規模モデルアプリケーションのランディング実践 (2): LLM モジュールを使用してカスタム大規模モデルにアクセスし、ChatGLM を例にします

[人工知能] 大規模言語モデルに関するアーキテクトのテクニカルガイド: 核心点は、既存のプロセスを LLM に結合するための合理的な DSL (ドメイン固有言語) を見つけることです。

ChatGPT Enterprise は大規模言語モデル (LLM) 空間に混乱を引き起こすでしょうか?

run-llm.sh、ワンクリックで大規模な言語モデルをローカルおよびクロスプラットフォームで実行

大規模言語モデル (LLM) の進化ツリー。この図を理解するには LLM を学習するだけで十分です

清華大学の大規模モデル Chaglm2-6b の最新バージョンを Linux にデプロイするために協力してください。

[アーキテクチャの実践] LLM の大規模モデル機能を、langchain を通じてエンタープライズアプリケーションに統合するにはどうすればよいですか?

大規模モデル (LLM) のトークンを解釈する

Apple、大規模な言語モデルをデバイスにローカルに展開

開発者の実践 | 低ビット量子化テクノロジーを使用して大規模モデルの推論パフォーマンスをさらに向上させる方法

Peft ライブラリを使用するためのヒント (1): ベースモデルと Lora モデルのマージ [Peft ライブラリを使用してベースモデル (LLaMA-7B など) を微調整すると、Lora パラメータモジュールと完全なパラメータモジュールが取得されます。微調整は、基本モデルと Lora パラメータをマージした後にのみ取得できます。大規模モデルの後]

[Tencent Cloud Lab] クローラー + ベクターデータベース + LLM の大規模モデルをゼロから構築し、企業の民営化されたナレッジベースを構築する

ModaHub マジックコミュニティ: ベクトルデータベース + LLM (大規模言語モデル) に基づいてユーザーをよりよく理解するエンタープライズ固有のチャットボットを作成するにはどうすればよいですか?

歴史コースで大規模言語モデル LLM を教育ツールとして使用するにはどうすればよいですか? #tipsエンジニアリングのヒント

GGML と LangChain を使用して CPU 上で量子化された llama2 を実行する

無誘導でスムーズな移行: 大規模で同時実行性の高いデータベースをローカライズするには?

ハギングフェイスが大規模モデルトレーニング用にローカルデータセットをロードする方法

Ant CodeFuse-13B コード固有の大規模モデルはオープンソースであり、Fuzi・Mingcha 司法大規模モデル、MindChat 心理大規模モデル、およびその他のプロジェクトの複数の新しいモデルバージョンがオープンソースです

ベクトルデータベース: 大規模言語モデルのパワーの背後にある秘密ベクトルデータベースとは何ですか? なぜ LLM にとって重要なのでしょうか?

6 つの大きな影響を与える大規模言語モデルアプリケーション。現在実現可能な現実的で大きな影響を与える LLM を探求します。

RK3568 開発ノート (7): ホスト ubuntu 上に Qt クロスコンパイル開発環境を構築し、デモをコンパイルし、ターゲットボード上でデモテストを実行する

ゼロベース、ゼロコストで、お客様に属する大規模なモデルをデプロイします

大規模言語モデル (LLM) を使用したシステムの構築 (7): 評価 1

大規模言語モデル (LLM) を使用したシステムの構築 (7): 評価 2

おすすめ

ランキング

アルゴリズム：ソートされた配列から重複データを削除する26.ソートされた配列から重複を削除する

ユニティネットワークの相互作用シュウWebGLの

ES6 - ジェネレータジェネレータ

Javaネットワークプログラミング(2)典型的な事例【貼り付け・開梱】

小規模なプログラム開発経験の要約

Revisión de mi práctica de ingeniería front-end de tres años en Meituan

クラウド - テンセントクラウド - クラウド需要：需要クラウド

高レベルの文脈上のセマンティクス

いくつかの一般的な並べ替えアルゴリズムとその長所と短所

C / C ++深さ優先探索（再帰木シミュレーション）

アーカイブ

もっと

2025-01-04(0)

2025-01-03(0)

2025-01-02(0)

2025-01-01(0)

2024-12-31(0)

2024-12-30(0)

2024-12-29(0)

2024-12-28(0)

2024-12-27(0)

2024-12-26(0)