Ausführen von Llama 3-Großmodellen in einer lokalen Umgebung: eine Machbarkeits- und praktische Anleitung

lama3.png

Einführung:

Llama ist ein großes Sprachmodell (LLM), das vom Forschungsteam für künstliche Intelligenz von Meta (ehemals Facebook) entwickelt und als Open Source bereitgestellt wurde. Es ist für die kommerzielle Nutzung offen und hat tiefgreifende Auswirkungen auf den gesamten Bereich der künstlichen Intelligenz. Nach dem zuvor veröffentlichten Llama 2-Modell, das 4096 Kontexte unterstützt, hat Meta die Meta Llama 3-Serie von Sprachmodellen mit besserer Leistung auf den Markt gebracht, darunter ein 8B-Modell (8 Milliarden Parameter) und ein 70B-Modell (70 Milliarden Parameter). Die Leistung des Llama 3 70B ist mit der des Gemini 1.5 Pro vergleichbar und übertrifft den Claude Big Cup in allen Aspekten, während das Modell 400B+ voraussichtlich mit dem Claude Extra Large Cup und dem neuen GPT-4 Turbo konkurrieren wird

In verschiedenen Testbenchmarks haben die Modelle der Llama 3-Serie ihre überlegene Leistung unter Beweis gestellt. Sie sind in Bezug auf Praktikabilität und Sicherheitsbewertung mit anderen beliebten Closed-Source-Modellen auf dem Markt vergleichbar und übertreffen diese in einigen Aspekten sogar. Die Veröffentlichung der Meta Llama 3-Serie festigt nicht nur seine Wettbewerbsposition im Bereich groß angelegter Sprachmodelle, sondern stellt Forschern, Entwicklern und Unternehmen auch leistungsstarke Tools zur Verfügung, um die Weiterentwicklung der Sprachverständnis- und Generierungstechnologie voranzutreiben.

Projektadresse:

https://github.com/meta-llama/llama3

Unterschiede zwischen Lama2 und Lama3

llama3and3diff.webp

Unterschiede zwischen llama3 und GPT4

Index Rufen Sie 3 an GPT-4
Modellgröße 70B、400B+ 100B, 175B, 500B
Parametertyp Transformator Transformator
Trainingsziele Maskierte Sprachmodellierung, Ratlosigkeit Maskierte Sprachmodellierung, Ratlosigkeit
Trainingsdaten Bücher、WebText Bücher、WebText
Leistung SOTA (Frage und Antwort, Textzusammenfassung, maschinelle Übersetzung usw.) SOTA (Frage und Antwort, Textzusammenfassung, maschinelle Übersetzung usw.)
Open Source Ja NEIN

Höhepunkte von Lama 3

  • Offen für alle: Meta macht modernste KI-Technologie zugänglich, indem es eine leichtgewichtige Version von Llama 3 als Open-Source-Lösung bereitstellt. Ganz gleich, ob Sie ein Entwickler, Forscher oder ein Freund sind, der sich für KI-Technologie interessiert, Sie können frei erkunden, kreieren und experimentieren. Llama 3 bietet eine benutzerfreundliche API für Forscher und Entwickler.

  • Großer Modellmaßstab: Der Parametermaßstab des Modells Llama 3 400B+ hat 400 Milliarden erreicht, was einem großen Sprachmodell entspricht.

  • Wird bald in verschiedene Anwendungen integriert: Llama 3 ist derzeit mit Meta AI ausgestattet, Meta AI-Erlebnisadresse: https://www.meta.ai/

llama3-pre-trained.png

Lama3-8b-70b.webp

llam3-15T-tokens.png

Verwenden von Ollama unter Windows und Ausführen des Llama3-Modells

Besuchen Sie die Seite https://ollama.com/download/windowsOllamaSetup.exe , um das Installationsprogramm herunterzuladen .

Wählen Sie nach der Installation die entsprechenden Modellparameter für die Installation entsprechend Ihrer Computerkonfiguration aus (mindestens 8 GB Speicher sind erforderlich, um 7B auszuführen, und mindestens 16 GB Speicher sind erforderlich, um 13B auszuführen).

Was ich hier verwende, ist Llama3:8b. Es ist ersichtlich, dass es immer noch einige Probleme mit Chinesisch gibt.

ollama3.png

Modell Parameter Größe Herunterladen
Rufen Sie 3 an 8B 4,7 GB ollama run llama3
Rufen Sie 3 an 70B 40 GB ollama run llama3:70b
Mistral 7B 4,1 GB ollama run mistral
Delphin Phi 2,7B 1,6 GB ollama run dolphin-phi
Phi-2 2,7B 1,7 GB ollama run phi
Neuronaler Chat 7B 4,1 GB ollama run neural-chat
Star 7B 4,1 GB ollama run starling-lm
Code Lama 7B 3,8 GB ollama run codellama
Lama 2 unzensiert 7B 3,8 GB ollama run llama2-uncensored
Rufen Sie 2 13B an 13B 7,3 GB ollama run llama2:13b
Rufen Sie 2 70B an 70B 39 GB ollama run llama2:70b
Orca Mini 3B 1,9 GB ollama run orca-mini
Die Lava 7B 4,5 GB ollama run llava
Gemma 2B 1,4 GB ollama run gemma:2b
Gemma 7B 4,8 GB ollama run gemma:7b
Solar 10,7B 6,1 GB ollama run solar

Umarmendes Gesicht verwenden

Besuchen Sie: https://huggingface.co/chat/ und wechseln SieModels

Replizieren Sie die Verwendung

8B-Modell: https://replicate.com/meta/meta-llama-3-8b

70B-Modell: https://replicate.com/meta/meta-llama-3-70b

Dieser Artikel ist ein Nachdruck des Artikels Heng Xiaopai und das Urheberrecht liegt beim ursprünglichen Autor. Es wird empfohlen, den Originaltext zu lesen. Um diesen Artikel erneut zu drucken, wenden Sie sich bitte an den Originalautor.

Linus nahm die Sache selbst in die Hand, um zu verhindern, dass Kernel-Entwickler Tabulatoren durch Leerzeichen ersetzen. Sein Vater ist einer der wenigen Führungskräfte, die Code schreiben können, sein zweiter Sohn ist Direktor der Open-Source-Technologieabteilung und sein jüngster Sohn ist ein Kern Mitwirkender bei Open Source: Es dauerte ein Jahr, 5.000 häufig verwendete mobile Anwendungen zu konvertieren. Java ist die Sprache, die am anfälligsten für Schwachstellen von Drittanbietern ist. Wang Chenglu, der Vater von Hongmeng: Open Source Hongmeng ist die einzige architektonische Innovation im Bereich der Basissoftware in China. Ma Huateng und Zhou Hongyi geben sich die Hand, um „den Groll zu beseitigen.“ Ehemaliger Microsoft-Entwickler: Die Leistung von Windows 11 ist „lächerlich schlecht“. sind sehr herzerwärmend . Meta Llama 3 wird offiziell veröffentlicht
{{o.name}}
{{m.name}}

Ich denke du magst

Origin my.oschina.net/u/6851747/blog/11054408
Empfohlen
Rangfolge