Exécution de modèles à grande échelle de Llama 3 dans un environnement local : faisabilité et guide pratique

[Aperçu de diffusion en direct] Les grands modèles remplaceront-ils les programmeurs ? "

Introduction:

Llama est un grand modèle de langage (LLM) développé et open source par l'équipe de recherche en intelligence artificielle de Meta (anciennement Facebook). Il est ouvert à un usage commercial et a eu un impact profond sur l'ensemble du domaine de l'intelligence artificielle. Suite au modèle Llama 2 précédemment publié qui prend en charge 4096 contextes, Meta a en outre lancé la série Meta Llama 3 de modèles de langage avec de meilleures performances, notamment un modèle 8B (8 milliards de paramètres) et un modèle 70B (70 milliards de paramètres). Les performances du Llama 3 70B sont comparables à celles du Gemini 1.5 Pro et surpassent Claude Big Cup dans tous les aspects, tandis que le modèle 400B+ devrait rivaliser avec Claude Extra Large Cup et le nouveau GPT-4 Turbo.

Lors de divers tests, les modèles de la série Llama 3 ont démontré leurs performances supérieures. Ils sont comparables aux autres modèles à source fermée populaires sur le marché en termes de praticité et d'évaluation de la sécurité, et les surpassent même dans certains aspects. La sortie de la série Meta Llama 3 consolide non seulement sa position concurrentielle dans le domaine des modèles linguistiques à grande échelle, mais fournit également aux chercheurs, aux développeurs et aux entreprises des outils puissants pour promouvoir le développement ultérieur de la compréhension et de la technologie de génération du langage.

adresse du projet :

https://github.com/meta-llama/llama3

Différences entre lama2 et lama3

Différences entre lama3 et GPT4

indice	Appelez le 3	GPT-4
Taille du modèle	70B, 400B+	100B, 175B, 500B
Type de paramètre	Transformateur	Transformateur
Objectifs de formation	Modélisation du langage masqué、Perplexité	Modélisation du langage masqué、Perplexité
données d'entraînement	Livres、WebText	Livres、WebText
performance	SOTA (question et réponse, résumé de texte, traduction automatique, etc.)	SOTA (question et réponse, résumé de texte, traduction automatique, etc.)
Open source	Oui	Non

Points forts de Lama 3

• Ouvert à tous : Meta rend accessible la technologie d'IA de pointe en open source une version allégée de Llama 3. Que vous soyez un développeur, un chercheur ou un ami curieux de connaître la technologie de l'IA, vous pouvez librement explorer, créer et expérimenter. Llama 3 fournit une API facile à utiliser pour les chercheurs et les développeurs.

• Grande échelle de modèle : L'échelle des paramètres du modèle Llama 3 400B+ a atteint 400 milliards, ce qui est un grand modèle de langage.

• Sera bientôt intégré à diverses applications : Llama 3 est actuellement doté de Meta AI, adresse de l'expérience Meta AI : https://www.meta.ai/

Utilisation d'Ollama sous Windows, exécution du modèle Llama3

Visitez la page https://ollama.com/download/windows pour télécharger OllamaSetup.exele programme d'installation.

Après l'installation, sélectionnez les paramètres de modèle correspondants pour l'installation en fonction de la configuration de votre ordinateur (au moins 8 Go de mémoire sont requis pour exécuter 7B et au moins 16 Go de mémoire sont requis pour exécuter 13B).

Ce que j'utilise ici est Llama3:8b. On peut voir qu'il y a encore quelques problèmes avec le chinois.

Modèle	Paramètres	Taille	Télécharger
Appelez le 3	8B	4,7 Go	ollama run llama3
Appelez le 3	70B	40 Go	ollama run llama3:70b
Mistral	7B	4,1 Go	ollama run mistral
Dauphin Phi	2,7B	1,6 Go	ollama run dolphin-phi
Phi-2	2,7B	1,7 Go	ollama run phi
Discussion neuronale	7B	4,1 Go	ollama run neural-chat
Étourneau	7B	4,1 Go	ollama run starling-lm
Code Lama	7B	3,8 Go	ollama run codellama
Lama 2 non censuré	7B	3,8 Go	ollama run llama2-uncensored
Appelez le 2 13B	13B	7,3 Go	ollama run llama2:13b
Appelez le 2 70B	70B	39 Go	ollama run llama2:70b
Orque Mini	3B	1,9 Go	ollama run orca-mini
La lave	7B	4,5 Go	ollama run llava
Gemme	2B	1,4 Go	ollama run gemma:2b
Gemme	7B	4,8 Go	ollama run gemma:7b
Solaire	10,7B	6,1 Go	ollama run solar

Utiliser le visage câlin

Visitez : https://huggingface.co/chat/ et changezModels

Utilisation répliquée

Modèle 8B : https://replicate.com/meta/meta-llama-3-8b

Modèle 70B : https://replicate.com/meta/meta-llama-3-70b

Cet article est une réimpression de l'article Heng Xiaopai et les droits d'auteur appartiennent à l'auteur original. Il est recommandé de consulter le texte original. Pour réimprimer cet article, veuillez contacter l'auteur original.

Linus a pris les choses en main pour empêcher les développeurs du noyau de remplacer les tabulations par des espaces. Son père est l'un des rares dirigeants capables d'écrire du code, son deuxième fils est directeur du département de technologie open source et son plus jeune fils est un noyau. contributeur à l'open source. Huawei : Il a fallu 1 an pour convertir 5 000 applications mobiles couramment utilisées Migration complète vers Hongmeng Java est le langage le plus sujet aux vulnérabilités tierces Wang Chenglu, le père de Hongmeng : l'open source Hongmeng est la seule innovation architecturale. dans le domaine des logiciels de base en Chine, Ma Huateng et Zhou Hongyi se serrent la main pour « éliminer les rancunes ». Ancien développeur de Microsoft : les performances de Windows 11 sont « ridiculement mauvaises » " Bien que ce que Laoxiangji est open source, ce ne soit pas le code, les raisons qui le sous-tendent. sont très réconfortants. Meta Llama 3 est officiellement publié. Google annonce une restructuration à grande échelle.

{{o.name}}

{{m.nom}}