Face Wall Intelligence a récemment publié le grand modèle open source Eurux-8x22B, comprenant Eurux-8x22B-NCA et Eurux-8x22B-KTO, axé sur les capacités de raisonnement.
L'introduction officielle disait :
Comparé au célèbre Llama3-70B, Eurux-8x22B a été publié plus tôt et a des performances globales similaires, en particulier des performances d'inférence plus fortes - rafraîchissant les performances d'inférence SOTA des grands modèles open source, et peut être appelé le « champion scientifique » parmi l'open source. grands modèles.
Eurux-8x22B a surpassé Llama3-70B dans les tests LeetCode (180 vraies questions de programmation LeetCode) et TheoremQA, et a surpassé le GPT-3.5-Turbo à source fermée dans les tests LeetCode.
Selon les rapports, le paramètre d'activation du modèle Eurux-8x22B est 39B, prend en charge le contexte 64k, est aligné sur le modèle Mixtral-8x22B et est formé sur l'ensemble de données aligné UltraInteract.
Le modèle Eurux-8x22B + l'ensemble de données d'alignement sont tous open source :
- Adresse GitHub du modèle Eurux-8x22B : https://github.com/OpenBMB/Eurus
- Adresse HuggingFace du modèle Eurux-8x22B : https://huggingface.co/openbmb/Eurux-8x22b-nca