Face Wall Intelligence hat kürzlich das Open-Source-Großmodell Eurux-8x22B veröffentlicht, einschließlich Eurux-8x22B-NCA und Eurux-8x22B-KTO, das sich auf Argumentationsfunktionen konzentriert.
In der offiziellen Einleitung hieß es:
Im Vergleich zum bekannten Llama3-70B wurde Eurux-8x22B früher veröffentlicht und verfügt über eine ähnliche Gesamtleistung, insbesondere eine stärkere Inferenzleistung – eine Auffrischung der SOTA-Inferenzleistung großer Open-Source-Modelle und kann als „Wissenschaftschampion“ unter Open Source bezeichnet werden große Modelle.
Eurux-8x22B übertraf Llama3-70B in LeetCode- (180 echte LeetCode-Programmierfragen) und TheoremQA-Tests und übertraf den Closed-Source-GPT-3.5-Turbo in LeetCode-Tests.
Berichten zufolge beträgt der Aktivierungsparameter des Eurux-8x22B-Modells 39B, unterstützt 64k-Kontext, ist auf das Mixtral-8x22B-Modell abgestimmt und wird auf dem UltraInteract-abgeglichenen Datensatz trainiert.
Das Eurux-8x22B-Modell und der Ausrichtungsdatensatz sind alle Open Source:
- GitHub-Adresse des Eurux-8x22B-Modells: https://github.com/OpenBMB/Eurus
- Eurux-8x22B-Modell HuggingFace-Adresse: https://huggingface.co/openbmb/Eurux-8x22b-nca