Face Wall Intelligence는 최근 추론 기능에 초점을 맞춘 Eurux-8x22B-NCA, Eurux-8x22B-KTO를 포함한 오픈 소스 대형 모델 Eurux-8x22B를 출시했습니다.
공식 소개에서는 이렇게 말했습니다.
잘 알려진 Llama3-70B와 비교하여 Eurux-8x22B는 이전에 출시되었으며 비슷한 전체 성능, 특히 더 강력한 추론 성능을 제공합니다. 이는 오픈 소스 대형 모델의 SOTA 추론 성능을 새롭게 하며 오픈 소스 중 "과학 챔피언"이라고 불릴 수 있습니다. 대형 모델.
Eurux-8x22B는 LeetCode(실제 LeetCode 프로그래밍 질문 180개) 및 TheoremQA 테스트에서 Llama3-70B를 능가했으며 LeetCode 테스트에서는 비공개 소스 GPT-3.5-Turbo를 능가했습니다.
보고서에 따르면 Eurux-8x22B 모델 활성화 매개변수는 39B이고 64k 컨텍스트를 지원하며 Mixtral-8x22B 모델과 정렬되고 UltraInteract 정렬 데이터 세트에 대해 교육됩니다.
Eurox-8x22B 모델 + 정렬 데이터 세트는 모두 오픈 소스입니다.
- Eurox-8x22B 모델 GitHub 주소: https://github.com/OpenBMB/Eurus
- Eurux-8x22B 모델 HuggingFace 주소: https://huggingface.co/openbmb/Eurux-8x22b-nca