Face Wall Intelligence lanzó recientemente el modelo grande de código abierto Eurux-8x22B, incluidos Eurux-8x22B-NCA y Eurux-8x22B-KTO, centrándose en las capacidades de razonamiento.
La introducción oficial decía:
En comparación con el conocido Llama3-70B, Eurux-8x22B se lanzó antes y tiene un rendimiento general similar, especialmente un rendimiento de inferencia más fuerte, lo que actualiza el rendimiento de inferencia SOTA de los modelos grandes de código abierto y puede considerarse el "campeón científico" entre el código abierto. modelos grandes.
Eurux-8x22B superó a Llama3-70B en LeetCode (180 preguntas reales de programación de LeetCode) y pruebas TheoremQA, y superó al GPT-3.5-Turbo de código cerrado en las pruebas de LeetCode.
Según los informes, el parámetro de activación del modelo Eurux-8x22B es 39B, admite contexto de 64k, está alineado con el modelo Mixtral-8x22B y está entrenado en el conjunto de datos alineados UltraInteract.
El modelo Eurux-8x22B + el conjunto de datos de alineación son todos de código abierto:
- Dirección de GitHub del modelo Eurux-8x22B: https://github.com/OpenBMB/Eurus
- Modelo Eurux-8x22B Dirección HuggingFace: https://huggingface.co/openbmb/Eurux-8x22b-nca