Face Wall Intelligence lançou recentemente o grande modelo de código aberto Eurux-8x22B, incluindo Eurux-8x22B-NCA e Eurux-8x22B-KTO, com foco em capacidades de raciocínio.
A introdução oficial dizia:
Comparado com o conhecido Llama3-70B, o Eurux-8x22B foi lançado anteriormente e tem desempenho geral semelhante, especialmente desempenho de inferência mais forte - atualizando o desempenho de inferência SOTA de grandes modelos de código aberto e pode ser chamado de "campeão científico" entre o código aberto modelos grandes.
Eurux-8x22B superou Llama3-70B em LeetCode (180 questões reais de programação LeetCode) e testes TheoremQA, e superou o GPT-3.5-Turbo de código fechado em testes LeetCode.
Segundo relatos, o parâmetro de ativação do modelo Eurux-8x22B é 39B, suporta contexto de 64k, está alinhado com o modelo Mixtral-8x22B e é treinado no conjunto de dados alinhado UltraInteract.
O modelo Eurux-8x22B + conjunto de dados de alinhamento são todos de código aberto:
- Endereço GitHub do modelo Eurux-8x22B: https://github.com/OpenBMB/Eurus
- Endereço HuggingFace do modelo Eurux-8x22B: https://huggingface.co/openbmb/Eurux-8x22b-nca