Um consórcio de pesquisa alemão, coordenado pelo KI Bundesverband (Associação Alemã de IA), lançou o modelo de linguagem de código aberto Soofi S 30B-A3B. Treinado integralmente na infraestrutura de nuvem da Deutsche Telekom em Munique, o modelo se destaca por sua arquitetura híbrida eficiente e foco em dados de treinamento em alemão, superando outros modelos abertos em benchmarks de desempenho tanto em inglês quanto em alemão. Ele supera líderes anteriores como OLMo 3 32B e Apertus 70B.

Arquitetura Híbrida e Eficiência

O Soofi S é um modelo Mixture-of-Experts (MoE) com 31,6 bilhões de parâmetros. Contudo, ativa apenas cerca de 3,2 bilhões por token gerado, reduzindo significativamente seu custo computacional para o nível de um modelo de 3 bilhões. A arquitetura, baseada no Nemotron 3 Nano da Nvidia, combina camadas Mamba-2 com atenção padrão.

Uma característica crucial é seu comportamento de memória. Diferente dos transformadores que armazenam o cache KV linearmente com o contexto, apenas 6 das 52 camadas do Soofi S mantêm esse cache. Isso resulta em maior taxa de transferência: com 40.000 tokens e 32 requisições paralelas, o Soofi S gera oito vezes mais tokens por segundo por GPU do que modelos densos de 14-24 bilhões de parâmetros. Sua taxa de transferência permanece quase constante de 4.000 a 256.000 tokens, comportamento similar apenas ao Qwen3.5 35B-A3B da Alibaba, que também usa arquitetura híbrida.

Treinamento Deliberado em Alemão

O treinamento envolveu cerca de 27 trilhões de tokens em três fases. A primeira focou em fundamentos de linguagem (20 trilhões de tokens de web, código, matemática, etc.), a segunda aprimorou padrões com 6 trilhões de tokens de maior qualidade, e a terceira estendeu a janela de contexto com documentos de até um milhão de tokens.

O alemão teve um foco central, compondo 7,2% da mistura na primeira fase e 15,3% na segunda, contrastando com os ~5% de todas as línguas não-inglesas na receita do Nemotron. As fontes de dados incluíram HPLT, German Commons, FinePDFs, FineWiki, o corpus comercial Genios (193 milhões de artigos), além de textos traduzidos e sintéticos.

Desempenho Notável em Benchmarks

Em avaliações contra 16 outros modelos abertos, o Soofi S lidera em pontuações agregadas para inglês e alemão. Ele supera modelos como OLMo 3 32B e Apertus 70B e se destaca em benchmarks alemães, por vezes com margens de dois dígitos. Nos testes de código, obteve 73,8% no HumanEval, 70,2% no MBPP e 84,2% na variante alemã do MBPP, os melhores resultados entre os modelos de código aberto. No INCLUDE-DE, empatou em primeiro lugar com o Qwen3.5 35B-A3B com 61,2 pontos. A inclusão de dados alemães melhorou a proficiência linguística em 15,1 pontos e o teste de ciências GPQA-Diamond em 9,6 pontos, sem prejudicar o desempenho em inglês.

No entanto, o Soofi S apresenta fraquezas. Em matemática de competição alemã (Minerva MATH-DE), obteve 56 pontos, atrás do Qwen3.5 (76,5) e Gemma 3 27B (65,6). Também ficou abaixo na recuperação factual aberta (NaturalQuestions), possivelmente devido aos poucos parâmetros ativos. No teste de contexto longo RULER, a taxa de acertos para extrair palavras frequentes caiu para 3% além de 32.000 tokens, enquanto o Nemotron comparável manteve 60-64%, o que os autores atribuem à falta de dados sintéticos específicos para extração em seu treinamento de contexto longo.

Infraestrutura Alemã e Transparência

O treinamento ocorreu entre março e maio, utilizando 512 GPUs Nvidia B200 na Industrial AI Cloud da Deutsche Telekom em Munique, totalizando 253.000 horas de GPU. A instalação utiliza energia renovável, resfriamento com água do canal Eisbach e reutiliza o calor residual. O Soofi S foi um dos primeiros grandes treinamentos nessa infraestrutura.

O projeto é uma iniciativa de um consórcio de pesquisa e empresas alemãs, coordenado pela Associação Alemã de IA e financiado pelo Ministério Federal Alemão para Assuntos Econômicos e Energia (programa IPCEI-CIS). Entre os participantes estão Institutos Fraunhofer IAIS e IIS, DFKI, TU Darmstadt, Universidade de Würzburg, L3S, Universidade de Ciências Aplicadas de Berlim, Ellamind e Merantix Momentum. O objetivo é criar uma família de modelos de IA europeia aberta para infraestrutura soberana e aplicações industriais.

Os pesquisadores estão liberando pesos do modelo, checkpoints, código de treinamento/avaliação e um inventário detalhado de dados, alinhando-se à Definição 1.0 de IA de Código Aberto da Open Source Initiative. Contudo, não atende a uma proposta europeia mais rigorosa devido a 1,3% de dados do Genios com licença comercial. Cerca de 99% da mistura de treinamento é reconstruível. A licença final do modelo ainda está pendente.

Michael Fromm, autor principal, descreve o Soofi S como um ponto intermediário entre projetos de soberania europeia multilíngues (como EuroLLM) e modelos abertos internacionais de alto desempenho. O consórcio busca parceiros para a próxima fase, visando testar o modelo em documentos técnicos, geração de código e sistemas baseados em agentes.

Fonte: The Decoder (https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german/)