Estudo Descobre Padrões Internos Distintos para Etapas de Raciocínio em Modelos de IA

Uma nova pesquisa revela que os passos de raciocínio explícitos exibidos por modelos de inteligência artificial em suas respostas textuais possuem correspondências diretas com padrões distintos em seus estados internos. Essa descoberta, publicada por pesquisadores da KAIST e do Naver AI Lab, na Coreia do Sul, é fundamental para o campo da segurança da IA, pois aprofunda a compreensão sobre como esses sistemas funcionam "por trás das cenas".

A equipe de pesquisa buscou entender se operações de raciocínio, como leitura de dados, decomposição de problemas, recuperação de fórmulas e cálculos, que são visíveis na "cadeia de pensamento" de um modelo ao resolver uma tarefa, também poderiam ser identificadas e separadas em suas representações numéricas internas. O estudo confirmou essa hipótese, observando que o sinal para essa separação é mais forte nas camadas intermediárias dos modelos.

Para chegar a essa conclusão, os pesquisadores definiram oito operações de raciocínio recorrentes, que incluíam extração, decomposição, recuperação de fórmula, dedução e computação. Eles utilizaram três modelos de linguagem — Qwen2.5-7B, Qwen3-8B e Gemma4-31B — para solucionar problemas matemáticos. As etapas de solução foram então segmentadas, e o modelo GPT-5 foi empregado para rotular cada segmento com uma das operações definidas.

Os resultados mostraram que as diferentes operações de raciocínio podem ser distinguídas de forma confiável nas representações internas dos modelos, um achado consistente em todos os três modelos testados. O pico dessa separação ocorre nas camadas intermediárias. Segundo o The Decoder, um classificador que analisou apenas os tokens utilizados nas respostas teve um desempenho inferior em comparação com aquele que analisou as representações internas, descartando que a simples escolha de palavras fosse a causa do efeito. A posição dentro do caminho da solução também não explicou o fenômeno, indicando que os estados internos carregam informações sobre o tipo de etapa de raciocínio que vai além do texto de superfície.

Curiosamente, palavras de função comuns, como "a", "é" ou "o", aparecem em etapas de raciocínio muito diferentes. Enquanto nas camadas iniciais suas representações internas estão misturadas, nas camadas intermediárias e posteriores elas se separam de acordo com a operação circundante. Isso significa que uma mesma palavra recebe uma representação interna diferente, dependendo da etapa de raciocínio à qual pertence.

O estudo também investigou se uma etapa de raciocínio se forma isoladamente. Ao bloquear a atenção para os 30 tokens anteriores por meio de uma intervenção direcionada, os pesquisadores notaram que o sinal para aquela operação específica enfraquecia. Esse resultado sugere que as etapas de raciocínio não surgem por conta própria, mas se constroem sobre o contexto precedente.

Mesmo em problemas resolvidos incorretamente, o tipo de etapa que o modelo estava executando permaneceu identificável, seja computando, recuperando uma fórmula ou deduzindo. Uma etapa de computação falha ainda parecia uma etapa de computação internamente, mesmo quando o resultado final estava errado. A separabilidade dos padrões internos foi confirmada em testes adicionais, replicando os resultados com o Llama-3-8B. Para o Qwen3-8B, os classificadores treinados foram transferidos com sucesso para conjuntos de dados como GPQA-Diamond e MATH-500.

O que muda na prática

• Maior Transparência e Compreensão: A pesquisa oferece uma visão mais profunda sobre o funcionamento interno dos modelos de IA, revelando que suas "mentes" não são caixas pretas uniformes, mas sim sistemas onde diferentes funções de raciocínio deixam marcas identificáveis.
• Potencial para Segurança da IA: Entender a separação das etapas internas pode ser crucial para a segurança. Ferramentas que monitoram ou intervêm nos estados internos podem, no futuro, detectar quando um modelo está prestes a cometer um erro ou está engajado em um tipo de raciocínio indesejável, indo além da simples análise da cadeia de pensamento textual.
• Complexidade Interna dos Modelos: Os resultados reforçam que os modelos de IA, especialmente os maiores, possuem uma arquitetura complexa onde as representações internas não são apenas sobre palavras, mas sobre as operações cognitivas que estão sendo realizadas, mesmo que o texto de superfície seja o mesmo.

A relação entre a saída de texto e a computação interna é um tópico importante para a segurança da IA. Embora a leitura da "cadeia de pensamento" seja uma das poucas ferramentas de supervisão disponíveis, conforme apontado pela OpenAI, estudos da Anthropic já demonstraram que os modelos revelam apenas as dicas que usaram em 25% a 39% dos casos. Métodos que traduzem vetores internos de modelos para texto legível, por exemplo, revelaram que o Claude Opus 4.6 processa mais informações do que é visível em seu raciocínio de saída. Além disso, o modelo Astra da OpenAI utiliza a técnica Recurrent Depth, que transfere parte do raciocínio para representações numéricas internas – precisamente o espaço investigado pelo estudo da KAIST.

No entanto, é importante notar que as experiências atuais se limitam a tarefas de matemática e a um pequeno número de modelos. Ainda é uma questão em aberto para trabalhos futuros se essas descobertas podem ser usadas para identificar erros ou para direcionar um modelo durante sua geração de respostas.