O Claude Opus 5 da Anthropic estabeleceu um novo marco no benchmark ARC-AGI-3, alcançando uma pontuação de 30,2%. Este resultado representa quase o quádruplo do recorde anterior, de 7,8%, que pertencia ao GPT-5.6 Sol (Max) da OpenAI. A equipe do ARC Prize atribui essa liderança a um raciocínio lógico significativamente mais forte, que permite uma exploração e planejamento mais autônomos em ambientes desconhecidos.

Qual foi o desempenho do Claude Opus 5 no ARC-AGI-3?

O modelo Claude Opus 5 da Anthropic obteve uma pontuação impressionante de 30,2% no benchmark ARC-AGI-3, tornando-se o novo líder incontestável. O recorde anterior, de 7,8%, havia sido estabelecido pelo GPT-5.6 Sol (Max) da OpenAI. Além de superar em quase quatro vezes essa marca, o Opus 5 conseguiu resolver cinco ambientes que até então eram considerados insolúveis, sendo que quatro deles foram solucionados em um nível igual ou superior ao humano. Esse desempenho também o coloca à frente dos modelos da "classe Fable" da própria Anthropic, que atingiram cerca de 20%, segundo o ARC Prize.

O que explica a liderança do Opus 5 no benchmark?

A análise da equipe do ARC Prize credita a vantagem massiva do Claude Opus 5 a um raciocínio lógico genuinamente superior. Essa capacidade permite uma exploração, planejamento e execução mais autônomos em ambientes com os quais o modelo não está familiarizado. Durante os testes, o Opus 5 demonstrou comportamentos inéditos para um modelo de IA. Ele conseguiu traduzir tarefas para notação algébrica e formulou equações de reflexão de forma independente pela primeira vez, indicando uma profundidade de compreensão e adaptação nunca antes observada em outros sistemas.

Como funciona o benchmark ARC-AGI-3?

O ARC-AGI-3 foi projetado para medir a capacidade de modelos de IA de resolver novas tarefas que não foram encontradas durante a fase de treinamento, incluindo aquelas que humanos geralmente conseguem lidar com facilidade. A versão atual do benchmark funciona como um jogo: o modelo precisa inferir as regras de um ambiente interativo, planejar suas ações e executá-las passo a passo. O objetivo é testar o raciocínio geral do modelo, em vez de seu conhecimento armazenado. É importante notar que, para pontuações oficiais, apenas o desempenho próprio do modelo de linguagem é considerado, sem a ajuda de softwares auxiliares externos, conhecidos como "harness". Os desenvolvedores do ARC Prize defendem que futuros sistemas de AGI (Inteligência Geral Artificial) não deverão precisar de assistência externa para resolver novas tarefas.

Os testes independentes confirmam essa vantagem?

Testes independentes realizados em "Witness", um benchmark privado de Guanghan Ning para jogos de quebra-cabeça interativos, sugerem ganhos mais modestos. Nesses testes, o Opus 5 obteve uma pontuação de 43,4, o que o colocou em um empate estatístico com o Kimi K3 e o Fable 5, e a melhoria em relação ao Opus 4.8 foi significativamente menor do que a observada no ARC-AGI-3. Embora o modelo tenha identificado as regras ocultas de um quebra-cabeça convencional antes de qualquer ação, ele ficou atrás do Opus 4.8 em um jogo com mecânicas menos familiares. Ning sugere que esse padrão pode indicar um treinamento focado em dados específicos de gênero, embora o Witness não consiga identificar quais dados a Anthropic utilizou.

Por outro lado, Greg Kamradt, um dos pesquisadores por trás do ARC-AGI-3, argumentou que esses resultados não descartam ganhos mais amplos no raciocínio. Ele aponta que um jogo baseado em mecânicas familiares não testa a adaptação à novidade, e um resultado menos expressivo não anula a melhoria geral do modelo sem uma análise detalhada da tarefa específica. Kamradt também ressaltou que o Witness foi projetado com base em quebra-cabeças no estilo ARC-AGI-3, o que significa que um melhor desempenho poderia refletir uma real transferência de habilidades, e não apenas memorização.

Ning, posteriormente, esclareceu que o Opus 5 realmente generalizou para o Witness, mas em uma extensão muito menor do que no ARC-AGI-3. Ele comparou o processo à evolução dos benchmarks de codificação, sugerindo que, como um alvo principal para o raciocínio interativo, o ARC-AGI-3 provavelmente atrairá a maior parte do esforço de treinamento inicial. A cobertura de mais casos de uso extremos, então, poderia ajudar os modelos a generalizar para uma gama mais ampla de tarefas de raciocínio abstrato. Ning observou que a codificação seguiu um caminho semelhante, movendo-se de benchmarks saturados como HumanEval para competições frequentemente atualizadas e os agentes de codificação atuais.

Fonte: The Decoder (https://the-decoder.com/anthropics-opus-5-blows-past-fable-5-and-gpt-5-6-sol-on-the-benchmark-designed-to-measure-real-intelligence/)