OpenAI Retira Apoio a Teste de Código e Expõe Falhas Cruciais na Avaliação de IAs

A OpenAI, uma das principais forças motrizes por trás do desenvolvimento da inteligência artificial, anunciou a retirada de seu endosso ao SWE-Bench Pro, um teste amplamente utilizado para mensurar as habilidades de programação de modelos de IA. A decisão drástica surge após uma análise minuciosa revelar que aproximadamente 30% das tarefas do benchmark estão com falhas. Esse achado crucial levanta uma questão fundamental: quão confiáveis são os métodos atuais para avaliar a verdadeira capacidade de codificação dos modelos de inteligência artificial?

Os problemas identificados têm sua origem no fato de que as tarefas do SWE-Bench Pro foram extraídas de projetos de software reais. Elas foram concebidas para a colaboração humana, não para servir como tarefas de avaliação objetivas e limpas para IAs. Essa particularidade resulta em testes que se mostram rigorosos demais, excessivamente vagos, rasos ou simplesmente enganosos para os modelos de inteligência artificial. Tal cenário, segundo a OpenAI, distorce a avaliação do que as IAs são realmente capazes de fazer.

A relevância dessa descoberta é imensa. Os resultados obtidos em testes como o SWE-Bench Pro são utilizados para embasar decisões importantes, como o lançamento de novos modelos de IA e suas avaliações de segurança, conforme o Framework de Preparação da OpenAI. Erros nos benchmarks podem, portanto, criar uma percepção enganosa das capacidades de uma IA, comprometendo a integridade de todo o processo de desenvolvimento e implantação.

Metodologia da Revisão e Categorias de Falhas

Para chegar a essas conclusões, a OpenAI empregou uma metodologia de revisão rigorosa. Primeiramente, uma ferramenta de triagem automatizada sinalizou 286 tarefas suspeitas. Em seguida, agentes de IA construídos sobre o modelo Codex examinaram cada caso em detalhes. A decisão final coube a um pesquisador humano, que concluiu que 200 tarefas (27,4%) eram falhas. Em paralelo, cinco desenvolvedores de software experientes avaliaram os mesmos casos e identificaram um número ainda maior de problemas: 249 tarefas (34,1%). Embora os revisores humanos tenham se mostrado mais rigorosos, houve uma concordância de 74% entre as análises humanas e as dos agentes de IA.

A OpenAI categorizou os problemas encontrados em quatro tipos:

• Testes muito rigorosos: Rejeitam soluções que, na prática, são funcionais.
• Testes muito vagos: Exigem que a IA atenda a requisitos que estão ocultos em casos de teste.
• Testes muito rasos: Permitem que soluções incompletas sejam aprovadas.
• Descrições de tarefas enganosas: Direcionam a IA para uma solução incorreta.

Um exemplo notável, retirado do projeto OpenLibrary, ilustra a fragilidade do benchmark: a descrição da tarefa solicitava um único espaço, mas o teste oculto esperava dois. Uma IA que seguisse as instruções corretamente falharia.

"Os testes desses projetos tendem a ser muito rigorosos porque foram construídos para verificar uma mudança específica, não para servir como requisitos de propósito geral."

Essa análise da OpenAI sublinha que a complexidade de projetos de software reais, embora valiosa para o desenvolvimento, não se traduz em um ambiente de avaliação justo para IAs. A versão pública do teste, com 731 tarefas, havia mostrado um salto na precisão dos modelos, de 23,3% para 80,3% em apenas oito meses, resultados que agora são vistos com grande ceticismo devido às falhas identificadas.

Precedentes e Impacto nas Classificações de Modelos

É importante notar que esta não é a primeira vez que a OpenAI questiona a validade de benchmarks de código. O próprio SWE-Bench Pro foi criado para substituir o SWE-bench Verified, que a OpenAI já havia descartado por razões semelhantes. Além disso, a empresa de análises Artificial Analysis já havia removido o SWE-Bench Pro de seu Coding Agent Index em meados de junho, substituindo-o pelo DeepSWE, um teste da Datacurve. A Artificial Analysis justificou a remoção alegando que o SWE-Bench Pro era 'jogável', permitindo que alguns modelos copiassem as soluções corretas do histórico de commits dos projetos em vez de realmente resolverem as tarefas.

A substituição do benchmark pela Artificial Analysis resultou em uma reconfiguração significativa no ranking dos modelos de IA. O Codex com GPT-5.5 (xhigh), que havia obtido apenas 31 pontos no SWE-Bench Pro, subiu de 65 para 76 pontos e superou o Claude Code com Opus 4.8 (max), que marcou 73. O Claude Code com Fable 5 (max) assumiu a liderança com 77 pontos no novo teste. Essa reviravolta no ranking evidencia a sensibilidade dos resultados de desempenho à qualidade e à metodologia dos benchmarks utilizados.

Diante dessas descobertas, a OpenAI não indicou um substituto específico para o SWE-Bench Pro. Em vez disso, a empresa fez um apelo à indústria para que construa novos benchmarks com a colaboração de desenvolvedores experientes. O objetivo é criar testes que sejam difíceis de manipular, confiáveis e que realmente ofereçam uma avaliação significativa das capacidades de programação de inteligências artificiais.

Fonte: The Decoder (https://the-decoder.com/openai-finds-roughly-30-percent-of-popular-ai-coding-test-is-broken/)