O problema dos engenheiros "radioativos"

Antigamente, para medir quanto tempo uma tarefa de programação levaria, bastava cronometrar um engenheiro trabalhando sozinho. Hoje, isso é quase impossível. Os profissionais de tecnologia tornaram-se "radioativos", uma analogia ao aço moderno que carrega traços de radiação de testes nucleares passados. No mundo do software, essa "radiação" é a dependência da Inteligência Artificial. Um engenheiro que tenta trabalhar sem IA hoje é significativamente mais lento do que um profissional de 2024, o que torna as comparações de produtividade injustas e imprecisas. É aqui que entram as Cyborg Evals.

O que são as Cyborg Evals?

Para resolver esse impasse, pesquisadores propõem as Cyborg Evals. Em vez de tentar medir o desempenho de um humano isolado — o que já não reflete a realidade do mercado —, esses testes avaliam o "ciborgue": a combinação de um humano com ferramentas de IA. O objetivo é comparar como um humano usando a geração atual de IA se sai frente a um humano usando a próxima geração de modelos, ou até mesmo comparar o conjunto humano+IA contra a IA operando de forma totalmente autônoma.

Impacto prático e economia de tempo

As Cyborg Evals ajudam a entender a "taxa de câmbio" entre o trabalho humano e o artificial. Um exemplo notável é a criação de um compilador. Enquanto um especialista com doutorado levaria cerca de dois anos para concluir a tarefa sozinho, com o auxílio de ferramentas como o Claude Code, o projeto foi finalizado em apenas duas semanas. Isso demonstra que a IA não apenas substitui tarefas, mas atua como um complemento poderoso que redefine o que um profissional sênior pode entregar em tempo recorde.

O futuro da colaboração humano-IA

A história do xadrez serve como uma ilustração histórica para esse fenômeno. Houve um período em que os "centauros" (humanos auxiliados por computadores) eram melhores do que qualquer máquina ou humano sozinho. No entanto, com o avanço tecnológico, a vantagem do humano desapareceu. As Cyborg Evals buscam monitorar esse intervalo de capacidade na engenharia de software, ajudando a prever quando a IA poderá realizar tarefas complexas de ponta sem qualquer intervenção humana. Atualmente, o foco é entender quão maior é a capacidade de um engenheiro "ciborgue" em relação à IA pura e se essa distância está diminuindo.

Fonte: lesswrong.com