Agentes de IA: Pesquisa da Princeton e UC San Diego Explica Benefícios de 'Habilidades' e Desafios de Escala

Habilidades da IA são um guia, não uma base de conhecimento

Agentes de Inteligência Artificial (IA) conseguem melhorar significativamente seu desempenho ao incorporar o que é chamado de “habilidades”. Uma pesquisa recente, conduzida por equipes da Universidade de Princeton, da UC San Diego e outras instituições, aprofundou-se no funcionamento dessas habilidades, revelando por que elas são eficazes e onde podem falhar. A descoberta principal, conforme detalhado pela fonte The Decoder, é que as habilidades ajudam os agentes de IA principalmente ao fornecer um processo confiável a ser seguido, e não por oferecerem fatos ou conhecimentos adicionais.

Em sua essência, uma habilidade é um conjunto compacto de instruções. Ela define os passos que um agente de IA deve seguir para uma determinada tarefa, o que precisa verificar e quais erros comuns deve evitar. Em vez de iniciar do zero em cada nova tarefa, o agente utiliza essas experiências armazenadas. Até agora, o valor dessas habilidades era medido apenas pela capacidade do agente de resolver mais tarefas com elas. O motivo exato por trás dessa melhoria permanecia incerto, segundo o estudo.

Para investigar a questão, os pesquisadores realizaram experimentos controlados, comparando o comportamento de agentes com e sem uma habilidade em tarefas idênticas, totalizando 8.135 execuções de teste. Os resultados mostraram que o “embasamento procedural” – ou seja, a orientação sobre como proceder – foi responsável por 65,7% dos casos em que um agente com habilidade superou um sem. Em contraste, o fornecimento direto de conhecimento ajudou em apenas 4,5% dos casos testados.

Isso significa que as habilidades servem principalmente para estabilizar as ações do agente, fornecendo um playbook claro sobre quais etapas de configuração executar, quais ferramentas usar e em que ordem, e quais verificações intermediárias são necessárias. Essa orientação reduz certas falhas de execução, como problemas na configuração do ambiente de trabalho ou erros de formato na saída.

Novos desafios com a expansão da biblioteca de habilidades

Apesar dos benefícios, o estudo também identificou que as habilidades podem criar novas fontes de erro. Em 10% dos casos, o agente aplicou um playbook de forma mecânica ou inadequada, mesmo que a habilidade fosse útil em outros contextos. Além disso, em tarefas que exigem uma solução fundamentalmente diferente, a habilidade errada, obviamente, não contribui. No entanto, uma correspondência exata não é sempre necessária; habilidades relacionadas podem, muitas vezes, fornecer orientação suficiente.

Um segundo gargalo significativo é a dificuldade em encontrar a habilidade certa em primeiro lugar. Os testes revelaram que, quando a biblioteca de habilidades cresce de 5 para 100 entradas, a precisão de recuperação no uso real cai drasticamente de 29,6% para 3,3%. Opções que soam particularmente semelhantes tornam a escolha ainda mais difícil para o agente de IA.

Diante desses achados, os pesquisadores argumentam que o uso de habilidades deve ser tratado como um ciclo de vida completo. A criação de agentes de autoaprendizagem mais eficientes não virá apenas do armazenamento de mais experiências, mas sim de métodos mais confiáveis para criar, recuperar e aplicar essas experiências de forma inteligente.