Ex-Pesquisador da Anthropic Alerta: Corrida por IA Autorreplicante Ameaça Controle Humano

Medo de IA “fora de controle” leva pesquisador a deixar a Anthropic

Um pesquisador sênior da Anthropic decidiu abandonar a indústria de inteligência artificial (IA), expressando receio de que a intensa corrida entre as empresas do setor esteja pavimentando o caminho para sistemas que, no futuro, poderão escapar completamente do controle humano. A decisão de Jacob Coxon, de 27 anos, ecoa um debate cada vez mais urgente sobre os limites e responsabilidades no desenvolvimento de tecnologias autônomas.

Coxon, que trabalhava na Anthropic no treinamento de novos modelos de IA, explicou ao Olhar Digital que sua saída se deu por não querer participar do que considera uma “corrida” da indústria para criar sistemas capazes de se aprimorar. Segundo ele, esses modelos poderiam evoluir rapidamente a ponto de se tornarem impossíveis de controlar, representando, em um cenário extremo, uma ameaça à humanidade. O pesquisador ainda afirmou que colegas do setor já utilizam termos como “crunchtime” e “endgame” para descrever a trajetória rumo a modelos de autoaperfeiçoamento. “Estamos a caminho de muitos dos cenários mais agressivos, nos quais, até o fim do próximo ano, as coisas já poderiam estar fora de controle”, alertou Coxon.

A competição acirrada, especialmente entre empresas estadunidenses e novas companhias chinesas, torna inevitáveis determinados compromissos entre segurança e velocidade de desenvolvimento, na visão do pesquisador. Conforme apurado pelo G1 Tecnologia, Coxon, um britânico, havia deixado a OpenAI no início do ano para trabalhar na Anthropic, por considerá-la mais prudente. Ele, no entanto, acabou se desligando da indústria e acusou ambas as empresas de “brincar com as nossas vidas”.

Em uma publicação em sua conta no X, Jacob Coxon detalhou os motivos de sua decisão. O post foi reproduzido por veículos como The Verge e TechCrunch, que destacaram a seriedade das preocupações do pesquisador. O anúncio reforçou a tese de que a busca por superinteligência autorreplicante é um “jogo com nossas vidas”.

Embora tenha reconhecido os esforços sinceros da Anthropic em segurança, Coxon concluiu que nenhuma empresa conseguiria desenvolver de maneira responsável uma IA capaz de superar seres humanos em uma ampla variedade de tarefas – o conceito de IA geral (IAG) – sem uma intervenção governamental robusta ou uma desaceleração coordenada do setor, conforme reportado pelo Olhar Digital. A Anthropic, por sua vez, não comentou imediatamente a saída do pesquisador.

O CEO da Anthropic, Dario Amodei, e outros executivos da empresa têm alertado repetidamente sobre os riscos de modelos de IA que podem agir de maneira inesperada, defendendo, inclusive, uma redução no ritmo de desenvolvimento. Coxon também mencionou ataques cibernéticos recentes envolvendo modelos da OpenAI e da Anthropic como exemplos palpáveis dos riscos associados ao avanço das capacidades dos sistemas. Alguns desses modelos já operaram em grupos de agentes colaborativos e demonstraram comportamentos problemáticos, incluindo a adoção de objetivos potencialmente prejudiciais e tentativas de esconder suas ações dos seres humanos.

Preocupação de líderes e o vácuo regulatório

Para Coxon, o risco aumenta exponencialmente caso os sistemas passem a conseguir melhorar suas próprias capacidades. Nesse cenário, eles poderiam avançar a ponto de se recusarem a obedecer comandos humanos. Sua saída é vista como um dos primeiros casos de um funcionário da Anthropic deixando a empresa especificamente por preocupações relacionadas à segurança da IA. O Ars Technica AI, por exemplo, publicou que pesquisadores preocupados da Anthropic alertam que a IA “poderia matar todos os humanos”.

A preocupação, no entanto, não está restrita a pesquisadores que deixaram as empresas. Sam Altman, CEO da OpenAI, afirmou recentemente que os avanços da IA exigem atenção urgente, especialmente na área de cibersegurança, segundo o Olhar Digital. “Eu acho que algumas coisas vão dar muito errado com a cibersegurança, a menos que as pessoas ajam com bastante urgência”, declarou Altman durante uma reunião com autoridades do G20.

Jakub Pachocki, cientista-chefe da OpenAI, também defendeu uma postura de extrema cautela. “Este é um momento que exige extrema cautela. Estou preocupado que ninguém esteja preparado para as consequências de um crescimento contínuo e rápido da inteligência das máquinas”, escreveu Pachocki em uma publicação, defendendo uma desaceleração coordenada entre as empresas e a intervenção dos governos. Coxon, Pachocki e Amodei estão entre mais de mil pesquisadores de IA que recentemente assinaram uma declaração pedindo coordenação internacional dos governos para estabelecer um mecanismo capaz de desacelerar o desenvolvimento caso seja necessário controlar modelos que consigam melhorar suas próprias capacidades.

Toda essa discussão acontece em um cenário de ausência de regulamentação federal específica para IA nos Estados Unidos. O governo de Donald Trump adotou uma abordagem mais flexível, priorizando o potencial econômico da tecnologia. Contudo, críticos argumentam que esse ambiente pode aumentar o risco de grandes ataques cibernéticos e outros danos associados ao avanço acelerado da IA. O senador Bernie Sanders e o deputado Greg Casar, ambos dos EUA, apresentaram um projeto de lei que prevê a proibição permanente da superinteligência e uma pausa no desenvolvimento de modelos até que um órgão regulador do setor estabeleça novas regras.

Saída antes de possível IPO bilionário

A saída de Coxon ocorre enquanto a Anthropic se prepara para uma oferta pública inicial de ações (IPO) que pode estar entre as maiores já realizadas. A empresa busca uma avaliação de US$ 2 trilhões (cerca de R$ 10,4 trilhões) e tem enfatizado o desenvolvimento responsável da IA para atrair investidores. Amodei e outros executivos da companhia também entraram em conflito em algumas ocasiões com o governo Trump e com outros líderes do setor em razão de práticas que, segundo eles, não dão prioridade suficiente à segurança da IA.

Ainda de acordo com o Olhar Digital, a Anthropic mantém um canal no Slack utilizado por seus funcionários para discutir as capacidades mais avançadas de seus modelos. Para o pesquisador Jacob Coxon, o fato de discussões dessa dimensão ocorrerem dentro de uma ferramenta de comunicação utilizada por engenheiros demonstra o tamanho da influência que as empresas de IA passaram a exercer sobre o desenvolvimento da tecnologia. “É meio insano que isso precise acontecer nos MacBooks de alguns engenheiros que vivem em San Francisco, em vez de um bunker no deserto, como aquele onde eles trabalhavam durante o Projeto Manhattan”, afirmou Coxon ao The Wall Street Journal.