A crescente proliferação de modelos de inteligência artificial generativa de código aberto trouxe consigo um desafio alarmante: a otimização desses sistemas por atores mal-intencionados para a produção de conteúdo ilegal, como discursos de ódio e material de abuso sexual infantil (CSAM). Em resposta a essa crise, pesquisadores do Massachusetts Institute of Technology (MIT), em parceria com a organização Thorn, desenvolveram um método pioneiro que consegue auditar a capacidade de modelos de IA de gerar conteúdo ilegal sem, em momento algum, produzir tais imagens. Este avanço representa uma solução fundamental para um problema que, até então, carecia de um meio de avaliação seguro e legal.

Por que um novo método de auditoria é necessário?

A popularidade das IAs generativas abriu um vasto leque de possibilidades, mas também expôs vulnerabilidades críticas. Modelos de código aberto, facilmente adaptáveis, podem ser 'ajustados' para fins nefastos. O problema é grave e crescente: o Centro Nacional para Crianças Desaparecidas e Exploradas (National Center for Missing and Exploited Children) registrou mais de 1,5 milhão de denúncias de CSAM gerado por IA em 2025, um salto drástico em relação às 67.000 denúncias em 2024. A complexidade reside no fato de que a geração de CSAM, independentemente da intenção, é ilegal nos EUA e em muitas outras jurisdições internacionais. Isso impede que engenheiros utilizem os métodos tradicionais de auditoria, que envolvem pedir ao modelo para gerar conteúdo e inspecionar suas saídas. Este dilema legal e ético deixou um "ponto cego" significativo na segurança da IA.

Como a nova técnica do MIT funciona?

Diante dessa encruzilhada, uma equipe de cientistas do MIT, liderada pelo estudante de pós-graduação Vinith Suriyakumar e pelos professores associados Ashia Wilson e Marzyeh Ghassemi, uniu forças com pesquisadores da Thorn, uma organização sem fins lucrativos dedicada à segurança infantil digital. A técnica desenvolvida por eles evita a geração de qualquer imagem. Em vez disso, ela examina as modificações internas de um modelo, especificamente como seus "mecanismos internos" foram adaptados. Os engenheiros geralmente especializam modelos de IA através de um processo conhecido como fine-tuning, muitas vezes utilizando um algoritmo chamado LoRA (low-rank adaptation). O método do MIT foca nessas modificações, chamadas adaptadores LoRA. Utilizando uma técnica chamada "Gaussian probing", os pesquisadores alimentam o modelo com um conjunto de pontos de dados aleatórios e analisam como ele manipula esses dados dentro de sua estrutura interna multicamadas. "Nós nunca rodamos o modelo até o fim ou damos um prompt, então nunca geramos imagens", explica Vinith Suriyakumar. As modificações são capturadas em múltiplos pontos da estrutura interna do modelo e, em seguida, são calculadas as médias para resumir como o adaptador LoRA alterou o processamento do modelo, revelando um forte sinal de como ele foi especializado.

Qual a eficácia e impacto deste método?

Quando testado, o procedimento de auditoria mostrou uma eficácia notável. A equipe comparou os resultados com dados de adaptadores LoRA conhecidos por gerar CSAM, outras imagens prejudiciais e conteúdo seguro. O método foi 100% preciso na identificação de modelos que haviam sido adaptados para gerar CSAM. Este avanço tem implicações diretas e transformadoras. Uma plataforma de hospedagem de modelos de IA poderia utilizar essa técnica para sinalizar modelos inseguros e removê-los rapidamente ou impedir que sejam carregados em primeiro lugar. "Isso abre um novo caminho para plataformas que hospedam modelos de código aberto e para as autoridades testarem se um modelo é capaz de gerar CSAM. Antes, não tínhamos como medir isso. Era um enorme ponto cego do qual algumas pessoas estavam se aproveitando. Agora, podemos abordar um problema de segurança da IA que está tendo impactos negativos graves", afirma Vinith Suriyakumar, estudante de pós-graduação do MIT e principal autor do artigo sobre a técnica. Além de sua precisão, a técnica é escalável e relativamente barata de implementar, características cruciais considerando que milhares de variações de modelos são publicadas online mensalmente. É também mais robusta do que outras técnicas de auditoria, exigindo que um ator malicioso altere cuidadosamente o funcionamento interno do modelo base para evitar a detecção.

Quais são os próximos passos para a pesquisa?

Os pesquisadores planejam avaliar a técnica em um conjunto ainda maior de variações de modelos e explorar se o Gaussian probing pode detectar capacidades prejudiciais em modelos base antes mesmo de serem adaptados para fins maliciosos. Ashia Wilson, professora e investigadora principal no Laboratório de Sistemas de Informação e Decisão (LIDS) do MIT, enfatiza a urgência: "Há uma enorme gama de preocupações com a segurança infantil relacionadas à IA, e estas são preocupações reais que precisam ser abordadas. Muitas crianças estão sendo prejudicadas por deepfakes de IA. Mostramos que o Gaussian probing pode ser uma ferramenta muito útil, e esperamos que a comunidade de pesquisa dedique mais atenção a este problema". Marzyeh Ghassemi, professora associada no EECS e membro do IMES e LIDS, complementa: "Agora temos uma abordagem tecnológica para abordar parcialmente essa preocupação. Muito esforço foi dedicado a esta colaboração, o que nos permitiu enfrentar um problema realmente difícil que está prejudicando tantas crianças, nacional e globalmente. Esperamos ter um impacto transformador nesta área."

Fonte: MIT News AI (https://news.mit.edu/2026/new-method-keeps-kids-safe-from-illegal-ai-generated-content-0713)