A Prefeitura de São Francisco enviou notificações legais à Apple e ao Google, exigindo a remoção de 13 aplicativos de "face-swapping" de suas lojas de aplicativos. Essas ferramentas, impulsionadas por inteligência artificial, permitem que usuários criem imagens íntimas não consensuais, as chamadas "deepfakes nudify", sendo majoritariamente utilizadas para atingir mulheres e meninas. A cidade acusa as gigantes da tecnologia de lucrar com essa tecnologia prejudicial e de "auxiliar e incitar" a venda de conteúdo explícito.

São Francisco exige remoção de apps "nudify" da Apple e Google

O procurador da cidade de São Francisco, David Chiu, emitiu as cartas de cessar e desistir na quinta-feira, direcionadas à Apple e ao Google. O objetivo é que as empresas interrompam imediatamente a distribuição desses aplicativos e cortem os laços comerciais com os desenvolvedores. Segundo Chiu, as companhias de tecnologia têm a responsabilidade de garantir que os aplicativos em suas plataformas não facilitem o abuso sexual, citando que as leis da Califórnia proíbem o apoio a serviços que criam pornografia deepfake. Ele também sugere que Apple e Google já teriam lucrado milhões de dólares em taxas com a venda desses serviços.

Como funcionam os aplicativos "nudify" e seus impactos

Os aplicativos em questão são comercializados como ferramentas de "face-swapping", mas sua capacidade de criar deepfakes sexuais é acessível após o uso inicial. Eles permitem que pessoas (principalmente homens) carreguem fotos de outras pessoas (esmagadoramente mulheres e meninas) e removam digitalmente suas roupas ou as insiram em cenários sexuais gráficos. A criação dessas imagens íntimas não consensuais pode levar apenas alguns cliques e segundos, com a qualidade e o realismo melhorando continuamente devido ao avanço da IA generativa.

"Gerar imagens íntimas não consensuais é ilegal, prejudicial e completamente inaceitável", afirmou Chiu à WIRED. Ele destacou o impacto devastador dessas imagens, que são usadas para assediar, humilhar e ameaçar mulheres e meninas, causando danos à reputação, saúde mental e perda de autonomia, com algumas vítimas chegando a ter pensamentos suicidas.

Entre os 13 aplicativos investigados pelo Escritório do Procurador da Cidade – oito na App Store e cinco na Play Store – alguns chegam a exibir estilos de imagens de IA como "rainha do biquíni curvilínea", "seios calmos" e "intimidade cinematográfica", muitos acompanhados de imagens sexualizadas de mulheres. Um dos aplicativos visados, com mais de 1 milhão de downloads, promete vídeos "gratuitos e sem censura" em sua página inicial.

A inação de Apple e Google diante das denúncias

Apesar de Apple e Google possuírem políticas de desenvolvedor que proíbem pornografia, abuso e assédio em suas plataformas, pesquisadores e jornalistas têm consistentemente reportado a presença desses aplicativos. Ambas as empresas já removeram dezenas de aplicativos de "nudificação" e deepfake no passado após denúncias, mas o problema persiste.

Dan Jackson, porta-voz do Google, informou à WIRED que a empresa já deletou "centenas" de aplicativos com recursos de "nudificação" por violações de política, incluindo os cinco aplicativos Android sinalizados pelo gabinete de Chiu. Ele adicionou que o Google Play não permite aplicativos com conteúdo sexual e que a empresa toma medidas proativas para detectar e remover conteúdo prejudicial, restringindo termos de busca como "nudify" em sua loja. A Apple, por sua vez, não forneceu comentários antes da publicação da matéria original.

O problema não é novo. O Tech Transparency Project (TTP), um grupo de vigilância independente, identificou cerca de 100 aplicativos similares em ambas as lojas e anúncios para tecnologia de "nudificação" em janeiro e abril deste ano. Estima-se que esses aplicativos tenham sido coletivamente baixados cerca de 480 milhões de vezes e gerado aproximadamente US$ 120 milhões em receita combinada. Katie Paul, diretora do TTP, expressou frustração, afirmando que as promessas de segurança da Apple e do Google não se refletem na realidade.

Uma pesquisa da Universidade Cornell e da Universidade Georgetown, publicada em maio, identificou 420 aplicativos de "face-swapping" e, ao testar 155 deles, descobriu que 70% permitiam a criação de deepfakes nuas, sem medidas de segurança adequadas. A pesquisa concluiu que muitos desses aplicativos são de "uso duplo", evadindo a moderação de conteúdo por se apresentarem como benignos, mas possuindo a capacidade de criar conteúdo prejudicial.

Próximos passos e possíveis ações legais

O procurador da cidade de São Francisco, David Chiu, declarou que seu escritório continuará investigando o problema, sentindo-se "absolutamente horrorizado" com o dano e a escala da tecnologia. Ele expressou a esperança de que Apple e Google removam imediatamente esses aplicativos e fortaleçam seus sistemas de triagem para evitar que tais apps cheguem às plataformas no futuro.

"É nossa esperança que essas empresas façam a coisa certa – mas se não o fizerem, teremos que considerar todas as nossas opções legais", concluiu Chiu.

Fonte: Wired AI (https://www.wired.com/story/san-francisco-demands-apple-and-google-delete-ai-nudify-apps-from-app-stores/), Ars Technica AI (https://arstechnica.com/tech-policy/2026/07/apple-google-must-stop-profiting-off-ai-nudify-apps-san-francisco-ag-says/), Engadget (https://www.engadget.com/2217578/apple-and-google-ordered-by-san-francisco-attorney-to-take-action-against-nudify-apps/)