Pangram se consolida na detecção de IA, mas sua confiabilidade é questionada

A Ascensão da Pangram no Cenário da Detecção de IA

A startup Pangram, com sede no Brooklyn e 24 funcionários, emergiu rapidamente como uma das principais ferramentas de detecção de conteúdo gerado por Inteligência Artificial (IA). Após levantar US$ 13 milhões, a empresa passou de praticamente desconhecida a uma força influente no combate ao que chama de "domínio das máquinas sobre a palavra escrita", prometendo identificar a porcentagem de envolvimento da IA em qualquer texto.

Sua ascensão à proeminência começou em janeiro, quando o CEO da Pangram, Max Spero, publicou no X (antigo Twitter) que o romance autopublicado Shy Girl, de Mia Ballard, tinha 78% de conteúdo gerado por IA. Apesar da negação da autora, a editora Hachette cancelou o lançamento tradicional do livro. Esse incidente, detalhado pela Wired AI, abriu caminho para uma série de outras acusações.

Em seguida, a coluna "Modern Love" do The New York Times foi sinalizada com 100% de IA, assim como um vencedor do Commonwealth Short Story Prize. Os romances Daggermouth (60%) e Call Me, I’ll Hide the Body (97%), este último vendido por US$ 2,4 milhões, também foram alvo de altas pontuações. A plataforma Substack, em um movimento significativo, anunciou a integração do Pangram para que seus leitores pudessem verificar o possível uso de IA em conteúdos.

"Há muito desgosto e raiva com o software de detecção de IA. Há a sensação de que eles são tão malignos, se não mais malignos, do que as próprias empresas de IA."
- Jane Friedman, autora e especialista em publicação

Tecnologia e as Primeiras Controvérsias

Fundada em 2023 por Max Spero e Bradley Emi, inicialmente como Checkfor.ai, a empresa foi renomeada para Pangram um ano depois. Spero, que trabalhou no Google e na Nuro, viu uma oportunidade de negócio após o lançamento do ChatGPT em 2022. Em julho, a Pangram levantou mais US$ 9 milhões e lançou seu modelo mais recente, o Pangram 4, conforme apurado pelo Wired AI.

A tecnologia de detecção da Pangram emprega métodos como o "espelhamento sintético", onde a escrita humana é usada para treinar LLMs a gerar textos semelhantes, ensinando o modelo a identificar padrões de escrita de IA. A empresa também utiliza a "mineração de negativos rígidos", buscando falsos positivos em conjuntos de dados para aprimorar seu treinamento. Spero afirma que todos os conjuntos de dados são licenciados, o que considera "raro no mundo da IA de hoje".

O caso de Shy Girl colocou a Pangram no mapa, mas não sem controvérsias. O projeto de investigação The Drey Dossier apontou que a cópia do manuscrito analisada por Spero veio de um site de pirataria. Questionado sobre isso, Spero admitiu ao Wired AI: "Sim. E, tipo, sim... é o que é. Eu não tinha olhado muito de perto. Eu não li o PDF inteiro. Apenas o coloquei direto no Pangram". Spero, no entanto, minimiza o impacto direto da Pangram nos acordos de livros cancelados, afirmando que a pontuação da ferramenta é apenas "uma pequena, pequena parte de um quadro maior".

O canal The Drey Dossier publicou um vídeo no YouTube sobre o escândalo de Shy Girl, aprofundando as nuances da situação.

Adoção no Mercado Editorial e Acadêmico

Apesar das controvérsias, a demanda por ferramentas de detecção de IA cresce. O mercado editorial, conhecido por sua lentidão, começa a se adaptar. Uma pesquisa da Gotham Ghostwriters com 1.481 escritores mostrou que 61% usam ferramentas de IA, e 7% já publicaram textos gerados por IA. Tuhin Chakrabarty, professor assistente de ciência da computação na Stony Brook University, analisou 14.419 romances autopublicados com Pangram e descobriu que quase 20% tinham "pontuações substanciais de detecção de IA". Seus dados foram a fonte original das acusações contra Daggermouth.

Chakrabarty, que se tornou "amigo próximo" de Spero e recebe créditos da API da Pangram para sua pesquisa, defende a ferramenta, embora ressalte que "Pangram não deve ser o julgamento de facto". Ele acredita que "sua própria discrição, juntamente com o julgamento da Pangram, não pode estar errada".

Agências literárias também estão adotando a tecnologia. Todd Shuster, co-CEO da Aevitas, uma importante agência literária de Nova York, afirmou que Pangram se tornou uma "ferramenta muito útil", levando a "conversas difíceis" com autores cujas obras apresentaram de 50% a 95% de escrita por IA. Shuster, que também atua como consultor para a Pangram, usa a ferramenta para analisar manuscritos e propostas de livros. A Penguin Random House, uma das "Big Five" editoras, confirmou ao Wired AI que seus editores podem usar ferramentas aprovadas de detecção de IA como "um meio adicional de identificar potencial conteúdo gerado por IA", mas que tais ferramentas "não são determinantes e são apenas um componente de um processo editorial mais amplo".

Críticas e Preconceitos Potenciais

Críticos apontam dois grandes problemas com a Pangram: o dano causado por falsos positivos e o potencial viés em seu aprendizado de máquina. Sam Illingworth, professor de alfabetização crítica em IA na Edinburgh Napier University, disse ao Wired AI que não acredita que "detectores de IA funcionem" e que eles são "prejudicados contra certas pessoas". Um estudo anterior à Pangram mostrou que detectores eram mais propensos a identificar trabalhos de escritores não nativos de inglês como gerados por IA, e escritores neurodiversos também relataram que seus padrões de escrita são sinalizados desproporcionalmente.

As três maiores acusações de IA na publicação — Shy Girl, Daggermouth e Call Me — foram todas contra escritores de cor, levantando questões sobre equidade na indústria. Regina Brooks, presidente da Association of American Literary Agents, enfatizou a necessidade de "prestar atenção a algumas das iniquidades dentro da indústria", pois o processo de quem é escaneado e publicamente acusado é inerentemente humano e vulnerável a vieses.

Em resposta a acusações de sinalização incorreta, Spero ofereceu uma recompensa em dinheiro para aqueles que pudessem provar que escreveram o texto. Até agora, segundo ele, ninguém aceitou a oferta.