Crianças Ultrapassam Modelos de IA no Aprendizado de Idiomas: Qual o Segredo?

Por que a IA precisa de tantos dados?

Há pelo menos 100 mil anos, os humanos se comunicam. Durante todo esse tempo, apenas uma entidade no mundo conseguia aprender um idioma com fluência perfeita: uma criança humana. Hoje, existem duas. Quatro anos após o lançamento do ChatGPT, muitos consideram natural conversar com seus telefones ou computadores. Modelos de linguagem grandes (LLMs) como Claude, DeepSeek e os modelos GPT da OpenAI são fluentes e flexíveis o suficiente para se passar por humanos de forma convincente. No entanto, o MIT Technology Review destaca que ensinar um computador a usar a linguagem humana ainda exige uma quantidade de dados "desumana".

Um LLM pode processar facilmente centenas de milhares de vezes mais palavras do que uma pessoa experimenta ao dominar sua língua materna – e muito mais do que crianças podem ouvir até seu primeiro aniversário, quando tipicamente começam a assimilar a linguagem. Michael C. Frank, cientista cognitivo da Universidade de Stanford, observa o progresso recente dos LLMs:

"O progresso recente tem sido incrível. Mas ainda temos que queimar uma floresta e raspar toda a soma do conhecimento humano para recriar este marco que acontece em nossas salas de estar ao longo de um ano."

Essa enorme diferença entre crianças e máquinas é chamada de lacuna de eficiência de dados. Ela levanta uma questão intrigante para cientistas cognitivos e um desafio para os arquitetos de modelos de IA: como as crianças ainda conseguem superar as máquinas linguisticamente mais sofisticadas já construídas?

O que a ciência busca aprender com as crianças?

Encontrar respostas tem implicações tanto para a pesquisa em IA quanto para a ciência cognitiva. Na última década, os modelos de linguagem melhoraram principalmente ao ficarem maiores. O LLM de código aberto Llama 3.1 da Meta, lançado há dois anos, processou 15 trilhões de tokens (pedaços de linguagem semelhantes a palavras) no pré-treinamento. Modelos de ponta podem estar sendo pré-treinados com 10 vezes mais dados, segundo Ethan Gotlieb Wilcox, cientista cognitivo e linguista da Universidade de Georgetown.

Mas o volume de dados disponíveis na internet é limitado, e o fluxo de dados facilmente acessíveis pode secar em breve, talvez já na década de 2030. As crianças mostram que é possível aprender mais com menos. Muito menos. Uma criança em idade pré-adolescente, criada em um ambiente linguisticamente rico, pode ter ouvido cerca de 100 milhões de palavras. Adicionando a alfabetização, esse número pode subir para talvez 300 milhões de palavras até os 20 anos.

A diferença de escala é algo que só pode ser ilustrado por analogia. Wilcox afirma que "Claude viu a quantidade de linguagem que uma cidade inteira experimentaria em uma geração". Se todas as palavras usadas para treinar um LLM moderno fossem impressas, a pilha alcançaria além da Estação Espacial Internacional. Os 100 milhões de palavras de um pré-adolescente, por sua vez, formariam uma pilha de apenas 20 metros. E podemos nos virar com muito menos.

Ao fazer a engenharia reversa da forma como as crianças aprendem, os cientistas esperam criar modelos de IA mais eficientes em termos de dados, o que poderia ser útil para tudo, desde treinar IA de forma eficaz em vídeo até criar chatbots que atendam a comunidades de línguas minoritárias. Testar hipóteses sobre a aprendizagem humana em modelos de máquina também poderia resolver questões duradouras sobre a linguagem e o desenvolvimento da mente infantil.

Como os modelos de linguagem alcançaram a fluência atual?

A maioria de nós percebe a dificuldade da linguagem apenas quando tenta aprender um novo idioma após a infância. No entanto, é tipicamente fácil aprender nossa língua materna. Crianças pequenas geralmente começam a produzir frases gramaticalmente corretas depois de ouvir algo em torno de 10 milhões de palavras, ou 30 milhões no limite superior.

"É simplesmente milagroso", diz Frank. "Se você treinar o GPT-2 com 30 milhões de palavras, você obtém um gerador de bobagens; você não obtém uma criança."

Exatamente como os bebês conseguem isso é um mistério. Uma solução, proposta na década de 1950 pelo linguista do MIT Noam Chomsky, é que os bebês nascem com um conhecimento inato de gramática. Chomsky argumentava contra a visão de B.F. Skinner de que a aquisição da linguagem é totalmente ambiental. Ele citou a "pobreza do estímulo" – a ideia de que a linguagem, especialmente a sintaxe, é muito complexa, e a exposição das crianças a ela é muito "empobrecida" para que elas aprendam inteiramente pela experiência.

A visão chomskyana da linguagem dominou a linguística nos EUA por décadas. Essa abordagem, parte de uma tendência mais ampla chamada IA simbólica, prevaleceu por décadas. No entanto, em grande parte, falhou em produzir modelos realmente capazes de lidar com a linguagem humana em escala. O interesse no processamento de linguagem natural diminuiu no "inverno da IA" que começou na década de 1970.

Após esse período, as redes neurais começaram a ressurgir. Mas foi apenas na década de 2010, quando o hardware de computador se tornou mais barato e capaz, e a internet cresceu, que seu desempenho começou a chamar a atenção. Em 2018 e 2019, os modelos BERT e GPT-2, construídos em uma nova arquitetura – o transformer – e treinados em bilhões de tokens, deixaram claro para os especialistas que aprender a partir de uma enorme quantidade de dados poderia funcionar para a linguagem. Em 2022, com o sucesso estrondoso do chatbot ChatGPT da OpenAI, isso ficou claro para todos.

LLMs não são cérebros. São poderosos aprendizes estatísticos – máquinas ingênuas de aprendizado de padrões, sem nenhuma das peculiaridades biológicas evoluídas presentes no córtex humano. Em outras palavras, são exatamente o tipo de coisa que um linguista gerativista de duas décadas atrás teria pensado que não conseguiria aprender linguagem. E, no entanto, aqui estavam eles, escrevendo sonetos críveis e passando em testes de gramática. Alison Gopnik, psicóloga do desenvolvimento da Universidade da Califórnia, Berkeley, confessa:

"Não importa o quão cético você seja sobre IA, a coisa que realmente impressionou a todos é: essas coisas aprendem sintaxe. Eu não achava que isso se tornaria verdade. E acho que a maioria das pessoas não pensava que você poderia apenas olhar para as estatísticas de uma grande amostra de linguagem e descobrir a gramática."

O que é o projeto BabyLM e o que ele revelou?

Mas e quanto a aprender a partir de uma pequena amostra de linguagem – uma de tamanho infantil, por exemplo? É possível construir um modelo em escala de bebê que seja mais do que um gerador de bobagens? Alex Warstadt, linguista e cientista de dados da Universidade da Califórnia, San Diego, lembra os anos em torno do lançamento de BERT e GPT-2 como um período efervescente. Em 2019, ele ainda era um estudante de doutorado em linguística na Universidade de Nova York, observando seu campo mudar diante de seus olhos.

O mero fato de que os modelos de linguagem podiam aprender inglês processando texto desafiava as ideias chomskyanas prevalecentes. Mas muitos linguistas permaneciam céticos de que os LLMs pudessem nos dizer algo sobre como os humanos adquirem a linguagem. Warstadt sempre recebia objeções sobre o tamanho dos conjuntos de dados do modelo: "Nunca houve um momento em que as pessoas estivessem treinando modelos de linguagem em escala humana e nos impressionássemos com eles".

No entanto, Warstadt viu promessa nos LLMs: um modelo científico não precisa ser perfeito para ser informativo, e os LLMs eram claramente simulações poderosas do uso da linguagem humana. Ao incorporar hipóteses sobre como as crianças aprendem nos modelos e medir seu desempenho – quão perto eles chegavam de fechar a lacuna de dados – os cientistas poderiam testar suas ideias? Em agosto de 2022, Warstadt publicou um tópico no Twitter expondo um argumento de que as redes neurais poderiam ser modelos úteis para a aquisição da linguagem. Após algumas trocas de ideias nos comentários com o pesquisador de IA Leshem Choshen, Warstadt lançou a ideia para o que se tornaria o BabyLM, uma competição anual organizada por Warstadt, Choshen e vários outros pesquisadores para treinar modelos em pequenos conjuntos de dados.

Quatro anos depois, o BabyLM adicionou workshops e inspirou projetos derivados, incluindo uma competição para modelos de bebê treinados em chinês. O evento principal desafia os pesquisadores a treinar modelos de linguagem em um corpus "desenvolvimentalmente plausível" de apenas 100 milhões de palavras (para a faixa de escala de crianças pequenas, 10 milhões) retiradas de livros de histórias, diálogos, legendas de filmes, Wikipedia em inglês simples, Wikipedia normal e transcrições reais de fala direcionada a crianças. Os modelos são avaliados usando os tipos de benchmarks gramaticais que psicólogos linguistas usam com humanos, explica Wilcox, um dos organizadores.

Um tipo de tarefa envolve apresentar aos sujeitos de teste – humanos ou máquinas – frases e procurar indicações de confusão ou surpresa em características não gramaticais. Por exemplo, um teste pode comparar as frases "As chaves do armário estão na mesa" e "As chaves do armário é na mesa". "Quando os humanos veem 'é', eles pensam: 'O quê? Não deveria ser 'é''", diz Wilcox. Para um humano, essa surpresa pode ser medida rastreando os movimentos oculares. Para modelos de linguagem, os pesquisadores usam uma medida chamada "surprisal", que avalia o quão improvável o modelo prevê que uma frase ou parte de uma frase seja.

A competição já desafiou algumas suposições, como a eficácia do aprendizado curricular. O aprendizado curricular começa com dados de treinamento simples e avança para entradas mais complexas – um pouco como começar com a "fala de bebê" e se tornar mais sofisticado com o tempo. E foi de longe a abordagem mais popular na primeira rodada do BabyLM, de acordo com Warstadt. Mas não funcionou tão bem quanto o esperado. Aaron Mueller, cientista da computação, comenta: "O apelo é difícil de resistir, sabe. [O aprendizado curricular] parece realmente se alinhar com as maneiras pelas quais acreditamos que os humanos estão aprendendo."