O Google Deepmind apresentou o GenCeption, um modelo inovador que reaproveita geradores de vídeo pré-treinados para executar tarefas fundamentais de visão computacional, como estimativa de profundidade e segmentação. O sistema, que utiliza um gerador de vídeo de código aberto da Alibaba, demonstrou capacidade de igualar ou superar modelos especializados com uma fração dos dados de treinamento, reacendendo a discussão sobre a natureza dos "modelos de mundo" em inteligência artificial.

O GenCeption e seu Funcionamento

O GenCeption baseia-se no modelo de vídeo de código aberto Wan2.1 da Alibaba, mas com uma arquitetura simplificada. Enquanto modelos de difusão tipicamente geram vídeo a partir de ruído por meio de muitos pequenos passos, o GenCeption produz uma previsão em uma única passagem, tornando-o rápido o suficiente para aplicações práticas em visão computacional. Ele representa cada saída, seja um mapa de profundidade, um mapa normal de superfície ou uma máscara de segmentação, como uma imagem RGB de três canais. Além disso, converte o movimento da câmera em uma representação de imagem. Um prompt de texto informa ao modelo qual tarefa executar, semelhante a uma instrução dada a um chatbot. A equipe adiciona módulos treináveis para tarefas como previsão de pontos-chave 3D, que não produzem imagens diretamente.

Treinamento Eficiente e Dados Sintéticos

A maior parte dos dados de treinamento do GenCeption veio de um conjunto de dados sintéticos contendo apenas 7.500 vídeos. A equipe combinou 800 modelos humanos digitais com 200 sequências de movimento e os renderizou no Blender com diferentes cenários e ângulos de câmera. Vídeos reais foram usados apenas para segmentação guiada por linguagem. Segundo o estudo, o GenCeption igualou ou superou resultados de ponta em diversos benchmarks, como o DepthAnything 3 para estimativa de profundidade e o SAM 3 da Meta combinado com o Gemini 3.5 Flash para segmentação guiada por linguagem complexa, utilizando entre 7 e 500 vezes menos dados que modelos como D4RT e VGGT Omega. Os autores atribuem esses resultados à tarefa de geração de vídeo, que ajuda os modelos a aprender representações úteis de espaço e movimento, e não apenas ao volume de dados.

O Debate dos Modelos de Mundo

Os pesquisadores do Deepmind defendem que grandes modelos text-to-video podem preencher uma lacuna na visão computacional. Eles argumentam que a geração de vídeos realistas exige a compreensão da geometria espacial de uma cena, como os objetos se movem e a física básica. Além disso, esses modelos usam descrições de texto durante o treinamento, o que conecta a linguagem ao conteúdo visual. Essa capacidade de aprendizado por geração pode ser a base para "modelos de mundo" universais em visão computacional, de forma análoga a como os modelos de linguagem aprendem gramática e conhecimento de mundo ao prever a próxima palavra.

Ex-cientista-chefe de IA da Meta, Yann LeCun, foi além, argumentando que modelos de vídeo generativos são um beco sem saída.

Limitações e Perspectivas Futuras

Contudo, a ideia de que geradores de vídeo contêm modelos de mundo é debatida. Uma equipe de pesquisa internacional, com o OpenWorldLib, excluiu explicitamente modelos text-to-video dessa definição por lhes faltar feedback do mundo real. Um benchmark da Universidade Tsinghua mostrou que modelos como Sora, Seedance e Veo falharam repetidamente em testes de física e lógica básica, apesar de suas saídas visuais convincentes. O GenCeption, por sua vez, usa a geração de vídeo para um propósito mais restrito. Os pesquisadores não pedem ao Wan2.1 para prever como o mundo se comportará, mas o utilizam para extrair características para tarefas específicas, onde suas capacidades superam sistemas especializados. O GenCeption, treinado quase inteiramente em vídeos sintéticos de uma única pessoa, demonstrou forte generalização, funcionando em vídeos reais com várias pessoas, animais e robôs humanoides, preservando detalhes finos como bigodes de gato e fios de cabelo. Contudo, o treinamento conjunto em todas as tarefas prejudicou a estimativa de pontos-chave 3D, sugerindo que componentes extras para essa tarefa podem interferir nos mecanismos aprendidos pelo modelo base. Os pesquisadores também apontam que a velocidade de processamento precisa ser aprimorada, com o modelo menor levando cerca de seis segundos para processar um vídeo de 81 quadros, e o modelo maior, com 14 bilhões de parâmetros, levando cerca de dez segundos.

Fonte: The Decoder (https://the-decoder.com/google-deepmind-argues-video-generators-already-contain-the-world-models-computer-vision-has-been-missing/)