A Beijing Academy of Artificial Intelligence (BAAI) apresentou o Orca, um "modelo de base de mundo" que alcançou a performance de sistemas robóticos especializados sem que seu modelo base tivesse acesso a um único rótulo de ação durante o treinamento. Este avanço é fundamental para pesquisadores, engenheiros de IA e empresas de tecnologia, pois promete aliviar a crônica escassez de dados no campo da robótica, acelerando o desenvolvimento de sistemas mais autônomos e versáteis.

O Orca inova ao modelar o próximo estado do mundo em uma representação interna abstrata, ao invés de prever o próximo token, quadro de vídeo ou ação de robô, abordagem dominante na IA atual. A equipe da BAAI argumenta que a inteligência não deve ser definida por modelos de previsão especializados, mas sim por modelos que constroem uma compreensão geral de como o mundo muda e podem usar essa base para diversas tarefas.

O modelo combina dois modos de aprendizado. O "aprendizado inconsciente" utiliza vídeos brutos sem legendas, onde o modelo prevê o próximo quadro não em nível de pixel, mas em um espaço abstrato, capturando padrões de movimento e dinâmicas de cena típicas. O "aprendizado consciente" adiciona instruções verbais, segmentando vídeos com descrições de mudanças de estado e treinando o modelo para responder a consultas em linguagem natural.

Sua arquitetura é baseada no modelo de linguagem-imagem pré-treinado Qwen3.5, cujo núcleo permanece congelado após o treinamento. Para cada tipo de saída, módulos menores e separados são acoplados: o texto é processado pela cabeça de linguagem do Qwen3.5, imagens por uma versão inalterada do Stable Diffusion 3.5 com adaptadores, e as ações do robô por um módulo de controle treinado do zero chamado "Action Expert". Essa divisão intencional demonstra que um estado de mundo interno bem treinado pode servir como base compartilhada para tarefas muito diferentes, sem buscar apenas pontuações máximas em benchmarks específicos.

Para o treinamento, os pesquisadores compilaram 125.000 horas de filmagens de vídeo, 160 milhões de descrições de eventos e 11,5 milhões de pares de perguntas e respostas. Os vídeos abrangem quatro perspectivas, incluindo interações cotidianas em primeira pessoa, manipulação de objetos em terceira pessoa, gravações de robôs sem dados de ação e cenas naturais. Apenas um décimo desses dados de vídeo foi utilizado na versão atual do modelo.

O Orca foi treinado em dois tamanhos, com 0,8 e 4 bilhões de parâmetros. Testes iniciais indicam que, quanto melhor o estado do mundo interno se torna durante o pré-treinamento, melhores são os resultados em todos os três modos de saída (texto, imagem e robótica).

Em testes de texto, o Orca-4B obteve uma média geral de 51,8% em benchmarks como MVBench, TemporalBench, 3DSRBench e SWITCH, superando VLMs menores e modelos de mundo maiores como Emu3 (8B) e Emu3.5 (34B). Na previsão de imagens, utilizando o benchmark PRICE-V0.1 (desenvolvido pelos pesquisadores), o Orca-4B atingiu 59,8%, superando geradores de imagem especializados como FLUX.2 small. O Orca demonstrou manter a forma do robô, seus pontos de contato com objetos e sua ligação com a instrução de forma mais eficaz do que modelos puramente de imagem, que frequentemente adicionam objetos irrelevantes ou mãos "alucinadas".

Para o controle robótico, em cinco tarefas de manipulação com um robô humanoide de dois braços sobre rodas – incluindo organizar livros, empilhar tigelas e colher açúcar –, o Orca igualou o desempenho do π0.5, um sistema construído especificamente com dados de robôs. É notável que o modelo base do Orca nunca "viu" qual movimento corresponde a qual imagem durante o pré-treinamento. Para o controle robótico real, um módulo separado foi treinado posteriormente com 200 gravações do mundo real por tarefa, associando imagens da câmera aos movimentos executados. O Orca também demonstrou uma vantagem na recuperação de erros, realizando novas tentativas após uma falha, enquanto o π0.5 ficava preso em falhas repetidas.

A equipe utilizou sua biblioteca interna FlagScale para o treinamento, alcançando 2,91 amostras de treinamento por segundo por GPU em placas H100, cerca de 4,4 vezes mais rápido que o StarVLA, uma base de código amplamente utilizada em robótica.

O que muda na prática

• Menos dependência de dados específicos: O Orca demonstra que modelos de mundo podem aprender sobre a dinâmica do ambiente a partir de vídeos brutos, sem a necessidade de rótulos de ação caros e difíceis de obter. Isso reduz o gargalo de dados que afeta a robótica.
• Robôs mais versáteis e adaptáveis: Ao construir uma compreensão abstrata do mundo, o Orca pode servir como base para diversas tarefas, desde geração de texto e imagens até controle robótico. Isso sugere um futuro com robôs que podem aprender e se adaptar a novas situações com mais facilidade.
• Recuperação de erros aprimorada: A capacidade do Orca de se recuperar de falhas em tarefas robóticas, diferentemente de sistemas especializados, indica um avanço na resiliência e autonomia dos robôs.
• Desenvolvimento acelerado de IA: A eficiência do treinamento, com a biblioteca FlagScale, permite que mais dados sejam processados em menos tempo, potencialmente acelerando a pesquisa e o desenvolvimento de IA na robótica.

Apesar dos avanços, o Orca ainda aprende apenas com imagens e texto, sem a inclusão de som, força ou toque. A previsão visual ocorre no espaço de um codificador de imagem pré-treinado, em vez de aprender seu próprio espaço mundial do zero, e com 0,8 e 4 bilhões de parâmetros, os modelos são considerados pequenos demais para uma modelagem completa do mundo. As descrições de eventos cobrem apenas curtas janelas de alguns minutos. A BAAI afirma que um modelo de mundo nativo, treinado do zero com muitos tipos de sinais, continua sendo o objetivo final. A definição de "modelos de mundo" na pesquisa de IA ainda é objeto de debate, com diferentes propostas e benchmarks surgindo para refinar esse conceito.

Fonte: The Decoder (https://the-decoder.com/chinas-orca-world-model-matches-specialized-robotics-systems-without-ever-seeing-a-single-action-label/)