Robôs precisos? NVIDIA revela o treino em simulação.

Aqui está o conteúdo reescrito no estilo do Lucas Tech:

Robôs Não Vão Mais Só Andar! A NVIDIA Acabou de Criar Mãos ROBÓTICAS com Precisão CIRÚRGICA! 🤯

Olá, pessoal! Aqui é o Lucas Tech e, se você pensa que robôs são só aqueles grandões que andam por aí ou fazem trabalhos pesados, prepare-se para ter sua mente explodida! 🤯 A gente está prestes a entrar numa era onde máquinas fazem muito mais do que empilhar caixas ou se locomover. Estamos falando de precisão cirúrgica, montagem de componentes minúsculos e até conectar cabos! E a NVIDIA está na linha de frente dessa revolução, tornando tudo isso uma realidade bem mais próxima.

O Salto da Locomoção para a Manipulação Fina

Sabe aqueles robôs que a gente vê aprendendo a andar, rolar e pular em vídeos? Pois é, isso era só o começo! Agora, a simulação está ajudando pesquisadores a ensinar habilidades muito mais delicadas: alinhar engrenagens, conectar cabos, montar pecinhas pequenas… É um salto gigante da "locomoção" para a "manipulação".

Essa mudança foi o grande destaque da Conference on Robot Learning (CoRL) em Austin, Texas. E, galera, a NVIDIA está na vanguarda disso, mostrando tecnologias robóticas abertas, como os "world action models" (modelos de ação do mundo), novas ferramentas de simulação e uma parada que eles chamam de "robótica agêntica" – que é tipo um novo jeito de integrar inteligências pra criar códigos para sistemas robóticos físicos. É surreal!

Pra vocês terem uma ideia do nível, dois artigos da NVIDIA estão entre os seis finalistas do prêmio de "Melhor Artigo" na CoRL! Um é o GRAIL, que apresenta um pipeline de geração digital pra ativos 3D e cenários prontos para simulação e aprendizado de robôs. O outro é o RoboTTT, que introduz um modelo de robô e uma receita de treinamento que escala o contexto visuomotor em três ordens de magnitude, muito além das políticas atuais, sem aumentar a latência de inferência. Isso significa que eles estão construindo robôs com precisão, adaptabilidade e autonomia pra sair dos laboratórios e ir direto para as fábricas e indústrias!

World Action Models: O Cérebro da Nova Autonomia Robótica

Pra um robô ser realmente autônomo, ele precisa "entender" o ambiente, prever o que suas ações vão causar e executar tarefas complexas com muita precisão. É aí que entram os "world action models" – ou modelos de ação do mundo, como eu gosto de chamar. Eles são tipo o cérebro que permite tudo isso.

E a grande estrela da vez é o GR00T 2, um modelo de ação do mundo aberto da NVIDIA, construído na plataforma NVIDIA Cosmos. Ele foi treinado com horas e horas de dados de robôs e humanos, incluindo 100 mil horas de dados "egocêntricos" humanos de código aberto da NVIDIA (aqueles com a visão em primeira pessoa, saca?). O modelo permite que os robôs aprendam habilidades de manipulação super destras. Se liga nas principais características:

Desempenho de Cara: Já faz 40 de 50 tarefas avaliadas pelo menos uma vez sem precisar de demonstrações específicas. Tipo, ligou e já tá funcionando!
Transferência de Habilidades: Aprende com demonstrações humanas e consegue transferir o que aprendeu para diferentes corpos de robôs sem precisar de novas demonstrações para cada um. Que show!
Generalização com Poucos Dados: Alcançou 71% de sucesso médio em 50 tarefas com apenas UMA demonstração por tarefa, e chega a 95% com cinco. Isso é otimização pura!
Controle por Agentes: Agentes de IA podem usar a interface de programação (API) do GR00T 2 e ferramentas de suporte para executar habilidades em sequência e até se recuperar de erros. O robô pensa e se corrige!

O GR00T 2 já está entre os top 3 modelos em várias categorias de benchmarks como RoboCasa365, RoboLab, RoboDojo e MolmoSpaces, com várias lideranças! Empresas como a Nexuni estão testando ele para lidar com lavanderia robótica, a Foxconn está aplicando o GR00T 2 na automação de fábricas para manufatura de servidores, e a Siemens está avaliando seu uso em diversos casos industriais. É o futuro batendo na porta!

A MicroAGI, por exemplo, está usando o GR00T 2, pós-treinado via aprendizado por reforço, para realizar trocas de cabos Ethernet com um braço robótico YAM. Essa abordagem de robótica agêntica automatiza a criação e calibração de ambientes de simulação usando o Isaac Lab 3.0 e o Newton, onde a política é treinada.

Pra treinar robôs tão capazes, você precisa de dados diversos. Por isso, os fluxos de trabalho e modelos abertos da NVIDIA equipam os pesquisadores com ferramentas melhores para coleta e anotação de dados:

Para pesquisadores que estão construindo conjuntos de dados para treinamento de robôs, o novo fluxo de trabalho aberto Video to Data da NVIDIA transforma vídeos humanos em demonstrações robóticas simuladas, e eles até lançaram um desafio para convidar a galera a aprimorar isso!
O NVIDIA EgoHand, um modelo aberto – que foi demonstrado na CoRL e já teve mais de 40.000 downloads no Hugging Face em apenas duas semanas –, reconstrói o movimento 3D da mão, treinado com dados da Noitom Robotics. É a coleta de dados ficando cada vez mais inteligente!

Onde a Mágica Acontece: A Simulação!

Ter um modelo pré-treinado dá aos robôs um conjunto de habilidades básicas. Mas a verdadeira mágica pra refinar e testar essas habilidades em larga escala, antes de ir pro robô físico, acontece na simulação! É lá que os pesquisadores treinam, ajustam e avaliam tudo.

E a ferramenta principal pra isso é o NVIDIA Isaac Lab, um framework de aprendizado de robôs de código aberto. Sua versão mais recente, Isaac Lab 3.0, é um espetáculo! Ele permite que os pesquisadores usem agentes para configurar rapidamente ambientes de treinamento com ativos prontos para simulação, alternar entre os solucionadores de física (NVIDIA PhysX e Newton – que agora simula objetos deformáveis como cabos, panos e até mãos robóticas!), escolher renderizadores para treinamento baseado em percepção e aplicar uma nova biblioteca de pós-treinamento por reforço a modelos fundamentais como o GR00T.

Ter uma física precisa é crucial pra que o que o robô aprende na simulação funcione no mundo real. Uma integração mais estreita com o Newton, um motor de física de código aberto, agora permite que o Isaac Lab modele objetos deformáveis como morangos (sim, o robô pode esmagar um morango virtual para aprender a pegar delicadamente!), cabos e panos, junto com sistemas articulados complexos, como mãos robóticas com muitas articulações interagindo.

Juntos, o Isaac Lab e o Newton combinam física precisa com escala, permitindo que os pesquisadores treinem milhares de robôs simulados em paralelo. Em um benchmark de manipulação destra baseada em visão, o Isaac Lab 3.0 com Newton alcançou até 2.5x a produtividade de treinamento do Isaac Lab 2.3 com PhysX. Isso é um ganho absurdo de tempo e eficiência!

Desenvolvedores estão expandindo as capacidades do Newton. Na CoRL, a Skild AI anunciou o STEEL (Scalable Throughput-optimized Engine for Embodied Learning), um novo solucionador de física de corpo rígido construído sobre o Newton para acelerar o treinamento de robôs com o Isaac Lab.

A Flexion demonstrou como o Isaac Lab e o Newton ajudam a treinar o Reflect, seu modelo de inteligência robótica que combina raciocínio e manipulação de corpo inteiro.

A FieldAI está usando o Newton – assim como o Isaac Lab e o Isaac Sim, construídos nas bibliotecas NVIDIA Omniverse – para treinar e validar políticas robóticas para implantação em ambientes reais não estruturados. A Dyna Robotics demonstrou como a simulação paralela no Isaac Lab ajuda a treinar controladores de corpo inteiro para seu robô semihumanoide Taku, para trabalho em armazéns, hotéis e serviços de alimentação.

A Walden Robotics está usando a renderização fotorrealista do Isaac Sim para treinar e avaliar seu robô de uso geral em ambientes virtuais para manufatura e logística, enquanto a Dexmate está explorando como agentes de codificação podem ensaiar e refinar estratégias de manipulação no Isaac Sim antes de executá-las em seu robô Vega.

O AlphaNIST, construído no Isaac Lab, demonstra como a prática eficiente pode se traduzir em precisão. Uma única política aprende todas as 20 tarefas na NIST Assembly Task Board, manipulando peças de escala milimétrica usando apenas um sinal de sucesso sim-ou-não. Ele alcança mais de 98% de sucesso no treinamento, comparado com 81% para políticas separadas por tarefa, usando aproximadamente 39x menos tempo de GPU. Que coisa de louco!

Por trás desses resultados está o Success-Guided Sampling (SGS), da Universidade de Washington e NVIDIA. O método foca a prática em tarefas que uma política acerta cerca de metade das vezes, direcionando o treinamento para habilidades que ela ainda está aprendendo. Com o SGS, o treinamento de robôs pode escalar para mais de um milhão de ambientes paralelos. Fantástico!

A School of Computing e a Texas Robotics da Universidade do Texas em Austin usam o Isaac Sim e o Isaac Lab para treinar habilidades robóticas em simulação, permitindo que os estudantes comecem a desenvolver antes que o hardware físico esteja disponível.

Testando Limites: Novos Benchmarks Industriais

Aprender uma habilidade é um desafio. Realizá-la de forma confiável em condições variáveis é outro nível! Pra isso, a NVIDIA lançou o NVIDIA Isaac Lab-Arena, um framework de código aberto para avaliação escalada de políticas. Ele permite que os desenvolvedores componham avaliações diversas e repetíveis, e depois executem políticas em milhares de variações em paralelo. As análises expõem quais condições causam falhas, assim os pesquisadores sabem o que corrigir na próxima rodada de treinamento. Tipo um "controle de qualidade" robótico em massa!

O DexBench e o VABAR, dois novos benchmarks abertos, estão entre os primeiros projetados para medir a destreza e adaptabilidade robótica em tarefas industriais usando o Isaac Lab-Arena e o Newton.

O DexBench, desenvolvido pela RLWRLD em colaboração com a NVIDIA, tira a avaliação de destreza da mesa e a leva para fluxos de trabalho do mundo real. Construído usando o NVIDIA Isaac Lab-Arena, ele apresenta 15 tarefas em quatro cenários que abrangem varejo, logística, manufatura e hospitalidade, testando a generalização em variações de objetos, espaciais e físicas.

Empresas como Genesis AI, mimic robotics e outros parceiros da indústria estão avaliando o DexBench através de acesso antecipado.

As equipes podem executar o DexBench no Manifold, plataforma de avaliação da Bifrost para escalar simulações robóticas, sem necessidade de configuração, com análise de falhas integrada e créditos gratuitos para avaliações iniciais.

O VABAR — o Variational Automation Benchmark for Agentic Robotics — da UC Berkeley e NVIDIA, avalia robôs em seis tarefas industriais. Cada uma possui variações padronizadas, níveis de dificuldade e métricas de sucesso.

Robôs que Programam Robôs: A Era da Robótica Agêntica!

Pra um robô realizar uma tarefa complexa com sucesso, ele precisa coordenar múltiplas habilidades e se adaptar quando algo dá errado. E construir programas confiáveis para essas tarefas multi-etapas ainda é um desafio. Mas a robótica agêntica veio pra resolver isso! É tipo ter um mini-engenheiro de software dentro do robô!

O novo framework Graph-as-Policy (GaP) da UC Berkeley usa agentes para conectar habilidades individuais em programas robóticos. Esses agentes testam esses programas usando as tecnologias de simulação aberta da NVIDIA Isaac e os refinam com base nos erros. Isso ajuda os pesquisadores a escalar o desenvolvimento com menos dados, enquanto mantém os programas interpretáveis para que os engenheiros possam revisar e verificar antes da implantação. É a autonomia em outro patamar!

O Ken Goldberg, professor de robótica da UC Berkeley e um dos líderes nos projetos VABAR e GaP, disse uma frase que resume bem: "Pra mim, a robótica agêntica é o desenvolvimento tecnológico mais empolgante desde a internet em 1995!". Se ele falou, tá falado, né?

Ambi Robotics, Bosch Research e Siemens estão todos explorando o GaP para seus fluxos de trabalho de robótica agêntica em diversos cenários industriais. É o futuro chegando nas fábricas de forma inteligente e adaptável!

Minha Visão

Galera, o que a NVIDIA está fazendo aqui não é só um avanço tecnológico. É uma mudança de paradigma completa! Sempre pensamos em robôs para tarefas repetitivas e "brutas". Agora, estamos falando de robôs com uma destreza e inteligência que, até pouco tempo, eram ficção científica. Isso significa que eles vão poder trabalhar lado a lado com humanos em ambientes muito mais complexos, em indústrias que exigem precisão micrométrica, e até em serviços que hoje parecem impossíveis de automatizar. É o fim da era do robô "burro de carga" e o início da era do robô "mestre artesão". A integração de simulação avançada, modelos de ação do mundo e a robótica agêntica vai liberar um potencial criativo e produtivo que mal conseguimos imaginar. Eu estou realmente empolgado para ver onde isso vai nos levar!

E vocês, o que acham dessa evolução dos robôs? Qual tarefa complexa vocês gostariam de ver um robô fazendo com essa nova precisão? Deixem seus comentários aqui embaixo! 👇

Referência: Matéria Original