Isaac GR00T N1, il modello di Nvidia che porta l’intelligenza artificiale nei robot umanoidi

Accelerare lo sviluppo di applicazioni di robot umanoidi grazie a un’architettura a doppio sistema, ispirata ai principi della cognizione umana: è questo lo scopo di Isaac GR00T N1, il primo foundation model aperto e completamente personalizzabile al mondo per il ragionamento e le abilità generalizzate degli umanoidi annunciato da Nvidia.

L’azienda ha presentato il modello nel corso del sui evento GTC dedicato alla scoperta delle ultime novità nel campo della programmazione basata sull’AI. Novità che aprono a nuove applicazioni dei robot umanoidi (sia domestiche che industriali), soprattutto nel material handling, l’imballaggio e l’ispezione.

La nuova era dell’AI fisica e della robotica

Che la prossima frontiera dello sviluppo della robotica sarebbe stata determinata e trainata dall’integrazione dell’AI è un mantra che gli esperti del settore ripetono ormai da diversi mesi. Ad inizio anno, solo per fare un esempio, l’International Federation of Robotics riportava tra i primi due trend che avrebbero guidato lo sviluppo delle applicazioni della robotica nel 2025 proprio la possibilità di avere maggiore intelligenza, grazie all’AI, e progressi in campo di robot umanoidi.

E, proprio in questi giorni, stiamo assistendo ai primi annunci su questi due fronti. Il lancio di Gemini Robotics – una nuova famiglia di modelli AI basati su Gemini 2.0 e progettati per portare l’intelligenza artificiale nel mondo fisico attraverso robot di nuova generazione – segna un’importante svolta nell’integrazione dell’intelligenza artificiale nel regno della robotica.

Isaac GR00T N1 di Nvidia rappresenta un altro importante passo in avanti nello sviluppo dell’AI fisica (Physical AI), che si riferisce alla capacità di sistemi autonomi come robot, auto a guida autonoma e spazi intelligenti di percepire, comprendere ed eseguire azioni complesse nel mondo reale (fisico).  In sostanza, la Physical AI permette alle macchine di interagire in modo intelligente con l’ambiente che le circonda e di adattarsi ad esso.

L’obiettivo di Nvidia, come accennato, è quello di accelerare lo sviluppo delle applicazioni di robot umanoidi fornendo un “modello base” o un “cervello” che quindi fornisce una base di intelligenza e capacità di movimento, accelerando lo sviluppo di nuove applicazioni.

Sempre a questo scopo, Nvidia ha presentato altri strumenti aggiuntivi, tra cui Isaac GR00T Blueprint per la generazione di dati sintetici, e Newton, un motore fisico open-source – in fase di sviluppo con Google DeepMind e Disney Research – creato appositamente per lo sviluppo di robot.

Innovazioni che, come ha spiegato nel suo keynote speech Jensen Huang, fondatore e CEO di Nvidia, inaugurano una nuova era: quella della robotica generalista.

Che cos’è e come funziona Isaac GR00T N1

Vediamo più nel dettaglio che cos’è Isaac GR00T N1 e come può aiutare lo sviluppo di questa nuova era. Il modello di fondazione GR00T N1 presenta un’architettura a doppio sistema, ispirata ai principi della cognizione umana.

Il “Sistema 1” è un modello d’azione a pensiero rapido, che rispecchia i riflessi o l’intuizione umana. Il “Sistema 2” è un modello a pensiero lento per un processo decisionale deliberato e metodico.

Alimentato da un modello linguistico visivo, il Sistema 2 ragiona sul suo ambiente e sulle istruzioni ricevute per pianificare le azioni. Il Sistema 1 traduce quindi questi piani in movimenti robotici precisi e continui.

Il Sistema 1 è addestrato su dati di dimostrazione umana e su una massiccia quantità di dati sintetici generati dalla piattaforma Nvidia Omniverse.

GR00T N1 può facilmente generalizzare compiti comuni, come afferrare, spostare oggetti con uno o entrambi gli arti e trasferire oggetti da un braccio all’altro, o eseguire compiti multi-step che richiedono un contesto lungo e combinazioni di abilità generali. Queste capacità possono essere applicate in casi d’uso come la movimentazione di materiali, l’imballaggio e l’ispezione.

Le applicazioni non si limitano solo all’industria, ma anche all’ambiente domestico. Durante il suo keynote al GTC, infatti, Huang ha mostrato il robot umanoide di 1X che eseguiva autonomamente compiti di riordino domestico utilizzando una policy post-addestrata basata su GR00T N1. Le capacità autonome del robot sono il risultato di una collaborazione tra 1X e Nvidia nell’ambito dell’addestramento dell’intelligenza artificiale.

L’azienda ha già reso disponibile, in anteprima, GR00T N1 ad alcune aziende specializzate in robotica, tra cui Agility Robotics, Boston Dynamics, Mentee Robotics e Neura Robotics.

Maggiore disponibilità di dati per l’avanzamento della robotica post-addestramento: il dataset GR00T N1

Dataset grandi, diversificati e di alta qualità sono fondamentali per lo sviluppo dei robot, ma sono costosi da acquisire. Per i robot umanoidi, i dati delle dimostrazioni umane nel mondo reale sono limitati dalle 24 ore di una giornata di una persona.

Il nuovo Isaac GR00T Blueprint per la generazione di movimento manipolativo sintetico presentato da Nvidia affronta proprio questa sfida. Basato su Omniverse e sui modelli di base del mondo Nvidia Cosmos Transfer, il blueprint consente agli sviluppatori di generare quantità esponenzialmente grandi di dati di movimento sintetico per compiti di manipolazione a partire da un piccolo numero di dimostrazioni umane.

Utilizzando i primi componenti disponibili per il blueprint, Nvidia ha generato 780.000 traiettorie sintetiche — l’equivalente di 6.500 ore, o nove mesi continui, di dati di dimostrazione umana — in solo 11 ore. Successivamente, combinando i dati sintetici con i dati reali, l’azienda ha migliorato le prestazioni di GR00T N1 del 40%, rispetto all’uso dei soli dati reali.

Il più ampio dataset open-source di intelligenza artificiale fisica

Per fornire ulteriormente alla comunità degli sviluppatori dati di addestramento preziosi, Nvidia sta rilasciando il dataset GR00T N1 come parte di un più ampio dataset open-source di intelligenza artificiale fisica — anch’esso annunciato al GTC e ora disponibile su Hugging Face.

Si tratta di un set di dati pre convalidati che può aiutare i ricercatori e gli sviluppatori a dare il via a progetti di AI fisici che possono risultare proibitivi se avviati da zero. Gli sviluppatori possono utilizzare direttamente il set di dati per il pre-training, il test e la convalida dei modelli, oppure utilizzarlo durante la fase di post-training per perfezionare i modelli di base del mondo, accelerando il percorso verso l’implementazione.

Il set di dati iniziale, già disponibile su Hugging Face, offre agli sviluppatori 15 terabyte di dati che rappresentano più di 320.000 traiettorie per l’addestramento alla robotica, oltre a 1.000 risorse Universal Scene Description (OpenUSD), tra cui una raccolta SimReady.

Presto saranno disponibili anche dati dedicati per supportare lo sviluppo di veicoli autonomi (AV) end-to-end, che comprenderanno clip di 20 secondi di diversi scenari di traffico in oltre 1.000 città negli Stati Uniti e in due dozzine di Paesi europei.

Questo set di dati crescerà nel tempo fino a diventare il più grande set di dati unificato e aperto al mondo per lo sviluppo dell’AI fisica. Potrebbe essere applicato per sviluppare modelli di AI per alimentare i robot che manovrano in sicurezza gli ambienti dei magazzini, i robot umanoidi che supportano i chirurghi durante le procedure e gli AV che possono navigare in scenari di traffico complessi come le zone di costruzione.

Il Physical AI Dataset di Nvidia può aiutare gli sviluppatori a scalare le prestazioni dell’AI durante la fase di pre-training, in cui un maggior numero di dati aiuta a costruire un modello più robusto, e durante la fase di post-training, in cui un modello di AI viene addestrato su dati aggiuntivi per migliorare le sue prestazioni per un caso d’uso specifico.

La raccolta, la cura e l’annotazione di un set di dati che copra diversi scenari e rappresenti accuratamente la fisica e le variazioni del mondo reale richiede molto tempo e rappresenta un collo di bottiglia per la maggior parte degli sviluppatori. Per i ricercatori accademici e le piccole imprese, gestire una flotta di veicoli per mesi per raccogliere dati per l’AI dei veicoli autonomi è poco pratico e costoso e, poiché la maggior parte dei filmati raccolti non mostra eventi particolari, di solito solo il 10% dei dati viene utilizzato per l’addestramento.

Anche i questo caso, l’azienda ha reso il dataset disponibile in anteprima ad alcuni partner, come Berkeley DeepDrive Center dell’Università della California, Berkeley, il Carnegie Mellon Safe AI Lab e il Contextual Robotics Institute dell’Università della California, San Diego.

Dalla collaborazione con Google DeepMind e Disney Research arriva Newton, un nuovo motore fisico open-source

Nvidia ha anche annunciato una collaborazione con Google DeepMind e Disney Research per sviluppare Newton, un motore fisico open-source che consente ai robot di imparare a gestire compiti complessi con maggiore precisione.

Realizzato sulla base del framework Nvidia Warp, Newton sarà ottimizzato per l’apprendimento dei robot e compatibile con framework di simulazione come MuJoCo di Google DeepMind e Nvidia Isaac Lab. Inoltre, le tre aziende intendono consentire a Newton di utilizzare il motore fisico di Disney.

Google DeepMind e Nvidia stanno collaborando allo sviluppo di MuJoCo-Warp, che dovrebbe accelerare i carichi di lavoro di apprendimento automatico della robotica di oltre 70 volte e sarà disponibile per gli sviluppatori attraverso la libreria open-source MJX di Google DeepMind, oltre che attraverso Newton.

Disney Research sarà una delle prime a utilizzare Newton per far progredire la sua piattaforma di personaggi robotici che alimenta i robot da intrattenimento di prossima generazione, come i droidi BDX ispirati a Star Wars che hanno raggiunto Huang sul palco durante il suo keynote al GTC.

L'articolo Isaac GR00T N1, il modello di Nvidia che porta l’intelligenza artificiale nei robot umanoidi proviene da Innovation Post.