Een team van onderzoekers onder leiding van Nvidia heeft vrijgegeven DroomDojoeen nieuw AI-systeem dat is ontworpen om robots te leren hoe ze met de fysieke wereld moeten omgaan door tienduizenden uren menselijke video te bekijken – een ontwikkeling die de tijd en kosten die nodig zijn om de volgende generatie mensachtige machines te trainen aanzienlijk zou kunnen verminderen.
De onderzoekdeze maand uitgebracht en er zijn medewerkers van betrokken UC Berkeley, Stanfordde Universiteit van Texas in Austinen verschillende andere instellingen, introduceert wat het team ‘het eerste robotwereldmodel in zijn soort noemt dat na de training een sterke generalisatie naar verschillende objecten en omgevingen vertoont’.
In de kern van DroomDojo is wat de onderzoekers omschrijven als “een grootschalige videodataset” bestaande uit “44.000 uur aan diverse menselijke egocentrische video’s, de grootste dataset tot nu toe voor het voortrainen van wereldmodellen.” De dataset, genaamd DreamDojo-HVis een dramatische schaalsprong – “15 keer langere duur, 96 keer meer vaardigheden en 2000 keer meer scènes dan de vorige grootste dataset voor wereldmodeltraining”, aldus de projectdocumentatie.
Binnen het tweefasentrainingssysteem dat robots leert zien als mensen
Het systeem werkt in twee verschillende fasen. Eerst, DroomDojo “het verwerven van uitgebreide fysieke kennis uit grote menselijke datasets door vooraf te trainen met latente acties.” Vervolgens ondergaat het “post-training over de doeluitvoering met continue robotacties” – waarbij het in wezen de algemene natuurkunde leert door naar mensen te kijken en die kennis vervolgens af te stemmen op specifieke robothardware.
Voor bedrijven die mensachtige robots overwegen, lost deze aanpak een hardnekkig knelpunt op. Om een robot te leren objecten in ongestructureerde omgevingen te manipuleren, zijn traditioneel enorme hoeveelheden robotspecifieke demonstratiegegevens nodig, die duur en tijdrovend zijn om te verzamelen. DroomDojo vermijdt dit probleem door gebruik te maken van bestaande menselijke video, zodat robots kunnen leren van observatie voordat ze ooit een fysiek object aanraken.
Eén van de technische doorbraken is snelheid. Via een destillatieproces bereikten de onderzoekers “realtime interacties bij 10 FPS gedurende meer dan 1 minuut” – een functie die praktische toepassingen mogelijk maakt, zoals live teleoperatie en on-the-fly planning. Het team heeft aangetoond dat het systeem op meerdere robotplatforms werkt, waaronder GR-1, G1, AgiBotEn YAM humanoïde robots die zogenaamde ‘realistische, actiegestuurde implementaties’ vertonen in ‘een breed scala aan omgevingen en objectinteracties’.
Waarom Nvidia groot inzet op robotica, terwijl de uitgaven aan AI-infrastructuur stijgen
De release komt op een cruciaal moment voor de robotica-ambities van Nvidia – en voor de bredere AI-industrie. Met Wereld Economisch Forum CEO Jensen Huang verklaarde vorige maand in Davos dat AI-robotica een ‘once-in-a-generation’-kans vertegenwoordigt, vooral voor regio’s met sterke productiebasissen. Volgens DigitimesHuang verklaarde ook dat het komende decennium “een kritieke periode zal zijn voor de versnelde ontwikkeling van robotica”.
De financiële inspanning is enorm. Huang vertelde op 6 februari in het “Halftime Report” van CNBC dat de kapitaaluitgaven van de technologie-industrie – die dit jaar mogelijk 660 miljard dollar kunnen bereiken door grote hyperscalers – “gerechtvaardigd, passend en duurzaam.” Hij typeerde het huidige moment als ‘de grootste infrastructuuruitbreiding in de menselijke geschiedenis’, waarbij bedrijven als Meta, Amazon, Google en Microsoft hun AI-uitgaven dramatisch verhogen.
Die infrastructuurpush verandert het robotlandschap nu al. Robotstartups vestigen record 26,5 miljard dollar in 2025Dat blijkt uit gegevens van Dealroom. Europese industriële reuzen incl Siemens, Mercedes-BenzEn Volvo heeft het afgelopen jaar robotica-partnerschappen aangekondigd, terwijl Tesla-CEO Elon Musk dit heeft beweerd 80 procent van de toekomstige waarde van zijn bedrijf zal komen van de mensachtige Optimus-robots.
Hoe DreamDojo de implementatie en het testen van bedrijfsbots zou kunnen transformeren
Voor technische besluitvormers die humanoïde robots evalueren, ligt de meest directe waarde van DreamDojo wellicht in de simulatiemogelijkheden ervan. De onderzoekers benadrukken downstream-toepassingen, waaronder “betrouwbare beleidsevaluatie zonder implementatie in de echte wereld en op modellen gebaseerde planning voor verbeteringen in de testtijd” – functies waarmee bedrijven robotgedrag op grote schaal kunnen simuleren voordat ze dure fysieke tests uitvoeren.
Dit is van belang omdat de kloof tussen laboratoriumdemonstraties en fabrieksvloeren aanzienlijk blijft. Een robot die feilloos presteert onder gecontroleerde omstandigheden worstelt vaak met de onvoorspelbare variaties van echte omgevingen: ander licht, onbekende objecten, onverwachte obstakels. Door te trainen op 44.000 uur aan diverse menselijke videobeelden, verspreid over duizenden scènes en bijna 100 verschillende vaardigheden, wil DreamDojo het soort algemene fysieke intuïtie opbouwen dat robots aanpasbaar maakt in plaats van gek.
Het onderzoeksteam, geleid door Linxi “Jim” Fan, Joel Jang en Yuke Zhu, met Shenyuan Gao en William Liang als co-eerste auteurs, heeft aangegeven dat de code publiekelijk zal worden vrijgegeven, hoewel er geen tijdlijn is gespecificeerd.
Het grotere plaatje: Nvidia’s transformatie van gaminggigant naar robotica
Ontstoken DroomDojo zal worden vertaald in commerciële robotproducten, valt nog te bezien. Maar het onderzoek geeft aan waar de ambities van Nvidia naartoe gaan nu het bedrijf zich steeds verder positioneert buiten zijn gamingwortels. Naad Kyle Barr observeerde bij Gizmodo eerder deze maand beschouwt Nvidia nu “alles wat met gaming en de ‘personal computer’ te maken heeft” als “uitschieters op Nvidia’s driemaandelijkse spreadsheet.”
De verschuiving weerspiegelt een berekende inspanning: dat de toekomst van computers fysiek is, en niet alleen digitaal. Nvidia heeft al geïnvesteerd $10 miljard aan Antropisch en maakte plannen bekend om zwaar te investeren in de volgende financieringsronde van OpenAI. DreamDojo suggereert dat het bedrijf humanoïde robots ziet als de volgende grens waar zijn AI-expertise en chipdominantie kunnen samenkomen.
Voorlopig vertegenwoordigen de 44.000 uur aan menselijke video in het hart van DreamDojo iets fundamentelers dan een technische maatstaf. Ze vertegenwoordigen een theorie: dat robots kunnen leren navigeren in onze wereld door ons erin te zien leven. Het blijkt dat de machines aantekeningen hebben gemaakt.
