Fei-Fei Li introduceert een wereldgenererend AI-model

Wereldlaboratoriade AI modelontwikkelaar opgericht door AI-pionier Fei-Fei Li heeft zijn 3D-ruimtegenererende model ‘Marble’ uitgebracht. Bij Wereldlabs websitemakers kunnen nu tekstberichten, afbeeldingen of video’s van delen van een echte wereld invoeren. Marble gebruikt ze om volledige 3D-omgevingen te creëren, die zowel binnenruimtes als uitgestrekte buitenruimtes kunnen omvatten.

Marble kan 3D-werelden reconstrueren, genereren en simuleren. Zie het als een soort ‘wereldmodel’. In een interview met Snel bedrijfLi beschrijft wereldmodellen als een ‘significante’ ontwikkeling in het generatieve AI-tijdperk. ‘Het grote wereldmodel is echt een belangrijke stap in de richting van het ontsluiten van de mogelijkheden van AI’, een categorie die zij ‘ruimtelijk’ noemt. Ruimtelijke intelligentie verwijst naar het vermogen van een systeem om waar te nemen, te modelleren, erover te redeneren en actie te ondernemen in de fysieke of geometrische ruimte, vergelijkbaar met hoe mensen en dieren hun acties kiezen op basis van hun begrip van hun omgeving.

Wereldlaboratoria gelanceerd in september 2024 toen het begon te werken aan het Marble-model. Twee maanden geleden werd een preview van het model vrijgegeven aan een groep creatieven, die begonnen met het bouwen van werelden en het geven van feedback.

Deze week plaatste Li een soort manifest bij Substack, die beweren dat ruimtelijke intelligentie de volgende grens is in AI. Voor mensen, zegt ze, vormt de ruimtelijke intelligentie van de fysieke wereld om ons heen de basis waarop we onze cognitie bouwen. “Ruimtelijke intelligentie zal de manier waarop we echte en virtuele werelden creëren en ermee omgaan transformeren – een revolutie teweegbrengen in het vertellen van verhalen, creativiteit, robotica, wetenschappelijke ontdekkingen en meer”, schrijft ze. World Labs is van mening dat het uitrusten van machines (inclusief robots) met dergelijke “ruimtelijke intelligentie” de komende jaren voor een aantal industrieën transformatief zou kunnen zijn.

Met behulp van een webinterface kunnen gebruikers Marble een scènebeschrijving, afbeeldingen of video’s of ruwe 3D-lay-outs geven, en het model genereert een realistische 3D-omgeving. Een gebruiker kan een reeks foto’s invoeren uit de slaapkamer waarin hij is opgegroeid en de foto’s vervolgens uploaden naar Marble, dat ze vervolgens op intelligente wijze aan elkaar plakt om een ​​meeslepende digitale 3D-versie van de kamer te creëren.

De gebruiker kan vervolgens een reeks hulpmiddelen gebruiken om zijn slaapkamerrecreatie te verfijnen of uit te breiden door kleine aanpassingen aan te brengen, zoals het toevoegen van een klok. Of ze kunnen grote veranderingen doorvoeren: voeg een bureau en een stoel toe of geef de hele kamer een ander soort licht. Meer gevorderde gebruikers kunnen een ruwe 3D-scène creëren (of importeren), inclusief de belangrijkste elementen van een omgeving, en vervolgens tekstprompts gebruiken om de algehele stijl te bepalen.

Met de bewerkingstools “kun je het model herhalen en heen en weer gaan en bewerken hoe de wereld er op verschillende manieren uitziet om je te helpen die visie uit je hoofd te krijgen en de perfecte wereld te creëren”, zegt Justin Johnson, medeoprichter van World Labs. World Labs herbergt ook een “hub” waar mensen hun 3D-creaties kunnen delen.

Marble kan 3D-werelden printen, zodat andere makers, misschien met behulp van andere tools, hierop kunnen voortbouwen of verbeteren. Het kan werelden genereren als Gaussiaanse markeringen, meshes of video’s – formaten die bekend zijn bij grafische professionals. “Het is echt gaaf omdat je hiermee deze 3D-middelen kunt gebruiken en ze vervolgens kunt combineren met allerlei andere traditionele workflows”, zegt Johnson. “Je kunt je driehoekige mesh nemen en deze in een spel laten vallen. Je kunt je Gaussiaanse splat nemen en deze vervolgens gebruiken voor een VFX-opname en composiet en andere dingen.”

Bij generatieve AI is een Gaussiaanse splat de hoogste kwaliteit voor het weergeven van 3D-objecten en -ruimten. Het model genereert miljoenen of miljarden kleine ‘splats’: semi-transparante deeltjes die verschillende punten in een 3D-ruimte bezetten. Het zijn kleine, gladde klodders waarvan de helderheid, ondoorzichtigheid, kleur of dichtheid het grootst zijn in het midden, waarbij deze waarden aan de randen vloeiend in klokvorm naar nul afnemen. De flappen verbinden zich vervolgens met hun buren, wat bijdraagt ​​aan het soepele, consistente gevoel. Wanneer miljarden van deze lijnen elkaar overlappen, kunnen ze de gladde oppervlakken, kleuren en verlichting van een 3D-scène benaderen.

Hoewel iedereen nu met Marble kan experimenteren, kunnen professionals zoals kunstenaars, ingenieurs en VFX-ontwerpers het nuttig vinden in hun werk. Li en haar medeoprichters, Ben Mildenhall, Johnson en Christoph Lassner, zeggen dat deze ‘ruimtelijke intelligentie’ een verscheidenheid aan industrieën zou kunnen transformeren, waaronder gaming, filmmaken en robotica.

Li, die tevens leiding geeft aan het Stanford Institute for Human-Centered AI, ontving onlangs de prijs Koningin Elizabeth Award voor Techniek tijdens een ceremonie met koning Charles in Londen. Haar mede-oprichters hebben ook indrukwekkende bona fides. Lassner ontwikkeld Pulsareen op bol gebaseerde renderer die de weg vrijmaakte voor 3D Gaussiaanse splatting. Johnson, die met Li werkte als afgestudeerde student aan Stanford, creëerde stijloverdracht in realtime (waarbij de visuele stijl van de ene afbeelding op de andere wordt toegepast), geïmplementeerd door Meta, Snap en Prisma. Ben Mildenhall co-creëerde het neurale stralingsveld (NeRF)-methode die een revolutie teweegbracht in de reconstructie van 3D-scènes.

World Labs biedt een gelaagd abonnement, te beginnen met een gratis niveau dat voldoende credits bevat om vier werelden te genereren. De hogere niveaus voegen meer credits en meer tools toe, waarbij het topabonnement $ 95 per maand kost.