Welkom bij AI Gedecodeerd, Snel bedrijf’s wekelijkse nieuwsbrief met het belangrijkste nieuws ter wereld AI. Je kunt tekenen om deze nieuwsbrief wekelijks per e-mail te ontvangen hier.
François Chollet over AI-benchmarks
Ik heb er een geschreven exclusieve functie deze week over de lancering van een nieuwe AI benchmark genaamd ARC-AGI-3. Benchmark is gemaakt door de invloedrijke AI-onderzoeker Francois Chollet, die ook het veelgebruikte Keras deep learning-framework creëerde, een vereenvoudigde toolkit voor het bouwen van AI-modellen. Chollet heeft lang betoogd dat de huidige AI-modellen beperkt zijn in hun vermogen om door nieuwe situaties en problemen te navigeren. De ARC-test, die mensen wel kunnen beheersen, maar de meeste AI-systemen niet, is ontworpen om deze beperking bloot te leggen. Mijn interview met Chollet bevatte veel algemene inzichten die niet in het verhaal terechtkwamen. Hier zijn er enkele (met mijn aantekeningen vetgedrukt).
ARC-AGI-3 vraagt AI-agenten om zonder instructies door een reeks vereenvoudigde videogames te navigeren. Hier is Chollet over waarom de huidige modellen hier moeite mee hebben:
“Het komt omdat ze afhankelijk zijn van onthouden en terugvinden en het spel iets is dat ze nog nooit eerder hebben gezien. Ze hebben dat specifieke spel nog nooit eerder gespeeld of soortgelijke spellen omdat elk spel uniek is. Ze zijn dus verdwaald. Maar een mens is over het algemeen intelligent. Een mens is nooit verdwaald. Een mens bedenkt het meteen omdat hij over vloeiende intelligentie beschikt.”
Ik begon me voor te stellen hoe ik het spel zou benaderen. Ik stelde Chollet voor dat mijn belangrijkste strategie zou zijn om soortgelijke scenario’s te bedenken die ik eerder of in een andere context had gezien en deze te proberen toepassen.
“In modellen zijn veel abstracties gecodeerd. Ze hebben eigenlijk meer kennis dan jij. Maar ze hebben een zeer laag vermogen om die kennis tijdens de test opnieuw te combineren om iets te begrijpen dat ze nog nooit eerder hebben gezien. Dat is de manier waarop het hele paradigma werkt. We zijn erg goed in het absorberen van kennis, het absorberen van heel veel patronen. Beter dan het menselijk brein is veel slechter op een zeer grote schaal, en veel slechter op een zeer grote schaal. Ze daadwerkelijk combineren om een nieuw model te vormen (van een probleem).
Wat een AI-model precies nodig heeft om hoog te scoren op de benchmark:
“Ze hebben kleine hoeveelheden wereldmodellering en continu leren nodig. Continu leren is het idee dat je op het ene niveau één concept leert, op het volgende niveau dat concept opnieuw gebruikt, maar een nieuw leert, en op het derde niveau voeg je een derde concept toe, enzovoort. Dat is continu leren.”
Niet alleen moeten AI-modellen voortdurend leren, maar ze moeten ook een model van de wereld vormen dat oorzaak en gevolg vastlegt. Chollet legt uit:
“Over het algemeen zijn alle ingrediënten die je nodig hebt om ARC 3 op de juiste manier op te lossen, zonder brute force, zonder training in miljoenen games, de ingrediënten van menselijke intelligentie, maar op een zeer kleine schaal. De controleruimte is klein, de sensorruimte is klein, de mechanica van de werelden is heel eenvoudig en je leertijdschaal is erg kort. Maar het gaat om het verkennen van fundamentele dingen. Bouw dus stap voor stap, beetje bij beetje, een causaal model van wat er aan de hand is, namelijk ‘wat er gebeurde toen ik op deze knop gedrukt?’
Dan moet je bedenken wat je wilt doen in deze wereld. Als een kind dat leert bewegen. Ze moeten uitzoeken hoe hun gevoel voor ruimte werkt, hoe de omgeving reageert op wat ze doen. En als ze dingen als kruipen kunnen doen, moeten ze bedenken wat ze willen doen. Waar wil ik kruipen? Als ik een voorwerp kan bemachtigen, waarom zou ik dan dit of dat voorwerp willen bemachtigen?
Wat zou er gebeuren als we deze oplossingen zouden integreren en dicht bij een perfecte score zouden komen bij het spelen van de games in ARC-AGI-3:
De causale modellen die je moet bouwen om deze spellen op te lossen zijn dramatisch eenvoudiger dan de causale modellen van de wereld die je in je hoofd hebt. En het voortdurende leren dat je moet doen om een van deze spellen op te lossen, ligt op de schaal van een paar minuten tot vijf minuten, 10 minuten gameplay. Een mens doet tientallen jaren van voortdurend leren. Het zijn dus de echte ingrediënten op zeer kleine schaal. Het is een stap in de goede richting, maar je kunt niet zeggen dat dit op menselijk niveau is.
OpenAI heeft Sora mogelijk uitgeschakeld als onderdeel van een draai richting ‘wereldmodellering’
OpenAI heeft daartoe besloten sluit de Sora-appwaarmee gebruikers AI-video’s kunnen genereren en deze vervolgens op hun computer kunnen delen TikTok– stijl sociale feed. De reden hiervoor kan passen bij een groeiende trend onder spelers van AI-videogeneratie. Het AI-lab zou zijn AI-videogeneratietechnologie kunnen gaan gebruiken voor wereldmodellering en simulatie.
“Terwijl we ons concentreren en de vraag naar computers groeit, blijft het Sora-onderzoeksteam zich concentreren op wereldsimulatieonderzoek om robotica vooruit te helpen die mensen zal helpen fysieke taken in de echte wereld op te lossen”, zegt een woordvoerder van OpenAI. verteld Axios. De technologie kan ook worden gebruikt bij game-ontwikkeling, digital twins en speciale effecten in visueel entertainment. Bedrijven voor het genereren van AI-video’s Moonvalley en Runway AI zijn ook op weg naar het ontwikkelen van wereldmodellen.
OpenAI is mogelijk ook geschrokken van het duidelijke risico van inbreuk op het auteursrecht door apps als Sora. Veel auteursrechthouders, waaronder Hollywoodstudio’s en acteurs, waren geschokt toen ze zagen dat Sora vaak bekende gezichten gebruikte en geen duidelijke controle had. OpenAI reageerde door aan te bieden Hollywood-studio’s en acteurs meer controle te geven over hun IP en gelijkenissen op het platform.
Disney-personages behoorden tot de eerste auteursrechtelijk beschermde items die in Sora-video’s verschenen. Maar de twee bedrijven sloten een deal: Disney werd uitgenodigd om een miljard dollar te investeren in OpenAI en stemde ermee in om het gebruik van klassieke Disney-personages in Sora-video’s toe te staan. Dat meldt The Hollywood Reporter nu overeenkomst is af.
OpenAI zal doorgaan met het bouwen van zijn modellen voor het genereren van video’s, en het is mogelijk dat zoiets als Sora aan ChatGPT wordt toegevoegd.
Meer AI-dekking van Snel bedrijf:
- Wat er gebeurt als een AI-agent besluit u een e-mail te sturen
- Dit Microsoft-beveiligingsteam voert een stresstest uit op AI voor de worstcasescenario’s
- Waarom het laatste nieuws nog steeds wint in het tijdperk van AI
- Het werk van deze kunstenaar was te zien in het MoMA. Nu traint het AI
Wilt u exclusieve rapportage en trendanalyse over technologie, bedrijfsinnovatie, de toekomst van werk en design? Schrijf je in voor Snel bedrijf Premie.
