Leven na Meta voor Yann LeCun

Welkom bij AI gedecodeerd, Snel bedrijf’s wekelijkse nieuwsbrief met het belangrijkste nieuws in de wereld van AI. Ik ben Mark Sullivan, senior schrijver bij snel bedrijf, heeft betrekking op nieuwe technologie, kunstmatige intelligentie en technologiebeleid.

Deze week concentreer ik me op wat het nieuwe bedrijf van AI-pionier Yann LeCun waarschijnlijk zal opbouwen nadat hij Meta verlaat. Ik kijk ook naar de plug van Marc Andreessen naar de paus op X, en naar “Fei-Fei Li’s” kijk op de AI-wereld sinds 2012.

Meld u aan om deze nieuwsbrief wekelijks per e-mail te ontvangen hier. En als u opmerkingen heeft over dit onderwerp en/of ideeën voor toekomstige kwesties, stuur mij dan een bericht op sullivan@fastcompany.com en volg mij op X @thesullivan.

Yann LeCun, de AI-pionier die sinds 2013 leiding geeft aan de afdeling Fundamental AI Research (FAIR) van Meta, zal naar verluidt die functie verlaten om zijn eigen AI-onderzoekslaboratorium te starten. LeCun is van plan de komende maanden te vertrekken en is al begonnen met fondsenwervingsgesprekken om zijn nieuwe onderneming te ondersteunen, aldus de rapporten. De nieuwe startup zal zich richten op het bouwen van ‘wereldmodellen’, of AI-systemen die leren van afbeeldingen, video en ruimtelijke gegevens, in plaats van uitsluitend te vertrouwen op tekst en grote taalmodellen.

Na het ontwikkelen van open source Llama-modellen die achterop raakten bij andere LLM’s, heeft Meta een zeer goede ontwikkeling doorgemaakt royale werving naar huur onderzoekers van wereldklasse voor een nieuwe poging om state-of-the-art modellen te bouwen. Meta’s nieuwste modellen, zo zeggen bronnen, zijn waarschijnlijk closed source en zullen naar verwachting dezelfde algemene architectuur en trainingsmethoden volgen die worden gebruikt door rivalen als OpenAI en Anthropic.

Met andere woorden, ze zullen blijven vertrouwen op dezelfde transformatorarchitectuur die in 2017 bij Google werd uitgevonden (die de generatieve AI-boom op gang bracht), terwijl ze voortdurend meer trainingsgegevens en rekenkracht zullen gebruiken om intelligentiewinst te boeken. LeCun heeft zich kritisch uitgelaten over die aanpak, en twijfel dat het AI heeft geproduceerd die echt redeneert, in plaats van simpelweg patronen te detecteren en het volgende woord of pixel in een reeks te voorspellen.

LeCun heeft opgeroepen tot meer fundamenteel onderzoek naar alternatieve trajecten die sneller zouden kunnen leiden tot AI-modellen die de menselijke intelligentie kunnen evenaren of overtreffen. Zijn recente onderzoek heeft zich gericht op ‘wereldmodellering’: het ontwikkelen van AI-systemen die snel over de fysieke wereld kunnen leren, net zoals menselijke baby’s dat doen.

Verwacht dus dat het nieuwe bedrijf van LeCun nieuwe soorten modellen, of systemen van modellen, zal bouwen die aspecten van de echte wereld, inclusief de natuurkunde, op nieuwe manieren leren en vertegenwoordigen. Het is waarschijnlijk dat deze modellen zullen worden getraind door duizenden uren video te bekijken in plaats van te vertrouwen op tekst of stilstaande beelden. Ze zullen waarschijnlijk ook meer nuances van de echte wereld kunnen vastleggen, zoals toestandsveranderingen en transities (hoe omgevingen veranderen en evolueren), dan de huidige modellen. Succes kan de creatie betekenen van AI-systemen of robots met een veel geavanceerder begrip van de wereld en hoe daarin te handelen, en die veel beter zijn in het voortdurend leren van de wereld en deze opnieuw vormgeven, zoals wij mensen dat doen.

Marc Andreessen kiest voor een goedkoop schot op paus, maar krijgt te maken met terugslag

Marc Andreessen, van het gerenommeerde VC-bedrijf Andreessen Horowitz, is een AI-accelerator die iedereen op Twitter zou kunnen blokkeren die zelfs maar suggereert dat de industrie meer tijd zou moeten besteden aan beveiliging en aanpassing. Nu krijgt hij te maken met terugslag omdat hij afgelopen weekend op X op de paus had geschoten toen de Heilige Stoel opriep tot moraliteit in de technologie.

De paus twitterde dat de bouwers van onze AI-toekomst “systemen moeten ontwikkelen die rechtvaardigheid, solidariteit en echte eerbied voor het leven weerspiegelen.” (Zie de volledige tweet hier.) Dat was genoeg om Andreessen, een toegewijde MAGA-cheerleader en naaste adviseur van president Trump op technisch gebied, te triggeren.

Andreessen voerde geen argument aan, maar plaatste een meme die bedoeld was om een ​​spottende en afwijzende reactie op de boodschap van de paus over te brengen. De meme was een stilstaand beeld van GQKatherine Stoeffel wijst naar een “Waar heb je het in vredesnaam over?” uitdrukking van actrice Sydney Sweeney tijdens een recent interview. Andreessen verwijderde de tweet, maar niet voordat velen aan de technische kant van Twitter hem zagen.

Sommigen protesteerden dat een miljardair VC zo vrolijk reageerde op de letterlijke paus. Anderen wezen op de ironie van het feit dat Twitter Andreessen aandoet wat Andreessen anderen heeft aangedaan. “Behoorlijk grappig/surrealistisch om te zien hoe @pmarca de ontwaakte annuleringsmenigtes van het afgelopen decennium ontwijkt, om vervolgens het dichtst in de buurt te komen van de annuleringsdood door toedoen van de zeer religieuze sekte die de annuleringscultuur heeft uitgevonden in de 15e eeuw,” VC Lee Edwards opgemerkt.

Weer anderen zetten vraagtekens bij het idee dat Andreessen leek over te brengen, namelijk dat durfkapitaalbedrijven moeten investeren in technologieën die waarde aantonen en geld verdienen, ongeacht of de technologie de wereld een betere of een slechtere plek zal maken, of misschien een veiliger of gevaarlijker plek.

Eén van hen was de alom gevolgde technologiecommentator @groeiende_daniel op X. “Als je je leven gaat wijden aan het opbouwen van iets… wat ik wil zeggen is dat je moreel moet nadenken”, zei “Daniel” op TBPN videocast na de paustweet van Andreessen. “Het hele punt van de paus was dat je erover moet nadenken en moet proberen goede dingen te doen.”

Daniel erkende dat Andreessen en a16z veel geld hebben geïnvesteerd in software-as-a-service-bedrijven die bedrijven beter hebben laten draaien. Maar hij noemt ook de $15 miljoen van a16z investering in Cluelyeen startup die zijn app oorspronkelijk factureerde als een hulpmiddel om “alles te bedriegen” (dat wil zeggen sollicitatiegesprekken, examens of verkoopgesprekken).

Dit is hoe Fei-Fei Li de geschiedenis van kunstmatige intelligentie sinds ImageNet beschrijft

Fei-Fei Li speelde een belangrijke rol bij het op gang brengen van de huidige AI-revolutie toen ze in 2012 BeeldNet datasets voor beeldtraining die AI-modellen leerden hoe ze afbeeldingen moesten classificeren. Op 12 november bracht haar nieuwe bedrijf, World Labs, haar eerste model uit, Marmereen “wereldmodel” dat inzicht heeft in de samenstelling van 3D-omgevingen (zoals mensen dat doen) en deze kan voorstellen en genereren op basis van tekst, afbeeldingen of video die door de gebruiker zijn geüpload. Deze omgevingen kunnen voor alles worden gebruikt, van game-ontwikkeling tot VFX-ontwerp tot digitale tweelingen, meent ze. Van ImageNet tot wereldmodellen, Li heeft een lange weg afgelegd. Toen ik haar sprak, vroeg ik haar om haar visie op de AI-revolutie te beschrijven zoals die tot nu toe heeft plaatsgevonden. Dit is wat ze zei.

Ik denk dat het wereldmodel een vrij natuurlijke maar essentiële voortzetting is van het generatieve AI-tijdperk. Het generatieve AI-tijdperk is het nieuwste van . . . revolutie in diepgaand leren. … In 2012 zijn we de deep learning-revolutie begonnen door de drie krachten van AI te vestigen: het neurale netwerk, data en computerchips, of GPU’s. Alle vooruitgang die we tot nu toe op het gebied van AI hebben geboekt, bouwt voort op de kracht van deze drie fundamentele elementen van moderne AI. En een van de belangrijkste mijlpalen was het transformatormodel. De sequentie-tot-sequentie-modellering voor taal ontsloot werkelijk een behoorlijk krachtige schaalwet die aanleiding gaf tot grote modellen die op een grote hoeveelheid gegevens kunnen worden getraind en die zeer krachtig en generaliseerbaar worden. Als eerste kwamen grote taalmodellen uit de bus.

En afgeleid van grote taalmodellen zijn deze multimodel grote taalmodellen (die niet alleen woorden begrijpen, maar ook audio, video, afbeeldingen en code). Ze zijn nog steeds gebouwd op de ruggengraat van grote taalmodellen. Maar ik denk dat het grote wereldmodel echt een belangrijke stap is in de richting van het ontsluiten van de mogelijkheden van AI.

Interessant genoeg suggereert Li dat, nu de AI-industrie modellen nastreeft die over het algemeen net zo intelligent zijn als mensen, en dan over het algemeen veel intelligenter, onderzoekers wellicht moeten vertrouwen op meer dan alleen de transformatormodelarchitectuur die de industrie in 2017 in vuur en vlam zette en leidde tot zaken als ChatGPT. (“GPT” staat voor “generative pre-trained transformer.”) Ze legt uit:

Ik zou zeggen dat dit verder gaat dan de transformator. Het is nog vroeg. De modelarchitectuur is dus nog steeds onderwerp van onderzoek. Maar je weet dat recente ontwikkelingen op het gebied van transformatormodellen (en) diffusiemodellen en meer deel uitmaken van de verkenning, maar ik zou het niet solide willen noemen vanwege transformatoren.

Meer AI-dekking van Snel bedrijf:

Wilt u exclusieve rapportage en trendanalyse over technologie, bedrijfsinnovatie, de toekomst van werk en design? Schrijf je in voor Snel bedrijf Premie.