De eerste jaren van de carrière van de faculteitsleden zijn een vormende en opwindende tijd om een solide basis te leggen die de koers van de onderzoekers helpt bepalen. Dit omvat het opbouwen van een onderzoeksteam, waarvoor innovatieve ideeën en leiding, creatieve medewerkers en betrouwbare middelen nodig zijn.
Voor een groep MIT-faculteiten die met en aan kunstmatige intelligentie werken, heeft vroege betrokkenheid bij het MIT-IBM Watson AI Lab via projecten een belangrijke rol gespeeld, waardoor ambitieuze onderzoekslijnen zijn bevorderd en productieve onderzoeksgroepen zijn gevormd.
Bouw momentum op
“Het MIT-IBM Watson AI Lab is enorm belangrijk geweest voor mijn succes, vooral toen ik begon”, zegt Jacob Andreas – universitair hoofddocent bij de afdeling Elektrotechniek en Computerwetenschappen (EECS), lid van het MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) en onderzoeker bij het MIT-IBM Watson AI Lab – die natuurlijke taalverwerking bestudeert). Kort nadat hij bij MIT kwam werken, startte Andreas zijn eerste grote project via het MIT-IBM Watson AI Lab, waarbij hij werkte aan taalrepresentatie en gestructureerde data-augmentatiemethoden voor talen met weinig middelen. “Dat was echt de reden dat ik mijn laboratorium kon starten en studenten kon gaan werven.”
Andreas merkt op dat dit plaatsvond tijdens een ‘omslagpunt’ waarop het NLP-veld aanzienlijke verschuivingen onderging om taalmodellen te begrijpen – een taak die aanzienlijk meer rekenwerk vereiste, wat beschikbaar was via het MIT-IBM Watson AI Lab. “Ik heb het gevoel dat het soort werk dat we tijdens het (eerste) project hebben gedaan, waarbij we met al onze mensen aan de IBM-kant werkten, behoorlijk behulpzaam was bij het uitzoeken hoe we door deze transitie konden navigeren.” Bovendien kon de Andreas-groep meerjarige projecten uitvoeren op het gebied van vooropleiding, versterkend leren en kalibratie voor geloofwaardige reacties, dankzij de computerbronnen en expertise van de MIT-IBM-gemeenschap.
Voor verschillende andere faculteitsleden bleek tijdige deelname aan het MIT-IBM Watson AI Lab ook zeer nuttig. “Het hebben van zowel de intellectuele ondersteuning als het kunnen aanboren van enkele van de computationele bronnen die binnen MIT-IBM aanwezig zijn, is volledig transformerend en ongelooflijk belangrijk geweest voor mijn onderzoeksprogramma”, zegt Yoon Kim – universitair hoofddocent van EECS, CSAIL en onderzoeker bij het MIT-IBM Watson AI Lab – die ook zijn onderzoeksveld heeft zien veranderen. Voordat Kim naar MIT kwam, ontmoette Kim zijn toekomstige medewerkers tijdens een postdoctorale positie bij MIT-IBM, waar hij de ontwikkeling van neurosymbolische modellen nastreefde; nu ontwikkelt Kim’s team methoden om de mogelijkheden en efficiëntie van grote taalmodellen (LLM) te verbeteren.
Eén factor die hij noemt die tot het succes van zijn groep heeft geleid, is een naadloos onderzoeksproces met intellectuele partners. Hierdoor kon zijn MIT-IBM-team een project aanvragen, op grote schaal experimenteren, knelpunten identificeren, technieken valideren en zich indien nodig aanpassen om baanbrekende methoden te ontwikkelen voor mogelijke opname in toepassingen in de echte wereld. “Dit is een impuls voor nieuwe ideeën, en dat is, denk ik, wat uniek is aan deze relatie”, zegt Kim.
Het samenbrengen van expertise
De aard van het MIT-IBM Watson AI Lab is dat het niet alleen onderzoekers op AI-gebied samenbrengt om het onderzoek te versnellen, maar ook werk uit verschillende disciplines combineert. Laboratoriumonderzoeker en MIT-universitair hoofddocent van EECS en CSAIL Justin Solomon beschrijft zijn onderzoeksgroep als opgegroeid met het laboratorium, en de samenwerking als “cruciaal … van het begin tot nu.” Het onderzoeksteam van Solomon richt zich op theoretisch georiënteerde, geometrische problemen in relatie tot computergraphics, visie en machinaal leren.
Solomon crediteert de MIT-IBM-samenwerking met het uitbreiden van zijn vaardigheden en de toepassingen van het werk van zijn groep – een gevoel dat ook wordt gedeeld door laboratoriumonderzoekers Chuchu Fan, universitair hoofddocent luchtvaart en ruimtevaart en lid van het Laboratorium voor Informatie- en Beslissingssystemen, en Faez Ahmed, universitair hoofddocent werktuigbouwkunde. “Zij (IBM) zijn in staat om een aantal van deze erg rommelige problemen uit de techniek te vertalen naar het soort wiskundige middelen waar ons team aan kan werken en zo de cirkel rond te maken”, zegt Solomon. Voor Solomon omvat dit het samenvoegen van verschillende AI-modellen die zijn getraind op verschillende datasets voor afzonderlijke taken. “Ik denk dat dit allemaal heel opwindende ruimtes zijn”, zegt hij.
“Ik denk dat deze vroege carrièreprojecten (met het MIT-IBM Watson AI Lab) mijn eigen onderzoeksagenda in grote mate hebben gevormd”, zegt Fan, wiens onderzoek robotica, controletheorie en veiligheidskritische systemen doorkruist. Net als Kim, Solomon en Andreas begonnen Fan en Ahmed projecten via de samenwerking in het eerste jaar dat ze dat bij MIT konden doen. Beperkingen en optimalisatie bepalen de problemen die Fan en Ahmed aanpakken en vereisen daarom diepgaande domeinkennis buiten AI.
Door samen te werken met het MIT-IBM Watson AI Lab kon de groep van Fan formele methoden combineren met natuurlijke taalverwerking, waardoor het team volgens haar de overstap kon maken van het ontwikkelen van autoregressieve taak- en bewegingsplanning voor robots naar het creëren van op LLM gebaseerde agenten voor reisplanning, besluitvorming en verificatie. “Dat werk was de eerste verkenning van het gebruik van een LLM om elke vrije natuurlijke taal te vertalen naar een specificatie die de robot kan begrijpen en uitvoeren. Het is iets waar ik erg trots op ben en op dat moment erg moeilijk”, zegt Fan. Bovendien heeft haar team door gezamenlijk onderzoek de LLM-redenering kunnen verbeteren – werk dat “onmogelijk zou zijn zonder ondersteuning van IBM”, zegt ze.
Via het laboratorium faciliteerde de samenwerking van Faez Ahmed de ontwikkeling van machine learning-methoden om het ontdekken en ontwerpen van complexe mechanische systemen te versnellen. Hun Linkages-werk maakt bijvoorbeeld gebruik van ‘generatieve optimalisatie’ om technische problemen op te lossen op een manier die zowel datagestuurd als nauwkeurig is; meer recentelijk gebruiken ze multimodale gegevens en LLM’s voor computerondersteund ontwerp. Ahmed stelt dat AI vaak wordt toegepast op problemen die al oplosbaar zijn, maar baat zouden kunnen hebben bij een grotere snelheid of efficiëntie; uitdagingen, zoals mechanische verbindingen die als ‘bijna hardnekkig’ werden beschouwd, liggen nu echter binnen handbereik. “Ik denk dat dit absoluut het kenmerk is van ons MIT-IBM-team”, zegt Ahmed, terwijl hij de prestaties van zijn MIT-IBM-groep prijst, die mede wordt geleid door Akash Srivastava en Dan Gutfreund van IBM.
Wat begon als een eerste samenwerking voor elk lid van de MIT-faculteit, is uitgegroeid tot een duurzame intellectuele relatie waarin beide partijen ‘enthousiast zijn over de wetenschap’ en ‘studentgedreven’, voegt Ahmed toe. Samen spreken de ervaringen van Jacob Andreas, Yoon Kim, Justin Solomon, Chuchu Fan en Faez Ahmed over de invloed die een duurzame, praktische relatie tussen de academische wereld en de industrie kan hebben op de oprichting van onderzoeksgroepen en ambitieuze wetenschappelijke verkenning.
