Veel technische uitdagingen komen neer op dezelfde hoofdpijn: te veel knoppen om aan te draaien en te weinig kansen om ze te testen. Of u nu een elektriciteitsnet aan het tunen bent of een veiliger voertuig ontwerpt, elke evaluatie kan duur zijn en er kunnen honderden variabelen zijn die er toe doen.
Denk aan het ontwerp van autoveiligheid. Ingenieurs moeten duizenden onderdelen integreren, en veel ontwerpkeuzes kunnen van invloed zijn op hoe een voertuig presteert bij een ongeval. Klassieke optimalisatietools kunnen moeite hebben bij het zoeken naar de beste combinatie.
MIT-onderzoekers hebben een nieuwe aanpak ontwikkeld die heroverweegt hoe een klassieke methode, bekend als Bayesiaanse optimalisatie, kan worden gebruikt om problemen met honderden variabelen op te lossen. Bij tests van realistische benchmarks in technische stijl, zoals het optimaliseren van energiesystemen, vond de aanpak 10 tot 100 keer sneller topoplossingen dan veelgebruikte methoden.
Hun techniek maakt gebruik van een basismodel dat is getraind op tabelgegevens en dat automatisch de variabelen identificeert die het belangrijkst zijn voor het verbeteren van de prestaties en het proces herhaalt om steeds betere oplossingen te vinden. Foundation-modellen zijn enorme kunstmatige-intelligentiesystemen die zijn getraind op grote, algemene datasets. Hierdoor kunnen ze zich aanpassen aan verschillende toepassingen.
Het tabelvormige basismodel van de onderzoekers hoeft niet voortdurend te worden bijgeschoold terwijl het naar een oplossing toewerkt, waardoor de efficiëntie van het optimalisatieproces toeneemt. De techniek levert ook grotere versnellingen op voor ingewikkelder problemen, waardoor deze bijzonder nuttig kan zijn bij veeleisende toepassingen zoals de ontwikkeling van materialen of de ontdekking van geneesmiddelen.
“Moderne AI- en machine learning-modellen kunnen de manier waarop ingenieurs en wetenschappers complexe systemen creëren fundamenteel veranderen. We hebben één algoritme bedacht dat niet alleen hoogdimensionale problemen kan oplossen, maar ook herbruikbaar is, zodat het op veel problemen kan worden toegepast zonder dat je helemaal opnieuw hoeft te beginnen”, zegt Rosen Yu, een afgestudeerde student informatica aan dit ingenieurs- en papiertechniekprogramma.
Yu wordt op het papier vergezeld door Cyril Picard, een voormalig MIT-postdoc en onderzoeker, en Faez Ahmed, universitair hoofddocent werktuigbouwkunde en kernlid van het MIT Center for Computational Science and Engineering. Het onderzoek zal worden gepresenteerd op de International Conference on Learning Representations.
Een beproefde methode verbeteren
Wanneer wetenschappers een probleem met meerdere facetten proberen op te lossen, maar over dure methoden beschikken om succes te evalueren, zoals het laten crashen van een auto om te weten hoe goed elk ontwerp is, gebruiken ze vaak een beproefde methode die Bayesiaanse optimalisatie wordt genoemd. Deze iteratieve methode vindt de beste configuratie voor een gecompliceerd systeem door een surrogaatmodel te bouwen dat helpt bij het inschatten van wat er vervolgens moet worden onderzocht, terwijl rekening wordt gehouden met de onzekerheid in de voorspellingen.
Maar het surrogaatmodel moet na elke iteratie opnieuw worden getraind, wat snel rekenkundig onbeheersbaar kan worden als de ruimte voor mogelijke oplossingen erg groot is. Bovendien moeten wetenschappers elke keer dat ze een ander scenario willen aanpakken, een nieuw model vanaf nul opbouwen.
Om beide tekortkomingen aan te pakken, gebruikten de MIT-onderzoekers een generatief AI-systeem dat bekend staat als een tabelvormig basismodel als surrogaatmodel in een Bayesiaans optimalisatie-algoritme.
“Een tabellair model is als een ChatGPT voor spreadsheets. De invoer en uitvoer van deze modellen zijn gegevens in tabelvorm, die in het technische domein veel gebruikelijker zijn om te zien en te gebruiken dan taal”, zegt Yu.
Net als grote taalmodellen zoals ChatGPT, Claude en Gemini is het model vooraf getraind op een enorme hoeveelheid tabelgegevens. Dit maakt het goed uitgerust om een verscheidenheid aan voorspellingsproblemen aan te pakken. Bovendien kan het model worden geïmplementeerd zoals het is, zonder dat enige vorm van herscholing nodig is.
Om hun systeem nauwkeuriger en efficiënter te maken voor optimalisatie, gebruikten de onderzoekers een truc waarmee het model kenmerken in de ontwerpruimte kan identificeren die de grootste impact op de oplossing zullen hebben.
“Een auto heeft misschien wel 300 ontwerpcriteria, maar ze zijn niet allemaal de belangrijkste drijvende kracht achter het beste ontwerp als je bepaalde veiligheidsparameters probeert te verbeteren. Ons algoritme kan op slimme wijze de meest kritische kenmerken selecteren waarop we ons moeten concentreren”, zegt Yu.
Dit gebeurt door gebruik te maken van een op tabellen gebaseerd model om te schatten welke variabelen (of combinaties van variabelen) de grootste invloed hebben op de uitkomst.
Vervolgens wordt de zoektocht gericht op die variabelen met een grote impact, in plaats van tijd te verspillen door alles in gelijke mate te onderzoeken. Als bijvoorbeeld de omvang van de kreukelzone aan de voorkant aanzienlijk groter werd en de veiligheidsbeoordeling van de auto verbeterde, speelde dit kenmerk waarschijnlijk een rol bij de verbetering.
Grotere problemen, betere oplossingen
Een van hun grootste uitdagingen was het vinden van het beste tabellarische funderingsmodel voor deze taak, zegt Yu. Vervolgens moesten ze het zo verbinden met een Bayesiaans optimalisatie-algoritme dat het de meest opvallende ontwerpkenmerken kon identificeren.
“Het vinden van de meest opvallende dimensie is een bekend probleem in de wiskunde en informatica, maar het was een echte uitdaging om een manier te bedenken die gebruik maakte van de eigenschappen van een tabellarisch funderingsmodel”, zegt Yu.
Nu het algoritmische raamwerk aanwezig was, testten de onderzoekers hun methode door deze te vergelijken met vijf geavanceerde optimalisatie-algoritmen.
Voor 60 benchmarkproblemen, waaronder realistische situaties zoals het ontwerp van het elektriciteitsnet en het testen van auto-ongelukken, vond hun methode consequent de beste oplossing tussen 10 en 100 keer sneller dan de andere algoritmen.
“Wanneer een optimalisatieprobleem steeds meer dimensies krijgt, komt ons algoritme echt tot zijn recht”, voegde Yu eraan toe.
Hun methode presteerde echter niet beter dan de basislijnen op alle problemen, zoals de planning van robotpaden. Dit geeft waarschijnlijk aan dat het scenario niet goed gedefinieerd was in de trainingsgegevens van het model, zegt Yu.
In de toekomst willen de onderzoekers methoden bestuderen die de prestaties van tabellarische funderingsmodellen kunnen verbeteren. Ze willen hun techniek ook toepassen op problemen met duizenden of zelfs miljoenen dimensies, zoals het ontwerp van een marineschip.
“Op een hoger niveau wijst dit werk op een bredere verschuiving: het gebruik van fundamentele modellen, niet alleen voor perceptie of taal, maar als algoritmische motoren in wetenschappelijke en technische hulpmiddelen, waardoor klassieke methoden zoals Bayesiaanse optimalisatie kunnen worden opgeschaald naar regimes die voorheen onpraktisch waren”, zegt Ahmed.
“De aanpak die in dit werk wordt gepresenteerd, waarbij gebruik wordt gemaakt van een vooraf getraind basismodel in combinatie met hoogdimensionale Bayesiaanse optimalisatie, is een creatieve en veelbelovende manier om de zware datavereisten van op simulatie gebaseerd ontwerp te verminderen. Over het geheel genomen is dit werk een praktische en krachtige stap in de richting van het toegankelijker en gemakkelijker toepasbaar maken van geavanceerde ontwerpoptimalisatie in de echte wereld”, zegt Mechan Chen, voorzitter van Design and Engineering bij Wilson, hoogleraar Engineering and Engineering bij Wilson. Northwestern University, die niet bij dit onderzoek betrokken was.
