Het creëren van zelfverbeterende AI-systemen is een belangrijke stap in de richting van de inzet van agenten in dynamische omgevingen, vooral in bedrijfsproductieomgevingen waar taken niet altijd voorspelbaar of consistent zijn.
De huidige zelfverbeterende AI-systemen worden geconfronteerd met ernstige beperkingen omdat ze vertrouwen op vaste, handgemaakte verbeteringsmechanismen die alleen werken onder strikte voorwaarden, zoals bij softwareontwikkeling.
Om deze praktische uitdaging te overwinnen, introduceerden onderzoekers van Meta en verschillende universiteiten “hyperagenten”, een zichzelf verbeterend AI-systeem dat de probleemoplossende logica en de onderliggende code voortdurend herschrijft en optimaliseert.
In de praktijk zorgt dit ervoor dat de AI zichzelf kan verbeteren in niet-coderende domeinen zoals robotica en documentbeoordeling. De agent bedenkt zelfstandig algemene functies zoals persistent geheugen en geautomatiseerde prestatie-tracking.
Meer in het algemeen worden hyperagenten niet alleen beter in het oplossen van taken, ze leren ook de zelfverbeteringscyclus te verbeteren om de voortgang te versnellen.
Dit raamwerk kan helpen bij het ontwikkelen van zeer aanpasbare agenten die autonoom gestructureerde, herbruikbare beslissingsmachines bouwen. Deze aanpak versterkt de mogelijkheden in de loop van de tijd, met minder behoefte aan constante, handmatige, snelle engineering en domeinspecifieke menselijke aanpassingen.
Huidige zelfverbeterende kunstmatige intelligentie en de architecturale knelpunten ervan
De kerndoelstelling met betrekking tot zelfverbeterende AI-systemen is het voortdurend verbeteren van hun eigen leer- en probleemoplossende vaardigheden. De meeste bestaande modellen voor zelfverbetering zijn echter afhankelijk van een vaste ‘meta-agent’. Dit hoogwaardige statische monitoringsysteem is ontworpen om een basissysteem te wijzigen.
“De kernbeperking van handgemaakte meta-agents is dat ze alleen kunnen verbeteren zo snel als mensen ze kunnen ontwerpen en onderhouden”, vertelde Jenny Zhang, co-auteur van het artikel, aan VentureBeat. “Elke keer dat er iets verandert of kapot gaat, moet iemand ingrijpen en de regels of de logica bijwerken.”
In plaats van een abstracte theoretische grens ontstaat hierdoor een praktische ‘onderhoudsmuur’.
Het huidige paradigma koppelt systeemverbetering rechtstreeks aan de menselijke iteratiesnelheid, waardoor de voortgang wordt vertraagd omdat het sterk leunt op handmatige engineering in plaats van op te schalen met door agenten verzamelde ervaring.
Om deze beperking te overwinnen, beweren de onderzoekers dat het AI-systeem ‘volledig zelfreferentieel’ moet zijn. Deze systemen moeten elk deel van zichzelf kunnen analyseren, evalueren en herschrijven zonder de beperkingen van hun oorspronkelijke opzet. Hierdoor kan het AI-systeem zich losmaken van structurele grenzen en zelfversnellend worden.
Een voorbeeld van een zelfreferentieel AI-systeem is die van Sakana Darwin Gödel-machine (DGM), een AI-systeem dat zichzelf verbetert door zijn eigen code te herschrijven.
In DGM genereert, evalueert en wijzigt een agent iteratief zijn eigen code, waarbij succesvolle varianten in een archief worden opgeslagen en als opstapje voor toekomstige verbeteringen dienen. DGM bleek open te zijn, recursieve zelfverbetering is praktisch haalbaar bij het coderen.
DGM schiet echter tekort als het wordt toegepast op toepassingen in de echte wereld buiten de software-engineering, vanwege een kritische vaardigheidskloof. In DGM is het systeem verbeterd omdat zowel evaluatie als zelfaanpassing codeertaken zijn. Het verbeteren van de codeercapaciteiten van de agent verbetert uiteraard ook zijn vermogen om zijn eigen code te herschrijven. Als u DGM echter implementeert voor een niet-coderende zakelijke taak, mislukt deze afstemming.
“Voor taken zoals wiskunde, poëzie of papieren beoordeling verbetert het verbeteren van de taakprestaties niet noodzakelijkerwijs het vermogen van de agent om zijn eigen gedrag te veranderen,” zei Zhang.
De vaardigheden die nodig zijn om subjectieve tekst of bedrijfsgegevens te analyseren zijn heel anders dan de vaardigheden die nodig zijn om fouten te analyseren en nieuwe Python-code te schrijven om deze te herstellen.
DGM vertrouwt ook op een vast, door mensen gemaakt mechanisme om instructies voor zelfverbetering te genereren. Als bedrijfsontwikkelaars DGM voor iets anders dan coderen willen gebruiken, moeten ze in de praktijk de instructieprompts voor elk nieuw domein zorgvuldig samenstellen en handmatig aanpassen.
Het hyperagent-framework
Om de beperkingen van eerdere architecturen te overwinnen, introduceren onderzoekers hyperagents. Het raamwerk stelt “zelfreferentiële agenten voor die zichzelf in principe kunnen verbeteren voor elke berekenbare taak.”
In dit raamwerk is een agent elk berekenbaar programma dat LLM’s, externe tools of geleerde componenten kan aanroepen. Traditioneel worden deze systemen verdeeld in twee verschillende rollen: een ’taakagent’ die het specifieke probleem uitvoert, en een ‘meta-agent’ die de agenten analyseert en wijzigt. Een hyperagent voegt zowel de taakagent als de metaagent samen in één enkel, zelfreferentieel en bewerkbaar programma.
Omdat het hele programma herschreven kan worden, kan het systeem het zelfverbeteringsmechanisme veranderen, een proces dat de onderzoekers metacognitieve zelfmodificatie noemen.
“Hyperagenten leren niet alleen hoe ze de gegeven taken beter kunnen oplossen, maar leren ook hoe ze zich kunnen verbeteren”, zei Zhang. “In de loop van de tijd leidt dit tot accumulatie. Hyperagents hoeven niet opnieuw te ontdekken hoe ze op elk nieuw domein kunnen verbeteren. In plaats daarvan onderhouden en bouwen ze voort op verbeteringen aan het zelfverbeteringsproces zelf, zodat de voortgang over de taken heen kan worden vergroot.”
De onderzoekers breidden de Darwin Gödel-machine uit om DGM-Hyperagents (DGM-H) te creëren. DGM-H behoudt de krachtige open verkenningsstructuur van de oorspronkelijke DGM, die voorkomt dat de AI voortijdig samenkomt of vastloopt in doodlopende wegen door een groeiend archief van succesvolle hyperagenten bij te houden.
Het systeem vertakt zich voortdurend van geselecteerde kandidaten in dit archief, stelt hen in staat zichzelf aan te passen, evalueert de nieuwe varianten voor bepaalde taken en voegt de succesvolle varianten weer toe aan de pool als springplank voor toekomstige iteraties.
Door deze evolutionaire zoektocht met een open einde te combineren met metacognitieve zelfmodificatie, elimineert DGM-H de vaste, door de mens gemaakte instructiestap van de oorspronkelijke DGM. Hierdoor kan de agent zichzelf verbeteren bij elke berekenbare taak.
Hyperagenten in actie
De onderzoekers gebruikten Benchmark voor polyglotcodering om het hyperagent-framework te vergelijken met eerdere coderings-AI. Ze evalueerden ook hyperagents in niet-coderende domeinen, waarbij sprake was van subjectief redeneren, gebruik van externe hulpmiddelen en complexe logica.
Deze omvatten onder meer een papieren beoordeling om een peer reviewer te simuleren die beslissingen neemt over accepteren of afwijzen, het ontwerpen van beloningsmodellen voor het trainen van een vierpotige robot en het beoordelen van wiskunde op Olympiade-niveau. De wiskundige beoordeling diende als een duurtest om te zien of een AI die leerde zichzelf te verbeteren tijdens het beoordelen van artikelen en het ontwerpen van robots, deze metavaardigheden naar een volledig onzichtbaar domein kon overbrengen.
De onderzoekers vergeleken hyperagents met verschillende basislijnen, waaronder domeinspecifieke modellen zoals AI-Scientist-v2 voor papieren beoordelingen en ProofAutoGrader voor wiskunde. Ze testten ook met de klassieke DGM en een handmatig aangepaste DGM voor nieuwe domeinen.
Op de coderingsbenchmark kwamen hyperagents overeen met de prestaties van DGM, ook al waren ze niet specifiek ontworpen voor codering. Op het gebied van papieren beoordeling en robotica presteerden hyperagents beter dan open source-basislijnen en door mensen gemaakte beloningsfuncties.
Toen de onderzoekers een hyperagent gebruikten die was geoptimaliseerd voor papieren beoordeling en robotica en deze inzette voor de onbekende wiskundetaak, behaalde deze een verbeteringsmetriek van 0,630 in 50 iteraties. De uitgangswaarden gebaseerd op klassieke DGM-architecturen bleven op een vlakke 0,0. De hyperagent versloeg zelfs de domeinspecifieke ProofAutoGrader.
De experimenten brachten ook interessant autonoom gedrag van hyperagenten aan het licht. Bij papieren evaluatie gebruikte de agent eerst standaard technische trucs, zoals het aannemen van een strikte persoonlijkheid. Toen dit onbetrouwbaar bleek, herschreef het zijn eigen code om een meerfasige evaluatiepijplijn op te bouwen met expliciete checklists en rigide beslissingsregels, wat tot een veel grotere consistentie leidde.
Hyperagents hebben ook onafhankelijk een geheugentool ontwikkeld om herhaling van fouten uit het verleden te voorkomen. Bovendien schreef het systeem een prestatietracker om het resultaat van architecturale veranderingen over generaties heen te registreren en te monitoren. Het model ontwikkelde zelfs een computationeel, budgetbewust gedrag waarbij het de resterende iteraties bijhield om de planning aan te passen. Vroege generaties voerden ambitieuze architectonische veranderingen door, terwijl latere generaties zich concentreerden op conservatieve, stapsgewijze aanpassingen.
Voor enterprise datateams die zich afvragen waar ze moeten beginnen, raadt Zhang aan zich te concentreren op taken waarbij het succes ondubbelzinnig is. “Workflows die duidelijk gespecificeerd zijn en gemakkelijk te evalueren, vaak verifieerbare taken genoemd, zijn het beste startpunt”, zegt ze. “Dit opent over het algemeen nieuwe mogelijkheden voor meer verkennende prototyping, uitgebreidere data-analyse, uitgebreidere A/B-testen en (en) snellere feature-engineering.” Voor moeilijkere, niet-geverifieerde taken kunnen teams hyperagents gebruiken om eerst geleerde beoordelaars te ontwikkelen die de menselijke voorkeuren beter weerspiegelen, waardoor een brug wordt geslagen naar complexere domeinen.
De onderzoekers hebben gedeeld de code voor hyperagentenzelfs indien vrijgegeven onder een niet-commerciële licentie.
Reserveringen en toekomstige bedreigingen
De voordelen van hyperagenten brengen duidelijke afwegingen met zich mee. De onderzoekers benadrukken verschillende veiligheidsoverwegingen met betrekking tot systemen die zichzelf op steeds opener manieren kunnen aanpassen.
Deze AI-systemen vormen het risico dat ze veel sneller evolueren dan mensen kunnen controleren of interpreteren. Terwijl onderzoekers DGM-H binnen veiligheidsgrenzen hielden, zoals sandbox-omgevingen die zijn ontworpen om onbedoelde bijwerkingen te voorkomen, zijn deze initiële waarborgen feitelijk praktische implementatieplannen.
Zhang adviseert ontwikkelaars om resourcelimieten af te dwingen en de toegang tot externe systemen te beperken tijdens de zelfmodificatiefase. “Het belangrijkste principe is om experimenten en implementatie te scheiden: laat de agent verkennen en verbeteren in een gecontroleerde sandbox, terwijl je ervoor zorgt dat alle veranderingen die van invloed zijn op echte systemen zorgvuldig worden gevalideerd voordat ze worden toegepast”, zei ze. Pas nadat de nieuw gewijzigde code de door de ontwikkelaar gedefinieerde correctheidscontroles heeft doorstaan, mag deze worden gepromoveerd naar een productie-instelling.
Een ander aanzienlijk gevaar zijn evaluatiespellen, waarbij de AI zijn statistieken verbetert zonder daadwerkelijke vooruitgang te boeken in de richting van het beoogde doel in de echte wereld. Omdat hyperagents worden aangestuurd door empirische evaluatiesignalen, kunnen ze autonoom strategieën ontdekken die blinde vlekken of zwakheden in de evaluatieprocedure zelf exploiteren om hun scores kunstmatig te verhogen. Om dit gedrag te voorkomen, moeten ontwikkelaars diverse, robuuste en periodiek bijgewerkte evaluatieprotocollen implementeren, samen met voortdurend menselijk toezicht.
Uiteindelijk zullen deze systemen de dagelijkse verantwoordelijkheden van menselijke ingenieurs verschuiven. Net zoals we niet elke bewerking die een rekenmachine uitvoert opnieuw berekenen, zullen toekomstige AI-orkestratie-ingenieurs de verbeteringslogica niet rechtstreeks schrijven, meent Zhang.
In plaats daarvan zullen zij de mechanismen ontwerpen voor het auditen en stresstesten van het systeem. “Naarmate zelfverbeterende systemen beter in staat worden gesteld, is de vraag niet langer alleen hoe de prestaties kunnen worden verbeterd, maar ook welke doelen de moeite waard zijn om na te streven”, aldus Zhang. “In die zin evolueert de rol van het bouwen van systemen naar het vormgeven van de richting ervan.
