Een nieuwe studie van Google suggereert dat geavanceerde redeneermodellen hoge prestaties leveren door multi-agent-achtige debatten te simuleren waarbij verschillende perspectieven, persoonlijkheidskenmerken en domeinexpertise betrokken zijn.
Uit hun experimenten blijkt dat dit interne debat, dat zij ‘gemeenschap van gedachten,” verbetert de prestaties van het model bij complexe redeneer- en planningstaken aanzienlijk. De onderzoekers ontdekten dat toonaangevende redeneermodellen zoals DeepSeek-R1 en QwQ-32B, getraind met behulp van versterkend leren (RL), ontwikkel inherent dit vermogen om deel te nemen aan gesprekken in een gemeenschap van gedachten zonder expliciete instructies.
Deze bevindingen bieden een routekaart voor hoe ontwikkelaars robuustere LLM-applicaties kunnen bouwen en hoe bedrijven superieure modellen kunnen trainen met behulp van hun eigen interne gegevens.
Wat is een denkgemeenschap?
Het uitgangspunt van de gedachtegemeenschap is dat redeneermodellen leren sociale dialogen met meerdere actoren na te bootsen om hun logica te verfijnen. Deze hypothese is gebaseerd op de cognitieve wetenschap, met name op het idee dat de menselijke rede in de eerste plaats is geëvolueerd als een sociaal proces voor het oplossen van problemen door middel van argumentatie en betrokkenheid bij diverse standpunten.
De onderzoekers schrijven dat “cognitieve diversiteit, die voortkomt uit variatie in expertise en persoonlijkheidskenmerken, het oplossen van problemen verbetert, vooral wanneer deze gepaard gaat met authentieke afwijkende meningen.” Dienovereenkomstig suggereren ze dat het integreren van verschillende perspectieven LLM’s in staat stelt robuuste redeneerstrategieën te ontwikkelen. Door gesprekken tussen verschillende interne persona’s te simuleren, kunnen modellen essentiële controles uitvoeren (zoals verificatie en backtracking) waarmee veelvoorkomende valkuilen zoals ongewenste vooroordelen en sycofantie worden vermeden.
In modellen als de DeepSeek-R1 manifesteert deze ‘gemeenschap’ zich direct in de gedachteketen. De onderzoekers merken op dat je geen aparte modellen of aanwijzingen nodig hebt om deze interactie te forceren; het debat ontstaat onafhankelijk binnen het redeneerproces in één enkele modelinstantie.
Voorbeelden van denktanks
Het onderzoek geeft tastbare voorbeelden van hoe deze interne wrijving tot betere resultaten leidt. In een experiment met een complex organisch-chemisch syntheseprobleem, DeepSeek-R1 simuleerde een debat tussen verschillende interne perspectieven, waaronder een ‘Planner’ en een ‘Critical Verifier’.
De planner stelde aanvankelijk een standaardreactiepad voor. De kritische verificateur (gekenmerkt door een hoge consciëntieusheid en een lage mate van vriendelijkheid) onderbrak hem echter om de veronderstelling in twijfel te trekken en kwam met een tegenargument met nieuwe feiten. Door deze tegengestelde controle ontdekte het model de fout, verzoende het de tegenstrijdige opvattingen en corrigeerde het het pad van de synthese.
Een soortgelijke dynamiek deed zich voor bij creatieve taken. Toen hem werd gevraagd de zin ‘Ik gooide mijn haat in het brandende vuur’ te parafraseren, simuleerde het model een onderhandeling tussen een ‘Creatieve Ideator’ en een ‘Semantic Fidelity Checker’. Nadat de ideeënmaker een versie had voorgesteld waarin het woord ‘diepgeworteld’ werd gebruikt, antwoordde de controleur: ‘Maar er wordt ‘diepgeworteld’ aan toegevoegd, wat niet in het origineel stond. We moeten vermijden dat we nieuwe ideeën toevoegen.’ Het model kwam uiteindelijk tot een compromis dat de oorspronkelijke betekenis behield en tegelijkertijd de stijl verbeterde.
Misschien wel de meest opvallende ontwikkeling vond plaats in de ‘Countdown Game’, een wiskundepuzzel waarbij het model specifieke getallen moet gebruiken om een doelwaarde te bereiken. Al vroeg in de training probeerde het model het probleem op te lossen met behulp van een monoloogbenadering. Zoals het via RL leerde, splitste het zich spontaan op in twee verschillende persona’s: een ‘methodische probleemoplosser’ die berekeningen uitvoert en een ‘onderzoekende denker’ die de voortgang bewaakt, die mislukte paden afbreekt met opmerkingen als ‘Weer geen geluk… Misschien kunnen we proberen negatieve getallen te gebruiken’, wat de methodische oplosser ertoe aanzet om van strategie te wisselen.
Deze resultaten betwisten de veronderstelling dat langere gedachteketens automatisch resulteren in een hogere nauwkeurigheid. In plaats daarvan zorgen verschillende gedragingen, zoals het door verschillende lenzen bekijken van antwoorden, het verifiëren van eerdere aannames, het teruggaan en het verkennen van alternatieven, voor verbeteringen in de redenering. De onderzoekers versterkten dit door de activeringsruimte van een model kunstmatig te manipuleren om gespreksverrassing teweeg te brengen; deze interventie activeerde een breder scala aan persoonlijkheids- en expertisegerelateerde kenmerken, waardoor de nauwkeurigheid bij complexe taken werd verdubbeld.
De implicatie is dat sociaal redeneren autonoom plaatsvindt via RL als een functie van de drang van het model om correcte antwoorden te produceren, in plaats van via expliciete menselijke monitoring. In feite presteerden trainingsmodellen voor monologen slechter dan ruwe RL die op natuurlijke wijze gesprekken met meerdere agenten ontwikkelden. Omgekeerd presteert begeleide finetuning (SFT) op het gebied van gesprekken en debat met meerdere partijen presteerde significant beter dan SFT op het gebied van standaard gedachteketens.
Implicaties voor zakelijke AI
Voor ontwikkelaars en zakelijke besluitvormers bieden deze inzichten praktische richtlijnen voor het bouwen van krachtigere AI-toepassingen.
Snelle engineering voor ‘conflict’
Ontwikkelaars kunnen de redenering in modellen voor algemene doeleinden verbeteren door hen expliciet aan te moedigen een denkgemeenschapsstructuur aan te nemen. Het is echter niet voldoende om het model simpelweg te vragen om met zichzelf te chatten.
“Het is niet genoeg om ‘een debat te voeren’, maar om verschillende standpunten en disposities te hebben die het debat onvermijdelijk maken en dat debat de mogelijkheid bieden om alternatieven te verkennen en onderscheid te maken tussen alternatieven,” vertelde James Evans, co-auteur van het artikel, aan VentureBeat.
In plaats van generieke rollen zouden ontwikkelaars aanwijzingen moeten ontwerpen die tegengestelde disposities toekennen (bijvoorbeeld een risicomijdende compliance officer versus een op groei gerichte productmanager) om het model te dwingen onderscheid te maken tussen alternatieven. Zelfs eenvoudige aanwijzingen die het model ertoe aanzetten ‘verrassing’ uit te drukken, kunnen deze superieure redeneringen in gang zetten.
Ontwerp voor sociale schaalvergroting
Terwijl ontwikkelaars testtijdcomputing opschalen om modellen langer te laten ‘denken’, moeten ze deze tijd structureren als een sociaal proces. Toepassingen moeten een ‘gemeenschaps’-proces faciliteren waarbij het model voornaamwoorden als ‘wij’ gebruikt, zichzelf vragen stelt en expliciet alternatieven bespreekt voordat het tot een antwoord komt.
Deze aanpak kan ook worden uitgebreid naar multi-agentsystemen, waarbij verschillende persoonlijkheden die aan verschillende agenten zijn toegewezen, een kritisch debat aangaan om tot betere beslissingen te komen.
Stop met het opschonen van je trainingsgegevens
Misschien wel de belangrijkste implicatie ligt in de manier waarop bedrijven hun eigen modellen trainen of verfijnen. Traditioneel scrubben datateams hun datasets om ‘gouden antwoorden’ te creëren die perfecte, lineaire paden naar een oplossing bieden. Uit het onderzoek blijkt dat dit een vergissing kan zijn.
Modellen die zijn afgestemd op gespreksgegevens (bijvoorbeeld transcripties van debatten en oplossingen met meerdere agenten) verbeteren het redeneren aanzienlijk sneller dan modellen die zijn getraind op pure monologen. Er zit zelfs waarde in debatten die niet tot het juiste antwoord leiden.
“We trainden op conversatiesteigers die tot het verkeerde antwoord leidden, versterkten vervolgens het model en ontdekten dat het net zo goed werkte als het versterken van het juiste antwoord, wat suggereert dat de gespreksgewoonten van het verkennen van oplossingen het belangrijkst waren voor nieuwe problemen”, zei Evans.
Dit impliceert dat bedrijven moeten stoppen met het weggooien van “rommelige” technische logs of Slack-threads waarin problemen iteratief werden opgelost. ‘Rommeligheid’ is waar het model de gewoonte leert om te verkennen.
Onthult de ‘black box’ van vertrouwen en audit
Voor bedrijven met veel moeite is het niet genoeg om een antwoord te krijgen. Evans stelt dat gebruikers de interne onenigheid moeten zien om de output te kunnen vertrouwen, wat duidt op een verschuiving in het ontwerp van de gebruikersinterface.
“We hebben een nieuwe interface nodig die systematisch interne debatten aan ons blootlegt, zodat we ‘deelnemen’ aan het kalibreren van de juiste reactie,” zei Evans. “Wij doen het beter met debat; AI’s doen het beter met debat; en we doen het beter als we worden blootgesteld aan het debat van AI.”
Het strategische argument voor open gewichten
Deze resultaten bieden een nieuw argument in het ‘build vs. buy’-debat over open-weight-modellen versus propriëtaire API’s. Veel propriëtaire redeneermodellen verbergen hun gedachtegang en beschouwen het interne debat als een bedrijfsgeheim of veiligheidsaansprakelijkheid.
Maar Evans stelt dat “niemand eerder echt een reden heeft aangedragen om deze denkgemeenschap aan het licht te brengen”, maar dat de waarde van het controleren van deze interne conflicten onmiskenbaar aan het worden is. Totdat propriëtaire aanbieders volledige transparantie bieden, kunnen bedrijven in sectoren met hoge nalevingswetgeving ontdekken dat open modellen een duidelijk voordeel bieden: het vermogen om afwijkende meningen te zien, en niet alleen de beslissing.
“Ik denk dat grote, propriëtaire modellen de informatie zullen gaan exploiteren (en licentiëren) wanneer ze zich realiseren dat er waarde in zit,” zei Evans.
Het onderzoek suggereert dat de taak van een AI-architect verschuift van pure modeltraining naar iets dat dichter bij de organisatiepsychologie ligt.
“Ik denk dat dit een geheel nieuwe grens opent voor het ontwerp van kleine groepen en organisaties binnen en tussen modellen die waarschijnlijk nieuwe prestatieklassen mogelijk zullen maken”, aldus Evans. “Mijn team werkt hieraan en ik hoop dat anderen dat ook doen.”
