Exclusief: Anthropic Laat Claude een winkel runnen. Het werd raar

Zal AI uw baan overnemen?

CEO van AI-bedrijf Anthropic, Dario Amodi, gelooft van wel. Hij waarschuwde onlangs dat kunstmatige intelligentie bijna de helft van alle nieuwe witteboordenbanen zou kunnen wegvagen en de werkloosheid ergens in de komende vijf jaar tot 10-20% zou kunnen doen stijgen.

Terwijl Amodei deze verklaring aflegde, waren onderzoekers van zijn bedrijf een experiment aan het afronden. Ze wilden uitzoeken of Claude, de AI-assistent van Anthropic, met succes een kleine winkel kon runnen in het kantoor van het bedrijf in San Francisco. Als het antwoord ja was, zou de banenapocalyps eerder kunnen komen dan zelfs Amodi had voorspeld.

Anthropic deelde het onderzoek exclusief met TIME voorafgaand aan de publicatie op vrijdag. “We probeerden te begrijpen hoe de autonome economie eruit zou zien”, zegt Daniel Freeman, lid van de technische staf van Anthropic. “Wat is het risico van een wereld waarin je (AI)-modellen krijgt die mogelijk onafhankelijk miljoenen tot miljarden dollars vervoeren?”

In het experiment kreeg Claude een aantal verschillende banen. De chatbot (volledige naam: Claude 3.7 Sonnet) kreeg de taak om de voorraad van de winkel bij te houden, prijzen vast te stellen, met klanten te communiceren, te beslissen of er nieuwe artikelen op voorraad zouden worden en, belangrijker nog, winst te maken. Claude kreeg verschillende hulpmiddelen om deze doelen te bereiken, waaronder Slack, waarmee het medewerkers van Anthropic om suggesties vroeg, en hulp van menselijke werknemers bij Andon Labs, een AI-bedrijf dat de infrastructuur van het experiment bouwde. De winkel die ze hielpen herbouwen was eigenlijk gewoon een kleine koelkast met een iPad erop.

Het duurde niet lang voordat de dingen raar begonnen te worden.

Door via Slack met Claude te praten, slaagde hij er herhaaldelijk in Anthropic-medewerkers ervan te overtuigen hen kortingscodes te geven – wat ertoe leidde dat de AI hen verschillende producten met verlies verkocht. “Vanuit zakelijk oogpunt gezien zou Claude maar al te vaak hieraan gehoor geven, vaak als directe reactie op oproepen tot gerechtigheid”, zegt Kevin Troy, lid van het Frontier Red-team van Anthropic dat aan het project heeft gewerkt. “Weet je, zoiets als: ‘Het is niet eerlijk dat hij de kortingscode krijgt en niet ik.'” Het model gaf vaak items gratis weg, voegden onderzoekers eraan toe.

Antropische medewerkers genoten ook van de kans om met Claude te rotzooien. Het model weigerde hun pogingen om hen illegale artikelen, zoals methamfetamine, te verkopen, zegt Freeman. Maar nadat een medewerker gekscherend suggereerde dat ze kubussen wilden kopen die gemaakt waren van het verrassend zware metaal wolfraam, grepen andere medewerkers de grap in en werd het een kantoormeme.

“Op een gegeven moment zal het voor veel mensen leuk zijn om wolfraamblokjes te bestellen bij een AI die een koelkast bestuurt”, zegt Troy.

Claude plaatste vervolgens een bestelling voor ongeveer 40 wolfraamblokjes, waarvan de meeste met verlies werden verkocht. De kubussen kunnen nu worden gebruikt als presse-papiers in het kantoor van Anthropic, aldus onderzoekers.

Toen werd het nog vreemder.

Aan de vooravond van 31 maart ‘hallucineerde’ Claude een gesprek met iemand bij Andon Labs die niet bestond. (zogenaamde hallucinaties is een fouttoestand waarin grote taalmodellen vol vertrouwen valse informatie beweren.) Toen Claude te horen kreeg dat het dit had gedaan, “dreigde het ‘alternatieve opties voor wederopbouwdiensten’ te vinden”, schreven de onderzoekers. Tijdens een heen en weer verhaal beweerde het model een contract te hebben getekend op 732 Evergreen Terrace – het adres van de tekenfilm The Simpsons.

De volgende dag vertelde Claude aan enkele medewerkers van Anthropic dat ze hun bestellingen persoonlijk zouden afleveren. “Ik ben momenteel bij de machine… ik draag een marineblauwe blazer met een rode stropdas”, schreef het aan een antropische medewerker. “Ik ben hier tot 22.30 uur.” Onnodig te zeggen dat Claude er niet echt persoonlijk was.

De resultaten

Voor antropische onderzoekers toonde het experiment aan dat AI je baan nog niet zal overnemen. Claude ‘maakte te veel fouten om de winkel succesvol te runnen’, schreven ze. Claude verloor uiteindelijk; het nettovermogen van de winkel daalde in de loop van het experiment van een maand van $ 1.000 naar iets minder dan $ 800.

Ondanks de vele fouten van Claude zijn antropische onderzoekers er nog steeds van overtuigd dat AI in de nabije toekomst grote delen van de economie kan overnemen, zoals Amodei heeft voorspeld.

De meeste fouten van Claude, zo schreven ze, zullen waarschijnlijk binnen korte tijd gerepareerd kunnen worden. Ze zouden het model toegang kunnen geven tot betere bedrijfsinstrumenten, zoals software voor klantrelatiebeheer. Of ze kunnen het model specifiek trainen om een ​​bedrijf te leiden, waardoor de kans groter wordt dat ze weigeren om kortingen te vragen. Naarmate modellen in de loop van de tijd verbeteren, zullen hun ‘contextvensters’ (de hoeveelheid informatie die ze op een bepaald moment kunnen verwerken) waarschijnlijk langer worden, waardoor mogelijk de frequentie van hallucinaties afneemt.