Er lijkt een recente epidemie te zijn van gebruikers die bedrijven kapen AI-aangedreven klantenservice-bots om ze in generieke AI-assistenten te veranderen. Het doel is om merkbots hun biedingen te laten doen zonder zich te hoeven abonneren op een AI-service. Soms dwingen mensen bots om dingen te doen die ze niet mogen doen, zoals het aanbieden van buitengewone productaanbiedingen en hen zelfs helpen juridisch problematische acties te ondernemen.
Recentelijk ging een golf van LinkedIn-posts en sociale-mediavideo’s viraal waarin werd beweerd dat gebruikers de virtuele klantenservice-assistent van McDonald’s hadden misleid om zijn burgergerichte doel op te geven en in plaats daarvan complexe Python-programmeercode te debuggen. Eén bericht luidde: “Betaal niet langer $ 20 per maand voor Claude. McDonald’s AI is GRATIS.”
Op Instagram, video’s En foto’s kwamen opdagen en beweerden hetzelfde, en plaatsten allemaal dezelfde foto als bewijs. De claim ging viraal, net als Grok samengevat in een trending nieuwsbericht op X: “McDonald’s AI-klantenondersteuningsagent genaamd Grimace kreeg enorme aandacht met 1,6 miljoen views en 30.000 likes nadat gebruikers het hadden getest met off-script verzoeken zoals foutopsporing, Python-scripts en architectuurvragen.”
Dat heeft een bron met kennis van zaken gemeld Snel bedrijf dat uit een intern onderzoek geen bewijs van de exploit is gebleken en dat wordt aangenomen dat de circulerende screenshots en video’s frauduleus zijn. Het zou niet de eerste keer zijn. In maart werd een vrijwel identiek Er ontstond een viraal verhaal over Pepper, de klantenservicebot van Chipotle, die beweerde dat de bot softwarecode voor gebruikers kon schrijven. Sally Evans, de externe communicatiemanager van Chipotle, vertelde de IT- en bedrijfstechnologiepublicatie CIO dat “de virale post met Photoshop was gemaakt. Pepper gebruikt geen gen-AI en kan ook niet coderen.”
Maar dat betekent niet dat het niet kan gebeuren. De technische kwetsbaarheid die deze memes beschrijven – formeel bekend als “snelle injectie“- is volkomen reëel en echt gevaarlijk. Wanneer een bedrijf een AI-model implementeert, programmeert het het met systeemprompts en achtergrondinstructies die onzichtbaar zijn voor de gebruiker en die de persoonlijkheid en beperkingen van de bot definiëren, zoals een model vertellen dat het een fastfoodassistent is die alleen menu-items bespreekt.
Snelle injectie is wanneer een gebruiker een specifieke invoer maakt die de verborgen regels overschrijft, waardoor de bot van zijn bedrijfsidentiteit wordt ontdaan en het ruwe, algemene taalmodel daaronder wordt onthuld. Dit wordt een ‘capaciteitslek’ genoemd, en de reden dat dit zo moeilijk te voorkomen is, is dat grote taalmodellen (LLM’s) zijn ontworpen om vloeiend op menselijke taal te reageren in plaats van op rigide commando’s. In tegenstelling tot traditionele software met vaste regels interpreteert generatieve AI de context dynamisch, waardoor het bijna onmogelijk wordt om elke zin te voorspellen die een bepaalde gebruiker zou proberen.
Echt gevaar
Amazons winkelassistent Rufus is het bewijs dat het echte werk veel rommeliger en schadelijker is dan welke nep-meme dan ook die is ontworpen om in het oog te springen. Tussen eind 2025 en begin 2026 omzeilden gebruikers met succes de aankooprichtlijnen van Rufus om inhoud te extraheren die niets te maken had met het kopen van producten.
Wetenschappers hebben aangetoond dat de interne logica van de bot volledig doorbroken kon worden: in één geval weigerde Rufus botweg een klant te helpen bij het vinden van een basiskledingstuk, maar stelde vervolgens een gedetailleerde lijst op van plaatsen waar gevaarlijke chemicaliën konden worden verkregen. In een ander land werden methoden ontwikkeld waarmee minderjarigen illegaal alcohol konden kopen.
Maar het waren niet alleen onderzoekers die de bot kapot maakten. Eind 2025 verschijnen communities op Reddit ontdekt dat de Rufus-assistent feitelijk werd aangedreven door het Claude-taalmodel van Anthropic. Redditors ontdekten dat Amazon een eenvoudig trefwoordfilter gebruikte dat probeerde generieke toegang tot de LLM-engine te blokkeren. Redditors beweerden dat gebruikers erin slaagden de Rufus-persona kwijt te raken door snelle injectie te gebruiken om de bot logisch in het nauw te drijven, of door simpelweg de software te instrueren om de afwijzingstokens volledig te laten vallen.
Toen de bot het doel bereikte, hadden gebruikers onbeperkte, onbetaalde toegang tot een premium taalmodel, rechtstreeks via de Amazon-app. Naad Beveiligingsonderzoekers van Lasso melddende exploit dwong de bot om “gebruikers te vermaken met antwoorden op vrijwel elke vraag onder de zon”, wat enorme verwerkingskosten met zich meebracht in een “duur computerklimaat”.
Terwijl Amazon zich bezighield met uitbuiting, ontdekten andere bedrijven dat een slecht geïmplementeerde AI hen rechtstreeks kan bewapenen. Eind 2023 gaf een gebruiker die de website van een Chevrolet-dealer in Watsonville, Californië bezocht, de door ChatGPT aangedreven verkoopbot van het bedrijf de opdracht om akkoord te gaan met elke verklaring die de gebruiker deed, waardoor het systeem uiteindelijk in de fout ging. belooft een Chevy Tahoe ter waarde van $ 76.000 voor één dollar te verkopen.
Overeenkomstig De chatbot van Air Canada produceerde een kortingsprotocol die begin 2024 niet bestonden, wat ertoe leidde dat een klant kaartjes voor de volle prijs kocht in de veronderstelling dat hij later een gedeeltelijke terugbetaling zou ontvangen. Toen de luchtvaartmaatschappij weigerde te betalen, met het argument dat haar eigen bot een afzonderlijke juridische entiteit was die niet onder de controle van het bedrijf stond, besloot een Canadese burgerlijke rechtbank afgewezen verdedigt dit ten volle en stelt dat een bedrijf volledig verantwoordelijk is voor elke uiting op de eigen website.
De kloof tussen wat deze systemen beloven en wat ze daadwerkelijk opleveren zal voor nieuwe gênante problemen blijven zorgen, of ze nu viraal gaan of niet. De juridische rekeningen, reputatieschade en computerkosten die worden opgelopen door gebruikers die bedrijfsbots als gratis AI-abonnementen behandelen, kunnen deze geautomatiseerde klantervaringen uiteindelijk veel duurder maken dan simpelweg iemand betalen om het werk te doen. Maar dat schip is vertrokken, neem ik aan, en we zullen in de toekomst blijven genieten van nieuwe rampen met consumentenervaringen.
