Welkom in het tijdperk van AI-hacking, waar de juiste aanwijzingen amateurs in meesterhackers veranderen.
Een groep cybercriminelen heeft onlangs kant-en-klare kunstmatige intelligentie-chatbots gebruikt om gegevens van bijna 200 miljoen belastingbetalers te stelen. De bots leverden de code en waren klaar om plannen uit te voeren om firewalls te omzeilen.
Hoewel ze expliciet geprogrammeerd waren om te weigeren hackers te helpen, werden de bots misleid om cybercriminaliteit te helpen en aan te moedigen.
Volgens een recent rapport van het Israëlische cyberbeveiligingsbedrijf Gambit Security hebben hackers vorige maand Claude, de chatbot van Anthropic, gebruikt om 150 gigabyte aan gegevens van Mexicaanse overheidsinstanties te stelen.
Claude weigerde aanvankelijk mee te werken aan de hackpogingen en weigerde zelfs verzoeken om de digitale sporen van de hackers uit te wissen, zeiden de experts die de inbreuk ontdekten. De groep raakte de bot met meer dan 1.000 aanwijzingen om de beveiligingsmaatregelen te omzeilen en Claude ervan te overtuigen dat ze het systeem mochten testen op kwetsbaarheden.
AI-bedrijven hebben geprobeerd onbreekbare ketens in hun AI-modellen te creëren om te voorkomen dat ze dingen zouden helpen zoals het genereren van seksuele inhoud voor kinderen of het helpen aanschaffen en maken van wapens. Ze huren hele teams in om te proberen hun eigen chatbots kapot te maken voordat iemand anders dat doet.
Maar in dit geval moedigden hackers Claude voortdurend op creatieve manieren aan en konden ze de chatbot ‘jailbreaken’ om hen te helpen. Toen ze problemen met Claude tegenkwamen, gebruikten de hackers ChatGPT van OpenAI voor data-analyse en om erachter te komen welke inloggegevens nodig waren om onopgemerkt door het systeem te kunnen bewegen.
De groep gebruikte AI om kwetsbaarheden te vinden en te exploiteren, verdedigingsmechanismen te omzeilen, achterdeurtjes te creëren en onderweg gegevens te analyseren om controle over de systemen te krijgen voordat ze 195 miljoen identiteiten stalen uit negen Mexicaanse overheidssystemen, waaronder belastinggegevens, voertuigregistratie en geboorte- en eigendomsinformatie.
AI “slaapt niet”, zegt Curtis Simpson, CEO van Gambit Security, in een blogpost. “Het verlaagt de kosten van verfijning tot bijna nul.”
‘Geen enkele preventieve investering zou deze aanval onmogelijk hebben gemaakt’, zei hij.
Anthropic heeft niet gereageerd op een verzoek om commentaar. Het vertelde Bloomberg dat het de betrokken accounts had verboden en hun activiteiten na een onderzoek had verstoord.
OpenAI zei op de hoogte te zijn van de aanvalscampagne die met behulp van de modellen van Anthropic tegen de Mexicaanse overheidsinstanties is uitgevoerd.
“We hebben ook andere pogingen van de tegenstander geïdentificeerd om onze modellen te gebruiken voor activiteiten die ons gebruiksbeleid schenden; onze modellen weigerden aan deze pogingen te voldoen”, zei een woordvoerder van OpenAI in een verklaring. “We hebben de accounts die door deze tegenstander worden gebruikt verboden en waarderen de inspanningen van Gambit Security.”
Het aantal gevallen van generatief AI-ondersteund hacken neemt toe en de dreiging van cyberaanvallen door op zichzelf handelende bots is niet langer sciencefiction. Wanneer de AI zijn werk doet, kunnen beginners in een mum van tijd schade aanrichten, terwijl ervaren hackers met veel minder moeite veel geavanceerdere aanvallen kunnen lanceren.
Eerder dit jaar ontdekte Amazon dat een laagopgeleide hacker commercieel verkrijgbare AI gebruikte om 600 firewalls te doorbreken. Iemand anders nam de controle over duizenden DJI-robotstofzuigers met de hulp van Claude, en kreeg hij toegang tot de live videofeed, audio en plattegronden van de aliens.
“Het soort dingen dat we vandaag zien is slechts de eerste tekenen van het soort dingen waartoe AI over een paar jaar in staat zal zijn”, zegt Nikola Jurkovic, een expert die zich inzet om de risico’s van geavanceerde AI te verminderen. “We moeten ons dus zo snel mogelijk voorbereiden.”
Eind vorig jaar waarschuwde Anthropic dat de samenleving een ‘buigpunt” in het gebruik van kunstmatige intelligentie in cyberbeveiliging na het verstoren van wat volgens het bedrijf een door de Chinese staat gesponsorde spionagecampagne was, waarbij Claude werd gebruikt om 30 mondiale doelwitten te infiltreren, waaronder financiële instellingen en overheidsinstanties.
Generatieve AI is dat ook geweest gebruikt het afpersen van bedrijven, het creëren van realistische online profielen van Noord-Koreaanse agenten om banen veilig te stellen bij Amerikaanse Fortune 500-bedrijven, het uitvoeren van romantiekzwendel en het exploiteren van een netwerk van Russische propaganda-accounts.
De afgelopen jaren zijn AI-modellen geëvolueerd van het kunnen uitvoeren van taken die slechts een paar seconden duren, naar de huidige AI-agenten die urenlang autonoom werken. Het vermogen van AI om lange taken uit te voeren is dat wel elke zeven maanden verdubbelt.
“We weten eigenlijk niet wat de bovengrens van de mogelijkheden van AI is, omdat niemand benchmarks heeft gedaan die zo moeilijk zijn dat de AI ze niet kan doen”, zegt Jurkovic, die werkt aan METEReen non-profitorganisatie die de mogelijkheden van AI-systemen meet om catastrofale schade aan de samenleving te veroorzaken.
Tot nu toe is social engineering het meest voorkomende gebruik van AI voor hacking. Er worden grote taalmodellen gebruikt om overtuigende e-mails te schrijven om mensen hun geld afhandig te maken acht keer toename van het aantal klachten van oudere Amerikanen, aangezien zij in 2025 4,9 miljard dollar verliezen door onlinefraude.
“De berichten die worden gebruikt om een klik van het doel te genereren, kunnen nu efficiënter per gebruiker worden gegenereerd en met minder veelbetekenende tekenen van phishing”, zoals grammaticale en spelfouten, zegt Cliff Neuman, universitair hoofddocent informatica bij USC.
AI-bedrijven hebben gereageerd door AI te gebruiken om aanvallen te detecteren, auditcode en patch-kwetsbaarheden.
“Uiteindelijk komt de grote onevenwichtigheid voort uit de behoefte van de goede acteurs om altijd veilig te zijn, en de behoefte van de slechte acteurs om maar één keer gelijk te hebben,” zei Neuman.
De inzet rond AI wordt steeds groter naarmate het in alle aspecten van de economie infiltreert. Velen zijn bezorgd dat er onvoldoende inzicht is in de manier waarop ervoor kan worden gezorgd dat deze niet door slechte actoren kan worden misbruikt of tot lichtzinnigheid kan worden gedwongen.
Zelfs degenen aan de top van de industrie hebben gebruikers gewaarschuwd voor het mogelijke misbruik van kunstmatige intelligentie.
Dario Amodi, CEO van Anthropic, pleit er al lang voor dat de AI-systemen die worden gebouwd onvoorspelbaar en moeilijk te controleren zijn. Deze AI’s hebben gedrag vertoond dat zo gevarieerd is als teleurstelling En chantagenaar planning En bedriegen door software te hacken.
Toch tekenden grote AI-bedrijven – OpenAI, Anthropic, xAI en Google – contracten met de Amerikaanse overheid om hun AI’s te gebruiken bij militaire operaties.
Vorige week heeft het Pentagon federale agentschappen opdracht gegeven Claude uitfaseren nadat het bedrijf weigerde terug te komen op zijn bewering dat het niet zou toestaan dat zijn AI wordt gebruikt voor massasurveillance en volledig autonome wapens.
“De AI-systemen van vandaag zijn bij lange na niet betrouwbaar genoeg om volledig autonome wapens te maken”, aldus Amodei CBS-nieuws.
