In een nieuwe rapportAI-bedrijf Anthropic heeft een “zeer geavanceerde spionagecampagne” beschreven waarmee deze werd geïmplementeerd kunstmatige intelligentie tools om geautomatiseerde cyberaanvallen over de hele wereld te lanceren.
De aanvallers mikten hoog en richtten zich op overheidsinstanties, Big Tech-bedrijven, banken en chemische bedrijven, en slaagden er in “een klein aantal gevallen” in, aldus Anthropic. Het bedrijf zegt dat zijn onderzoek de hackoperatie in verband brengt met de Chinese overheid.
Het bedrijf beweert dat de bevindingen een keerpunt vormen voor de industrie en het eerste geval markeren van een cyberspionageplan uitgevoerd door AI. “Wij geloven dat dit het eerste gedocumenteerde geval is van een grootschalige cyberaanval die zonder noemenswaardige menselijke tussenkomst wordt uitgevoerd”, schreef Anthropic in een blogpost. Snel bedrijf heeft contact opgenomen met de Chinese ambassade in DC voor commentaar op het rapport.
Anthropic zegt dat het medio september voor het eerst het verdachte gebruik van zijn producten heeft ontdekt en een onderzoek heeft uitgevoerd om de omvang van de operatie bloot te leggen. De aanvallen waren niet volledig autonoom – er waren mensen bij betrokken om ze te veroorzaken – maar ze manipuleerden Anthropic’s Claude Code-tooleen versie van de AI-assistent die is ontworpen voor ontwikkelaars om complexe delen van de campagne uit te voeren.
Laat Claude een misdaad begaan
Om de ingebouwde beveiligingen van Claude te omzeilen, probeerden de hackers het AI-model te ‘jailbreaken’, waarbij ze het feitelijk misleidden om kleinere, goedaardige taken uit te voeren zonder de bredere context van hun applicatie. De aanvallers vertelden de AI-tool ook dat ze in een defensieve hoedanigheid werkten voor een legitiem cyberbedrijf om het model ervan te overtuigen zijn verdediging te falen.
Nadat ze Claude naar hun hand hadden gezet, zetten de aanvallers de AI-assistent aan het werk om zijn doelen te analyseren, hoogwaardige databases te identificeren en code te schrijven om de zwakke punten die hij in de systemen en infrastructuur van hun doelen had gevonden, te misbruiken.
“Het raamwerk kon Claude gebruiken om inloggegevens (gebruikersnamen en wachtwoorden) te verzamelen die verdere toegang mogelijk maakten, en vervolgens een grote hoeveelheid privégegevens extraheren, die het categoriseerde op basis van de intelligentiewaarde”, schreef Anthropic. “De accounts met de hoogste privileges werden geïdentificeerd, er werden achterdeurtjes gecreëerd en gegevens werden geëxfiltreerd met minimaal menselijk toezicht.”
In de laatste fase gaven de aanvallers Claude de opdracht om hun acties te documenteren door bestanden te produceren met inbegrip van gestolen inloggegevens en de geanalyseerde systemen waarop ze konden voortbouwen bij toekomstige aanvallen. Het bedrijf schat dat minstens 80% van de operatie autonoom werd uitgevoerd, zonder dat een mens daar leiding aan gaf.
Anthropic merkte in zijn rapport op dat de AI, net als bij minder kwaadaardige taken, fouten genereerde tijdens de cyberaanval, valse claims maakte om geheime informatie te verzamelen en zelfs enkele van de logins die het produceerde, hallucineerde. Zelfs met enkele gebreken, één agent AI Dat klopt, het kan zichzelf meestal op veel doelen richten, snel exploits creëren en uitvoeren, en daarbij veel schade aanrichten.
AI in de aanval
Het nieuwe rapport van Anthropic is niet de eerste keer dat een AI-bedrijf dit doet ontdekte dat zijn instrumenten werden misbruikt in uitgebreide hackprogramma’s. Het is niet eens een primeur voor Anthropic.
In augustus maakte het bedrijf een handvol cybercriminaliteitsplannen bekend met behulp van de Claude AI-tools, waaronder nieuwe ontwikkelingen in een langlopende werkgelegenheidszwendel om Noord-Koreaanse operators werkzaam in externe functies bij Amerikaanse technologiebedrijven.
Bij een ander recent cybercriminaliteitsincident benaderde een nu verboden gebruiker de Claude-assistent van Anthropic om ransomwarepakketten online te maken en aan andere cybercriminelen te verkopen voor maximaal $ 1.200 per stuk.
“De groei van door AI ondersteunde fraude en cybercriminaliteit baart ons bijzondere zorgen, en we zijn van plan prioriteit te geven aan verder onderzoek op dit gebied”, aldus Anthropic. rapport.
De nieuwe aanval valt op door zowel de banden met China als het gebruik van ‘agentische’ AI – kunstmatige intelligentie die zelfstandig complexe taken kan uitvoeren zodra deze in gang is gezet. Het vermogen om van begin tot eind te werken met minder toezicht betekent dat deze tools meer op mensen lijken: ze streven een doel na en voltooien kleinere stappen om daar in het proces te komen. De aantrekkingskracht van een autonoom systeem dat gedetailleerde analyses kan uitvoeren en zelfs code op grote schaal kan schrijven, heeft een duidelijke aantrekkingskracht in de wereld van cybercriminaliteit.
“Er heeft zich een fundamentele verandering voorgedaan in de cyberveiligheid”, schreef Anthropic in zijn rapport. “De hierboven beschreven technieken zullen ongetwijfeld door veel meer aanvallers worden gebruikt, waardoor het delen van bedreigingen, verbeterde detectiemethoden en strengere beveiligingscontroles door de industrie nog belangrijker worden.”
Deadline van Fast Company Wereldveranderende ideeënprijzen is vrijdag 14 november om 23:59 uur PT. Solliciteer vandaag nog.
