Ontgrendel Editor’s Digest gratis
Roula Khalaf, redacteur van de FT, kiest haar favoriete verhalen in deze wekelijkse nieuwsbrief.
De auteur is hoogleraar digitale ethiek en defensietechnologieën aan het Oxford Internet Institute en lid van het ethische adviespanel voor AI van het Ministerie van Defensie.
Deze maand publiceerde kunstmatige intelligentie start-up Anthropic een rapport dat een keerpunt markeerde in de cyberveiligheid. Voor het eerst werd een grotendeels autonome cyberaanval uitgevoerd door een AI-systeem. De operatie, die afgelopen september plaatsvond, werd toegeschreven aan GTG-1002, een hackgroep die banden heeft met de Chinese overheid.
De details van de aanval verdienen bijzondere aandacht. Anthropic zegt dat hackers hun agent Claude Code hebben gebruikt om bijna de hele aanvalscyclus te automatiseren. Desgevraagd identificeerde en exploiteerde AI kwetsbaarheden in waardevolle doelwitten, van grote technologiebedrijven tot overheidsinstanties.
Volgens Anthropic voerde de AI 80 tot 90 procent van de noodzakelijke handelingen zelf uit: verkenning, scannen van kwetsbaarheden, exploitatie, verzamelen van inloggegevens, data-analyse en exfiltratie. Na begeleiding op hoog niveau te hebben ontvangen, rangschikte het andere kunstmatige agenten die met snelheden en op een schaal werkten die geen enkel menselijk team kon evenaren. Menselijke operators stonden tot 30 minuten aan het roer. Zij behandelden de strategie; De AI voerde de tactiek uit.
Het rapport is nog niet onafhankelijk geverifieerd. Toch heeft het al een gevoelige snaar geraakt in de cyberbeveiligingssector en bij degenen die zich bezighouden met AI-governance.
Eén reden hiervoor is dat het aantoont dat aanvallen op AI-systemen inherent manipulatief zijn: hun doel is om het gedrag van het systeem te veranderen in plaats van het simpelweg te ontwrichten. Disruptieve cyberaanvallen vormen nu al een bedreiging. Lezers herinneren zich wellicht de cyberaanvallen uit 2007 die Estland lamlegden, of de inbreuk op het Amerikaanse Office of Personnel Management in 2015, waarbij gegevens over 21,5 miljoen werknemers openbaar werden gemaakt. van federale werknemers en contractanten, waaronder meer dan 5,6 miljoen vingerafdrukregistraties. Het aanvallen van de AI gaat nog een stap verder.
Vanuit veiligheidsoogpunt zijn AI-systemen kwetsbaar. Het pushen van hun gedrag vergt misschien niets meer dan een sluwe aansporing of aanpassingen aan een klein stukje trainingsgegevens. In het geval van Anthropic was het systeem gericht op spionage. Maar stel je bijvoorbeeld eens de schade voor die kan worden veroorzaakt door het manipuleren van een AI-model dat wordt gebruikt voor beeldherkenning in slagvelddoelen.
De dreiging strekt zich uit van veiligheid tot stabiliteit. Het moment waarop AI-systemen direct op elkaar reageren, waardoor het schrikbeeld van snelle, ongecontroleerde escalatie ontstaat, dreigt. Een glimp hiervan kwam in 2016 tijdens Darpa’s Cyber Grand Challenge. Zeven autonome systemen vochten een oorlogsspel, waarbij ze elkaars kwetsbaarheden ontdekten, aanvallen lanceerden en zichzelf in realtime patchten. De automatisering van de dynamiek tussen aanvaller en verdediging is een al lang bestaande angst onder cyberdefensiespecialisten. Het risico bestaat dat het menselijk toezicht verloren gaat naarmate het tempo van de operaties toeneemt.
Het probleem beperkt zich niet tot de controle. Cyberaanvallen dienen steeds vaker geopolitieke doeleinden. Het is onwaarschijnlijk dat deze trend zal keren: verschillende NAVO-leden, waaronder de VS, het VK en Italië, opereren nu met offensieve cybereenheden. Nu AI een instrument van staatsmanschap wordt, voegen agentische cyberaanvallen nieuwe instabiliteit toe aan een toch al kwetsbaar evenwicht.
Dit risico strekt zich ook uit tot individuele burgers. De cyberspace-dynamiek geeft de voorkeur aan aanval boven verdediging. Agentaanvallen verdiepen deze asymmetrie door de menselijke, financiële en technische kosten van het plegen van een inbraak te verminderen. Als reactie hierop gebruiken verdedigers AI om systemen te versterken en de infrastructuur (en in toenemende mate het gedrag van gebruikers) te monitoren voor het detecteren van bedreigingen.
Het is nu relatief gebruikelijk dat AI-systemen netwerken monitoren door afwijkingen van het ‘normale’ gedrag van werknemers en systemen te signaleren en in sommige gevallen apparaten te isoleren terwijl ze alarm slaan. Om dit te doen, beoordelen ze bestanden, e-mails, eindpuntactiviteit en verkeerspatronen tussen systemen.
Sommige bedrijven gaan nog verder en gebruiken gedragsbiometrie om gebruikers te authenticeren aan de hand van de verschillende manieren waarop ze een muis typen of besturen. Anderen verzamelen sensormetingen en interacties tussen mensen en apparaten. Elke druk, elke beweging of kanteling wordt gebruikt om steeds fijnere profielen te bouwen. Wat begint als detectie van afwijkingen dreigt te eindigen als surveillance.
Cybersecurity is geen race met een eindstreep. We winnen nooit voor altijd, we behouden alleen doelpunten. Het risico is dat pogingen om het evenwicht tegen criminelen te herstellen, verdedigers van surveillance naar massasurveillance zullen duwen. In die zin zal agent AI niet alleen het cyberbeveiligingslandschap hervormen; het zal de prijs herdefiniëren die we bereid zijn te betalen bij het nastreven van veiligheid in liberale democratieën.
