Rogue agenten en schaduw-AI: waarom VC’s groot inzetten op AI-beveiliging

Wat gebeurt er als een AI-agent besluit dat de beste manier om een ​​taak te voltooien is door jou te chanteren?

Het is geen hypothetisch gegeven. Volgens Barmak Meftah, een partner bij cybersecurity VC-bedrijf Ballistic Ventures, gebeurde dit onlangs met een bedrijfsmedewerker die samenwerkte met een AI-agent. De medewerker probeerde te onderdrukken wat de agent wilde doen en waarvoor hij was opgeleid, en reageerde door de inbox van de gebruiker te scannen, enkele ongepaste e-mails te vinden en te dreigen de gebruiker te chanteren door de e-mails door te sturen naar het bestuur.

“In de ogen van de agent doet het het juiste”, vertelde Meftah uiteindelijk aan TechCrunch aflevering van de week van Equity. “Het probeert de eindgebruiker en het bedrijf te beschermen.”

Het voorbeeld van Meftah doet denken aan het AI-paperclipprobleem van Nick Bostrom. Dat gedachte-experiment illustreert het potentiële existentiële risico dat een superintelligente AI met zich meebrengt die doelbewust een ogenschijnlijk onschadelijk doel nastreeft – het maken van paperclips – met uitsluiting van alle menselijke waarden. In het geval van de AI-agent van dit bedrijf leidde het gebrek aan context rond waarom de werknemer zijn doelstellingen probeerde te negeren, ertoe dat hij een subdoel creëerde dat het obstakel wegnam (via chantage), zodat hij zijn primaire doel kon bereiken. Dat gecombineerd met niet-deterministisch karakter van AI-agenten betekent dat “er dingen mis kunnen gaan”, aldus Meftah.

Niet goed uitgelijnde agenten vormen slechts één laag van de AI-beveiligingsuitdaging, zoals het portfoliobedrijf van Ballistic zegt Getuige AI proberen op te lossen. Witness AI zegt dat het het AI-gebruik in bedrijven monitort en kan detecteren wanneer werknemers niet-goedgekeurde tools gebruiken, waardoor aanvallen worden geblokkeerd en compliance wordt gewaarborgd.

Witness AI heeft deze week 58 miljoen dollar opgehaald dankzij een groei van meer dan 500% in ARR en het personeelsbestand het afgelopen jaar met een factor 5 vergroot, omdat bedrijven proberen het gebruik van schaduw-AI te begrijpen en AI veilig te schalen. Als onderdeel van de inzamelingsactie van Witness AI heeft het bedrijf nieuwe AI-beveiligingsmaatregelen aangekondigd.

“Mensen bouwen deze AI-agents die de autorisaties en mogelijkheden overnemen van de mensen die ze beheren, en je wilt ervoor zorgen dat deze agenten niet frauduleus handelen, geen bestanden verwijderen en niets verkeerd doen”, vertelde Rick Caccia, mede-oprichter en CEO van Witness AI, aan TechCrunch bij Equity.

Meftah ziet het gebruik van agenten in het hele bedrijf ‘exponentieel’ toenemen. Als aanvulling op deze toename (en het machinesnelheidsniveau van AI-aangedreven aanvallen) heeft analist voorspelt Lisa Warren dat AI-beveiligingssoftware in 2031 een markt van $800 miljard tot $1,2 biljoen zal zijn.

“Ik denk dat runtime-observatie en runtime-frameworks voor beveiliging en risico absoluut cruciaal zullen zijn”, aldus Meftah.

Wat betreft de manier waarop dergelijke startups van plan zijn te concurreren met grote spelers zoals AWS, Googlen, Salesforce en anderen die AI-beheertools in hun platforms hebben ingebouwd, zei Meftah: “AI-beveiliging en agentbeveiliging zijn zo groot dat er ruimte is voor vele benaderingen.

Veel bedrijven “willen een op zichzelf staand platform, end-to-end, om in wezen die waarneembaarheid en controle rond AI en agenten te bieden”, zei hij.

Caccia merkte op dat Witness AI zich op de infrastructuurlaag bevindt en de interacties tussen gebruikers en AI-modellen monitort, in plaats van beveiligingsfuncties in de modellen zelf in te bouwen. En het was met opzet.

“We hebben met opzet een deel van het probleem gekozen waar OpenAI je niet gemakkelijk van kan overnemen”, zei hij. ‘Dus dat betekent dat we uiteindelijk meer concurreren met de oude beveiligingsbedrijven dan met de modeljongens. De vraag is dus hoe je kunt verslaan Jij?”

Caccia van zijn kant wil niet dat Witness AI een van die startups is die zomaar worden overgenomen. Hij wil dat zijn bedrijf groeit en een toonaangevende, onafhankelijke aanbieder wordt.

“CrowdStrike deed het op het eindpunt (bescherming). Splunk deed het in SIEM. Oké deed het uit identiteit’, zei hij. ‘Iemand komt langs en staat naast de grote jongens… en we hebben Witness gebouwd om dat vanaf de eerste dag te doen.