João Freitas is GM en VP engineering voor AI en automatisering bij PagerDuty
Nu het gebruik van kunstmatige intelligentie in grote organisaties blijft evolueren, zijn managers steeds meer op zoek naar de volgende ontwikkeling die een groot rendement op de investering zal opleveren. De nieuwste golf van deze aanhoudende trend is de adoptie van AI-agenten. Maar net als bij elke nieuwe technologie moeten organisaties ervoor zorgen dat ze AI-agenten op een verantwoorde manier inzetten, waardoor ze zowel snelheid als veiligheid kunnen faciliteren.
Meer dan de helft van de organisaties heeft al tot op zekere hoogte AI-agenten ingezet, en nog meer organisaties verwachten dat dit voorbeeld de komende twee jaar zal volgen. Maar veel early adopters heroverwegen nu hun aanpak. Vier op de tien technologieleiders hebben er geen spijt van dat ze er een hebben opgericht sterkere managementbasis Dit suggereert dat ze AI snel hebben ingevoerd, maar dat er ruimte is om het beleid, de regelgeving en de beste praktijken te verbeteren die zijn ontworpen om een verantwoorde, ethische en juridische ontwikkeling en gebruik van AI te garanderen.
Naarmate de adoptie van AI versneltorganisaties moeten de juiste balans vinden tussen hun blootstellingsrisico en de implementatie van waarborgen om ervoor te zorgen dat het gebruik van AI veilig is.
Waar creëren AI-agenten potentiële risico’s?
Er zijn drie belangrijke gebieden waarmee rekening moet worden gehouden voor een veiliger adoptie van AI.
De eerste is schaduw AIwanneer werknemers ongeautoriseerde AI-tools gebruiken zonder uitdrukkelijke toestemming, waarbij goedgekeurde tools en processen worden omzeild. IT moet de noodzakelijke processen voor experimenten en innovatie creëren om effectievere manieren te introduceren om met AI te werken. Hoewel schaduw-AI al zo lang bestaat als AI-tools zelf, maakt de autonomie van de AI-agent het gemakkelijker voor niet-goedgekeurde tools om buiten IT te opereren, wat nieuwe veiligheidsrisico’s met zich mee kan brengen.
Ten tweede moeten organisaties de gaten in het eigendom en de aansprakelijkheid van AI dichten om zich voor te bereiden op incidenten of misgelopen processen. De kracht van AI-agenten ligt in hun autonomie. Maar als agenten op onverwachte manieren handelen, moeten teams kunnen bepalen wie verantwoordelijk is voor het oplossen van eventuele problemen.
Het derde risico doet zich voor wanneer er een gebrek is aan verklaringsmogelijkheden voor acties die door AI-agenten worden ondernomen. AI-agenten zijn doelgerichtmaar hoe ze hun doelen bereiken, is misschien onduidelijk. AI-agenten moeten een verklaarbare logica hebben die ten grondslag ligt aan hun acties, zodat ingenieurs acties kunnen volgen en, indien nodig, terugdraaien die problemen met bestaande systemen kunnen veroorzaken.
Hoewel geen van deze risico’s de adoptie mag vertragen, zullen ze organisaties helpen hun veiligheid beter te waarborgen.
De drie richtlijnen voor een verantwoorde adoptie van AI-agenten
Zodra organisaties de risico’s hebben geïdentificeerd die AI-agenten kunnen opleveren, moeten ze richtlijnen en waarborgen implementeren om een veilig gebruik te garanderen. Door deze drie stappen te volgen, kunnen organisaties deze risico’s minimaliseren.
1: Maak menselijk toezicht standaard
Het AI-bureau blijft zich in snel tempo ontwikkelen. Maar we hebben nog steeds menselijk toezicht nodig nu AI-agenten het vermogen krijgen om te handelen, beslissingen te nemen en een doel na te streven dat van invloed kan zijn op belangrijke systemen. Er moet standaard een mens op de hoogte zijn, vooral bij bedrijfskritische gebruiksscenario’s en systemen. De teams die kunstmatige intelligentie gebruiken, moeten begrijpen welke acties ze kunnen ondernemen en waar ze mogelijk moeten ingrijpen. Begin conservatief en vergroot na verloop van tijd de vrijheid van handelen die AI-agenten krijgen.
Samen moeten operationele teams, ingenieurs en beveiligingsprofessionals begrijpen welke rol zij spelen bij het monitoren van de workflows van AI-agenten. Aan elke agent moet een specifieke menselijke eigenaar worden toegewezen voor duidelijk omschreven toezicht en verantwoordelijkheid. Organisaties moeten ook toestaan dat ieder mens het gedrag van een AI-agent markeert of opheft wanneer een actie een negatief resultaat heeft.
Bij het overwegen van taken voor AI-agenten moeten organisaties begrijpen dat hoewel traditionele automatisering goed is in het afhandelen van repetitieve, op regels gebaseerde processen met gestructureerde gegevensinvoer, AI-agenten veel complexere taken kunnen uitvoeren en zich op een meer autonome manier kunnen aanpassen aan nieuwe informatie. Dit maakt ze een aantrekkelijke oplossing voor alle mogelijke taken. Naarmate AI-agents worden ingezet, moeten organisaties echter bepalen welke acties de agenten kunnen ondernemen, vooral in de vroege stadia van een project. Daarom moeten teams die met AI-agenten werken, beschikken over goedkeuringspaden voor acties met een hoge impact om ervoor te zorgen dat de reikwijdte van agenten niet verder reikt dan de verwachte gebruiksscenario’s, waardoor de risico’s voor het bredere systeem worden geminimaliseerd.
2: Terug naar veiligheid
De introductie van nieuwe tools mag een systeem niet blootstellen aan nieuwe veiligheidsrisico’s.
Organisaties moeten agentplatforms overwegen die voldoen aan hoge beveiligingsnormen en gevalideerd zijn door bedrijfscertificeringen zoals SOC2, FedRAMP of gelijkwaardig. Bovendien mogen AI-agenten geen vrije teugel hebben in de systemen van een organisatie. De machtigingen en het beveiligingsbereik van een AI-agent moeten op zijn minst worden geschaald naar het bereik van de eigenaar, en eventuele tools die aan de agent worden toegevoegd, mogen geen uitgebreide machtigingen toestaan. Het beperken van de toegang van AI-agenten tot een systeem op basis van hun rol zal er ook voor zorgen dat de implementatie soepel verloopt. Het bijhouden van volledige logboeken van elke actie die door een AI-agent wordt uitgevoerd, kan ingenieurs ook helpen begrijpen wat er is gebeurd in het geval van een incident en het probleem kunnen traceren.
3: Maak exits verklaarbaar
Het gebruik van AI in een organisatie mag nooit een black box zijn. De redenering achter elke actie moet worden geïllustreerd, zodat elke ingenieur die er toegang toe probeert te krijgen, de context kan begrijpen die de agent heeft gebruikt om beslissingen te nemen en toegang kan krijgen tot de aanwijzingen die tot die acties hebben geleid.
INputs en outputs voor elke actie moeten worden geregistreerd en beschikbaar zijn. Dit zal organisaties helpen een goed beeld te krijgen van de logica achter de acties van een AI-agent, wat aanzienlijke waarde kan opleveren in het geval dat er iets misgaat.
Beveiliging ligt ten grondslag aan het succes van AI-agenten
AI-agents bieden organisaties enorme kansen om hun bestaande processen te versnellen en te verbeteren. Maar als ze geen prioriteit geven aan veiligheid en sterk bestuur, kunnen ze zichzelf blootstellen aan nieuwe risico’s.
Nu AI-agenten steeds gebruikelijker worden, moeten organisaties ervoor zorgen dat ze over systemen beschikken die kunnen meten hoe ze presteren en over het vermogen om te handelen als ze problemen veroorzaken.
Lees meer van onze gastschrijvers. Of overweeg om uw eigen bericht in te dienen! Zie de onze richtlijnen hier.
Welkom bij de VentureBeat-community!
In ons gastpostprogramma delen technische experts inzichten en bieden ze neutrale, onbevooroordeelde diepgaande inzichten in AI, data-infrastructuur, cyberbeveiliging en andere geavanceerde technologieën die de toekomst van het bedrijfsleven vormgeven.
Lees meer uit ons gastpostprogramma – en bekijk ons richtlijnen als u geïnteresseerd bent om uw eigen artikel bij te dragen!
