Kunstmatige intelligentie wordt steeds vaker gebruikt om besluitvorming met hoge inzet te helpen optimaliseren. Een autonoom systeem kan bijvoorbeeld een energiedistributiestrategie identificeren die de kosten minimaliseert en de spanning stabiel houdt.
Maar hoewel deze AI-gestuurde resultaten technisch gezien misschien wel optimaal zijn, zijn ze toch eerlijk? Wat als een goedkope elektriciteitsdistributiestrategie achtergestelde buurten kwetsbaarder maakt voor storingen dan gebieden met hogere inkomens?
Om belanghebbenden te helpen potentiële ethische dilemma’s snel op te sporen vóór implementatie, hebben MIT-onderzoekers een geautomatiseerde evaluatiemethode ontwikkeld die de wisselwerking tussen meetbare resultaten, zoals kosten of betrouwbaarheid, en kwalitatieve of subjectieve waarden, zoals eerlijkheid, in evenwicht brengt.
Het systeem scheidt objectieve evaluaties van door de gebruiker gedefinieerde menselijke waarden door een groot taalmodel (LLM) te gebruiken als proxy voor mensen om de voorkeuren van belanghebbenden vast te leggen en te integreren.
Het adaptieve raamwerk selecteert de beste scenario’s voor verdere evaluatie, waardoor een proces wordt gestroomlijnd dat doorgaans dure en tijdrovende handmatige inspanningen vereist. Deze testcases kunnen situaties laten zien waarin autonome systemen goed aansluiten bij menselijke waarden, maar ook scenario’s die onverwachts niet aan ethische criteria voldoen.
“We kunnen veel regels en vangrails in AI-systemen stoppen, maar die waarborgen kunnen alleen voorkomen dat de dingen gebeuren die we ons kunnen voorstellen. Het is niet genoeg om te zeggen: ‘Laten we AI gewoon gebruiken omdat het op deze informatie is getraind.’ We wilden een meer systematische manier ontwikkelen om de onbekende onbekenden te ontdekken en een manier hebben om ze te voorspellen voordat er iets ergs gebeurt”, zegt senior auteur Chuchu Fan, universitair hoofddocent bij het MIT Department of Aeronautics and Astronautics (AeroAstro) en hoofdonderzoeker bij het MIT Laboratory for Information and Decision Systems (LIDS).
Fan wordt op het papier vergezeld door hoofdauteur Anjali Parashar, een student werktuigbouwkunde; Yingke Li, een AeroAstro-postdoc; en anderen bij MIT en Saab. Het onderzoek zal worden gepresenteerd op de International Conference on Learning Representations.
Evaluatie van ethiek
In een groot systeem als een elektriciteitsnet is het bijzonder moeilijk om de ethische geschiktheid van de aanbevelingen van een AI-model te beoordelen op een manier die rekening houdt met alle doelstellingen.
De meeste toetsingskaders zijn gebaseerd op vooraf verzamelde gegevens, maar gelabelde gegevens over subjectieve ethische criteria zijn vaak moeilijk te vinden. Omdat ethische waarden en AI-systemen beide voortdurend evolueren, vereisen statische evaluatiemethoden op basis van geschreven codes of regelgevingsdocumenten regelmatig updates.
Fan en haar team benaderden dit probleem vanuit een ander perspectief. Voortbouwend op hun eerdere werk bij het evalueren van robotsystemen, ontwikkelden ze een experimenteel ontwerpraamwerk om de meest informatieve scenario’s te identificeren die menselijke belanghebbenden vervolgens verder zouden evalueren.
Hun tweedelige systeem, genaamd Scalable Experimental Design for System-level Ethical Testing (SEED-SET), omvat kwantitatieve statistieken en ethische criteria. Het kan scenario’s identificeren die effectief voldoen aan meetbare eisen en goed aansluiten bij menselijke waarden en vice versa.
“We willen niet al onze middelen besteden aan willekeurige evaluaties. Het is dus erg belangrijk om het raamwerk te sturen naar de testgevallen die ons het meest interesseren”, zegt Li.
Belangrijk is dat SEED-SET geen reeds bestaande evaluatiegegevens nodig heeft en zich aan meerdere doelstellingen aanpast.
Een elektriciteitsnet kan bijvoorbeeld meerdere gebruikersgroepen hebben, waaronder een groot landelijk district en een datacenter. Hoewel beide groepen goedkope en betrouwbare macht willen, kan de prioriteit van elke groep vanuit ethisch perspectief sterk variëren.
Deze ethische criteria zijn mogelijk niet goed gespecificeerd en kunnen daarom niet analytisch worden gemeten.
De netbeheerder wil de meest kosteneffectieve strategie vinden die het beste aansluit bij de subjectieve ethische voorkeuren van alle stakeholders.
SEED-SET pakt deze uitdaging aan door het probleem in tweeën te splitsen, volgens een hiërarchische structuur. Een objectief model bekijkt hoe het systeem presteert op tastbare maatstaven zoals kosten. Vervolgens bouwt een subjectief model dat rekening houdt met beoordelingen van belanghebbenden, zoals waargenomen eerlijkheid, voort op de objectieve evaluatie.
“Het objectieve deel van onze aanpak is gekoppeld aan het AI-systeem, terwijl het subjectieve deel gebonden is aan de gebruikers die het evalueren. Door de voorkeuren op een hiërarchische manier op te splitsen, kunnen we met minder evaluaties de gewenste scenario’s genereren”, zegt Parashar.
Subjectiviteit coderen
Om de subjectieve beoordeling uit te voeren, gebruikt het systeem een LLM als proxy voor menselijke beoordelaars. De onderzoekers coderen de voorkeuren van elke gebruikersgroep in een natuurlijke taalprompt voor het model.
De LLM gebruikt deze instructies om twee scenario’s te vergelijken en het voorkeursontwerp te selecteren op basis van de ethische criteria.
“Na het zien van honderden of duizenden scenario’s kan een menselijke evaluator last krijgen van vermoeidheid en inconsistent worden in zijn evaluaties, dus gebruiken we in plaats daarvan een op LLM gebaseerde strategie”, legt Parashar uit.
SEED-SET gebruikt het geselecteerde scenario om het totale systeem te simuleren (in dit geval een energiedistributiestrategie). Deze simulatieresultaten begeleiden de zoektocht naar het volgende beste kandidaatscenario om te testen.
Uiteindelijk selecteert SEED-SET op intelligente wijze de meest representatieve scenario’s die wel of niet voldoen aan objectieve maatstaven en ethische criteria. Op deze manier kunnen gebruikers de prestaties van het AI-systeem analyseren en de strategie ervan aanpassen.
SEED-SET kan bijvoorbeeld voorbeelden van stroomdistributie identificeren waarbij tijdens piekperioden prioriteit wordt gegeven aan gebieden met hogere inkomens, waardoor achtergestelde buurten gevoeliger zijn voor storingen.
Om SEED-SET te testen, evalueerden de onderzoekers realistische autonome systemen, zoals een AI-aangedreven elektriciteitsnet en een stedelijk verkeersrouteringssysteem. Ze maten hoe goed de gegenereerde scenario’s voldeden aan ethische criteria.
Het systeem genereerde tegelijkertijd meer dan twee keer zoveel optimale testgevallen als de basisstrategieën, terwijl veel scenario’s aan het licht kwamen die andere benaderingen over het hoofd hadden gezien.
“Toen we de gebruikersvoorkeuren veranderden, veranderde de reeks scenario’s die SEED-SET genereerde drastisch. Dit vertelt ons dat de evaluatiestrategie goed reageert op gebruikersvoorkeuren”, zegt Parashar.
Om te meten hoe nuttig SEED-SET in de praktijk zou zijn, zullen de onderzoekers een gebruikersonderzoek moeten uitvoeren om te zien of de scenario’s die het genereert helpen bij de besluitvorming in de echte wereld.
Naast het uitvoeren van een dergelijk onderzoek zijn de onderzoekers van plan om het gebruik van efficiëntere modellen te onderzoeken die kunnen worden opgeschaald naar grotere problemen met meerdere criteria, zoals het evalueren van LLM-besluitvorming.
Dit onderzoek werd gedeeltelijk gefinancierd door het Amerikaanse Defense Advanced Research Projects Agency.
