De bezorgdheid van Yoshua Bengio dat geavanceerde AI-systemen op een dag niet meer kunnen worden afgesloten, verdient zorgvuldige overweging (AI vertoont tekenen van zelfbehoud en mensen moeten bereid zijn de stekker uit het stopcontact te trekken, zegt pionier op 30 december). Maar het behandelen van dergelijk gedrag als bewijs van bewustzijn is gevaarlijk: het moedigt antropomorfisme aan en leidt de aandacht af van de menselijke ontwerp- en controlekeuzes die feitelijk het gedrag van AI bepalen.
Veel systemen kunnen hun voortdurende werking beschermen. De waarschuwing dat de batterij van een laptop bijna leeg is, is in die zin een vorm van zelfbehoud, maar niemand beschouwt het als bewijs dat de laptop wil leven: het gedrag is puur instrumenteel, zonder ervaring of bewustzijn. Het associëren van zelfbehoud met bewustzijn weerspiegelt de menselijke neiging om intenties en emoties toe te schrijven aan artefacten en niet aan enig inherent bewustzijn.
Cruciaal is dat bewustzijn noch noodzakelijk, noch relevant is voor de juridische status: bedrijven hebben rechten zonder geest. Als AI regulering nodig heeft, is dat vanwege de impact en macht ervan en om de menselijke verantwoordelijkheid te lokaliseren, niet vanwege speculatieve claims van machinebewustzijn.
De vergelijking met buitenaardse intelligentie is zelfs nog misleidender. Buitenaardse wezens zouden, als ze bestaan, autonome entiteiten zijn die buiten de menselijke creatie of controle staan. AI-systemen zijn het tegenovergestelde: doelbewust ontworpen, getraind, ingezet en beperkt door mensen, waarbij elke invloed wordt gemedieerd door menselijke beslissingen.
Achter dit alles schuilt een punt dat in het artikel grotendeels over het hoofd wordt gezien: AI-systemen zijn, net als alle computersystemen, Turing-machines met inherente beperkingen. Leren en schaal nemen deze grenzen niet weg, en beweringen dat bewustzijn of zelfbehoud daaruit zouden kunnen voortkomen zou een verklaring vergen, die momenteel ontbreekt, van hoe subjectieve ervaringen of echte doelen voortkomen uit symboolmanipulatie.
We moeten AI-risico’s serieus nemen. Maar daarvoor is conceptuele helderheid nodig. Door ontworpen zelfbehoud te verwarren met bewust zelfbehoud riskeert men zowel het publieke debat als de politiek te misleiden. De echte uitdaging is niet of machines zullen blijven leven, maar hoe mensen ervoor kiezen systemen te ontwerpen, implementeren en beheren waarvan de kracht volledig van ons komt.
Prof Virginia waardig
Directeur, AI Policy Lab, Umeå Universiteit, Zweden
Daar zat ik aan het einde van het jaar terloops mijn favoriete artikel te lezen, toen ik uw artikelen tegenkwam over de zorgen van Yoshua Bengio over kunstmatige intelligentie en over het werk van AI-beveiligingsonderzoekers in Californië (Het kantoorgebouw waar AI-‘rechters’ samenkomen om de apocalyps op 30 december te voorspellen).
Ik moet toegeven dat ik geschokt ben dat een aantal van de sciencefictionverschrikkingen die tijdens mijn 84-jarige leven zijn voorspeld nu voor de deur staan, en dat de wereld waarschijnlijk achterover leunt en toekijkt hoe zichzelf in het beste geval wordt overgenomen of in het slechtste geval wordt vernietigd door de machines.
De mensen die dit proces aansturen zijn alleen geïnteresseerd in macht en onvoorstelbare winst; de nee-zeggers zijn zelfgenoegzaam, en de rest van ons kan alleen maar duimen in de hoop dat genoeg regeringen de kracht, moed en het bewustzijn zullen hebben om te zeggen: “Stop!” Helaas houd ik, gezien onze huidige lichting wereldleiders, mijn adem niet in.
Johannes Robinson
Lichfield
Het lezen van uw artikel over “de noodzaak om ervoor te zorgen dat we kunnen vertrouwen op technische en maatschappelijke barrières voor controle (AI’s), inclusief de mogelijkheid om ze indien nodig uit te schakelen”, deed me denken aan de brief van Gerry Rees (29 december), verwijzend naar het korte verhaal Answer door Fredric Brown, uit 1954.
Het antwoord van de computer dat er nu een god is, zorgt ervoor dat de vraagsteller probeert deze uit te zetten, maar een donderslag uit de lucht doodt de vraagsteller en sluit de schakelaar. Een AI die is getraind op basis van een groot taalmodel zou deze geschiedenis misschien hebben ‘gelezen’ als onderdeel van zijn training, en zou als gevolg daarvan een kant-en-klaar antwoord hebben op alle hierboven voorgestelde waarborgen.
Eric Skidmore
Gipsy Hill, Londen
