Kredieten
Nathan Gardels is hoofdredacteur van Noema Magazine. Hij is tevens medeoprichter en senior adviseur van het Berggruen Instituut.
VATICAANSTAD – Voor Martin Heidegger, de Duitse bestaansfilosoof, was de opkomst van cybernetica de druppel voor wat het betekent om mens te zijn.
Zoals hij het wanhopig zag, zou de integrale aard van het zijn worden uitgewist door een systeem van feedbacklussen dat zelf de berekenende rede versterkt, met uitsluiting van elke spirituele dimensie of filosofisch raamwerk om deze te verheffen of te regeren. Wat hij de ’technische aard’ van instrumentele middelen zonder substantieel doel noemde, zou onverbiddelijk de overhand krijgen op de verminderde ziel.
In één beroemd laatste interview in Der Spiegel uit 1966 verklaarde Heidegger: ‘Alleen God kan ons redden’, omdat de planetaire dominantie van de moderne technologie de mensheid de middelen had ontnomen om van koers te veranderen en zichzelf te redden. Het enige wat onze beschaving nu kon doen, was zich niet alleen voorbereiden ‘op de verschijning van een God’, maar ook ‘op de afwezigheid van een God in zijn verval, op het feit dat we vallen voor de afwezige God’. Kortom, hij vreesde wat het dodelijke brouwsel van nihilisme en technologische bekwaamheid zou kunnen brengen.
Deze gedachten kwamen vorige week scherp naar voren toen ik een bijeenkomst bijwoonde in de Pauselijke Academie voor Sociale Wetenschappen van het Vaticaan in Rome, bijeengeroepen om het “verantwoorde, ethische en mensgerichte gebruik van kunstmatige intelligentie” te overwegen – cybernetica op computersteroïden.
Net als paus Franciscus vóór hem, die waarschuwde om ‘rijk aan technologie maar arm aan menselijkheid’ te worden, heeft paus Leo XIV geprobeerd open te blijven voor de prachtige vooruitgang die door AI wordt beloofd, maar hij maakt zich zorgen dat dit het christelijk humanisme zal ondermijnen, dat de onschendbare waardigheid van ieder mens in zijn gelijkheid met God grondvest.
‘Kunstmatige intelligentie, biotechnologie, data-economie en sociale media transformeren onze perceptie en levenservaring diepgaand’ zei hij in een toespraak aan de Italiaanse bisschoppen in juni. “In dit scenario dreigt de menselijke waardigheid te worden aangetast of vergeten, en vervangen te worden door functies, automatisme, simulaties. Maar de persoon is geen systeem van algoritmen: hij of zij is een wezen, een relatie, een mysterie.”
De paus is bang dat “de digitale wereld zijn eigen pad zal volgen en dat wij boeren zullen worden of terzijde zullen worden geschoven.” Hij is zover gegaan gezegde dat het “erg moeilijk zal zijn om de aanwezigheid van God in AI te detecteren.”
De nieuwe paus is gealarmeerd dat de technologierace tussen China en Silicon Valley uit de hand loopt is uitgebreid De oproep van paus Franciscus tot de “durf van ontwapening” van kernwapens moet nu ook de competitieve inzet van kunstmatige intelligentie omvatten.
Noch techno-utopie, noch techno-apocalyps
Omdat ik uit Californië kom, waar honderden miljarden dollars hartstochtelijk worden geïnvesteerd in de onbelemmerde ontwikkeling van grensmodellen van superintelligentie, kon ik het gevoel niet van me afschudden dat alle pleidooien tijdens mijn discussies in het Vaticaan voor het behoud van de edelste menselijke waarden – waardigheid, autonomie, solidariteit, rechtvaardigheid – bijna gelijkwaardig klonken. Zoals alle nostalgische verlangens ontstaan dergelijke gevoelens alleen als hun tijd lijkt te dringen.
In gedachten zag ik een titan uit Silicon Valley minachtend vragen: “Hoeveel wiskunde heeft de paus?” – net zoals Stalin ooit de Kerk heeft afgewezen omdat deze geen militaire verdeeldheid kent en dus niet de macht heeft om een verschil te maken in de richting van de geschiedenis.
De meeste aanwezigen op het Vaticaanse seminarie probeerden niet over te komen als naïeve Luddieten die de wonderen van de technologie verwierpen, en in plaats daarvan een manier zochten om de cirkel rond te maken door ‘buiten het ondoorzichtige kader van algoritmen te denken’, op zoek naar een manier waarop AI de menselijke keuzevrijheid zou kunnen versterken en versterken in plaats van deze te verdringen.
Deze benadering verwerpt de binaire begrippen ‘techno-utopie’ of ‘techno-apocalyps’ en erkent dat technologie niet vreemd is aan de mensheid, maar deel uitmaakt van wat ons menselijk maakt. In plaats van de toekomst te betreuren, omarmt het het evolutionaire potentieel van een symbiotisch gezelschap tussen menselijke en anorganische intelligentie. Een dergelijke ‘geïntegreerde menselijke ontwikkeling’ – om het in termen van religieus discours te zeggen – beschrijft een wederkerige relatie waarin de een de ander vormgeeft.
De hoop in Rome was dat dit nieuwe terrein gevonden zou kunnen worden via wat paus Leo XIV ‘een ethisch AI-raamwerk’ noemt dat het nieuwe soort intelligente machines – een ‘wat niet een wie’ – binnen de grenzen van menselijke controle houdt.
Woede tegen de race naar superintelligentie
Er ontstaat dagelijks een golf van oproepen tegen het ongecontroleerde AI-acceleratieisme. Ook de regelgeving begint te bijten.
“Dit verzet tegen kunstmatige intelligentie… biedt niettemin de nodige ballast tegen de tot nu toe asymmetrische strijd tussen voorzichtigheid en versnellingsmomentum.”
In september kwam een groep denkers, waaronder Yuval Noah Harari, de AI-expert van het Vaticaan, Paolo Benanti, en fundamentele AI-onderzoekers Stuart Russell, Yoshua Bengio en Gregory Hinton bijeen in het Vaticaan om de principes in kaart te brengen die de ontwikkeling van superintelligentie zullen sturen. Hun hoger beroep was gericht tot de paus en de wereldleiders.
Deze principes omvatten:
- AI mag nooit worden ontwikkeld of gebruikt op een manier die het menselijk leven, de waardigheid of fundamentele rechten bedreigt, vermindert of diskwalificeert. Menselijke intelligentie – ons vermogen tot wijsheid, moreel redeneren en gerichtheid op waarheid en schoonheid – mag nooit worden gedevalueerd door kunstmatige verwerking;
- AI moet onder menselijke controle blijven. Het bouwen van oncontroleerbare systemen of het overdelegeren van beslissingen is moreel onaanvaardbaar en moet wettelijk verboden worden;
- Alleen mensen hebben morele en juridische keuzevrijheid. AI-systemen zijn en moeten juridische objecten blijven, nooit subjecten;
- AI-systemen mogen nooit beslissingen nemen over leven of dood, vooral niet bij militaire toepassingen tijdens gewapende conflicten of vredestijd, bij wetshandhaving, grenscontrole, gezondheidszorg of rechterlijke beslissingen;
- Ontwikkelaars moeten AI ontwerpen waarbij veiligheid, transparantie en ethiek centraal staan, en niet als bijzaak. AI moet onafhankelijk worden ontworpen en geëvalueerd om onbedoelde en catastrofale effecten op mens en samenleving te voorkomen, bijvoorbeeld door ontwerpen die aanleiding geven tot bedrog, waanvoorstellingen, verslaving of verlies van autonomie.
Naad eerder besproken in Noema heeft de EU leiding gegeven aan de preventie-inspanningen. De nieuwste reeks wegversperringen, de ‘AI Regulation Act’, werd begin augustus van kracht.
In september ondertekende de gouverneur van Californië, Gavin Newsom, de meest consequente regelgeving op het gebied van kunstmatige intelligentie in de Verenigde Staten tot nu toe, genaamd de ‘Transparency in Frontier Artificial Intelligence Act’, die tot doel heeft ‘innovatie en veiligheid in evenwicht te brengen’. Het is veelbetekenend dat er rechtstreeks over werd onderhandeld met de grote technologiebedrijven van de staat, zoals Meta en Google.
De nieuwe wet houdt het volgende in:
- Vereist van grote ontwikkelaars dat zij een ‘grensoverschrijdend AI-framework’ schrijven, implementeren, naleven en op hun websites publiceren voor het beheren, beoordelen en beperken van catastrofale risico’s, waarin nationale en internationale normen zijn opgenomen, evenals consensus binnen de sector over beste praktijken;
- Richt een nieuw consortium op binnen de overheidsinstantie van de staat om een raamwerk te ontwikkelen voor het creëren van een openbaar computercluster. Het consortium, genaamd CalCompute, zal de ontwikkeling en inzet van kunstmatige intelligentie bevorderen die veilig, ethisch, eerlijk en duurzaam is door onderzoek en innovatie te bevorderen;
- Creëert een nieuw mechanisme voor grensoverschrijdende AI-bedrijven en het publiek om potentiële kritieke veiligheidsincidenten te melden aan het California Office of Emergency Services;
- Beschermt klokkenluiders die aanzienlijke gezondheids- en veiligheidsrisico’s onthullen die voortvloeien uit grensmodellen en creëert een civiele straf voor niet-naleving, afdwingbaar door het kantoor van de procureur-generaal.
Onlangs is een open brief gecoördineerd door het Future of Life Institute riep op tot “een verbod op de ontwikkeling van superintelligentie, dat pas wordt opgeheven als er (a) een brede wetenschappelijke consensus bestaat dat dit veilig en controleerbaar zal gebeuren, en (b) een sterke publieke buy-in.”
Het werd onderschreven door een breed scala aan ondertekenaars, van Hollywood-acteur en producer Joseph Gordon-Levitt tot de Britse prins Harry, tot de nationale veiligheidsfunctionaris Susan Rice uit het Obama-tijdperk, tot Trump-goeroe Steve Bannon en mede-oprichter van Apple Steve Wozniak, en vele anderen.
Ook de AI-pioniers die de pauselijke oproep opstelden, tekenden. Van die groep voegde Russell een commentaar toe aan zijn handtekening: “Dit is geen verbod of zelfs maar een moratorium in de gebruikelijke zin. Het is eenvoudigweg een voorstel om adequate waarborgen te eisen voor een technologie die, volgens de ontwikkelaars ervan, een aanzienlijke kans heeft om het uitsterven van de mens te veroorzaken. Is dat te veel gevraagd?”
Zelfs voor zover dit verzet tegen het AI-tekort in sommige opzichten alarmerender is dan gerechtvaardigd, biedt het niettemin de nodige ballast tegen de tot nu toe asymmetrische strijd tussen voorzichtigheid en versnellingsmomentum.
De blijvende weerklank van het humanisme
De hedendaagse Duitse filosoof Jürgen Habermas heeft betoogd dat de kernwaarden van seculiere moderne democratieën, zoals mensenrechten en waardigheid, tot op de dag van vandaag gevoed blijven door de religieuze bronnen van hun oorsprong.
Deze blijvende weerklank mist misschien de harde kracht van ‘afrekening’, in dezelfde zin als waarin de Kerk tijdens de Koude Oorlog geen militaire verdeeldheid had. Maar we moeten niet vergeten dat het de zachte geloofskracht achter de Solidariteitsbeweging in Polen was die uiteindelijk zegevierde over het gewapende Sovjetblok.
Of dit erop wijst dat de God die Heidegger aanriep ons nog steeds zou kunnen redden, of dat de westerse beschaving toch de middelen verzamelt om zichzelf te redden door de erfenis van het christelijk humanisme, is een verschil zonder verschil.



