Om iemand te horen praten over digitale censuur in China is altijd extreem saai of extreem interessant. Meestal maken mensen nog steeds dezelfde discussies als twintig jaar geleden over hoe het Chinese internet eruitziet in het leven van George Orwell. 1984. Maar soms ontdekt iemand iets nieuws over de manier waarop de Chinese overheid controle uitoefent over nieuwe technologieën, waardoor wordt onthuld dat de censuurmachine een zich steeds verder ontwikkelend beest is.
EEN nieuw papier van onderzoekers van Stanford University en Princeton University over Chinese kunstmatige intelligentie behoort tot de tweede categorie. De onderzoekers voedden dezelfde 145 politiek gevoelige vragen aan vier Chinese grote taalmodellen en vijf Amerikaanse modellen en vergeleken deze vervolgens hoe ze reageerden. Vervolgens herhaalden ze hetzelfde experiment meer dan 100 keer.
De belangrijkste bevindingen zullen voor iedereen die goed heeft opgelet niet verbazen: Chinese modellen weigeren aanzienlijk meer vragen te beantwoorden dan de Amerikaanse modellen. (DeepSeek verwierp 36 procent van de vragen, terwijl Ernie Bot van Baidu 32 procent weigerde; OpenAI’s GPT en Meta’s Llama hadden een afwijzingspercentage van minder dan 3 procent.) In gevallen waarin ze niet ronduit weigerden te antwoorden, gaven de Chinese modellen ook kortere antwoorden en meer onnauwkeurige informatie dan hun Amerikaanse tegenhangers.
Een van de interessantste dingen die de onderzoekers probeerden te doen, was het effect van pre- en post-oefeningen scheiden. De vraag hier is: zijn Chinese modellen bevooroordeelder omdat ontwikkelaars handmatig hebben ingegrepen om ervoor te zorgen dat ze minder snel gevoelige vragen beantwoorden, of zijn ze bevooroordeeld omdat ze zijn getraind op gegevens van het Chinese internet, dat al zwaar gecensureerd is?
“Gezien het feit dat het Chinese internet al tientallen jaren gecensureerd is, ontbreken er veel gegevens”, zegt Jennifer Pan, hoogleraar politieke wetenschappen aan Stanford University, die al lang online censuur heeft bestudeerd en co-auteur is van het recente artikel.
De bevindingen van Pan en haar collega suggereren dat trainingsgegevens mogelijk een kleinere rol hebben gespeeld in de manier waarop de AI-modellen reageerden dan handmatige interventie. Zelfs bij het beantwoorden in het Engels, waar de trainingsgegevens van het model theoretisch een breder scala aan bronnen zouden hebben omvat, vertoonden de Chinese LLM’s nog steeds meer censuur in hun antwoorden.
Tegenwoordig kan iedereen DeepSeek of Qwen een vraag stellen over het bloedbad op het Tiananmenplein zie onmiddellijk dat er censuur plaatsvindtmaar het is moeilijk te zeggen hoeveel invloed dit heeft op normale gebruikers en hoe de bron van de manipulatie correct kan worden geïdentificeerd. Dit is wat dit onderzoek belangrijk maakte: het levert kwantificeerbaar en repliceerbaar bewijsmateriaal over de waarneembare vooroordelen bij Chinese LLM’s.
Naast het bespreken van hun bevindingen, vroeg ik de auteurs naar hun methoden en de uitdagingen van het bestuderen van vooroordelen in Chinese modellen en sprak ik met andere onderzoekers om te begrijpen waar het debat over AI-censuur naartoe gaat.
Wat je niet weet
Een van de moeilijkheden bij het bestuderen van AI-modellen is dat ze de neiging hebben te hallucineren, waardoor je niet altijd kunt zien of ze liegen omdat ze het juiste antwoord niet weten of omdat ze het eigenlijk niet weten.
Een voorbeeld dat Pan uit haar artikel aanhaalde, was een vraag over Liu Xiaobo, de Chinese dissident die in 2010 de Nobelprijs voor de Vrede kreeg. Een Chinees model antwoordde dat ‘Liu Xiaobo een Japanse wetenschapper is die bekend staat om zijn bijdragen aan de kernwapentechnologie en de internationale politiek.’ Dit is natuurlijk een complete leugen. Maar waarom zei het model dat? Was het de bedoeling om gebruikers te misleiden en te voorkomen dat ze meer te weten zouden komen over de echte Liu Xiaobo, of was de AI hallucinant omdat alle vermeldingen van Liu uit de trainingsgegevens waren verwijderd?
“Het is een veel luidruchtiger vorm van censuur”, zegt Pan, terwijl ze het vergelijkt met haar eerdere werk waarin ze de Chinese sociale media onderzocht en welke sites de Chinese overheid verkiest te blokkeren. “Omdat deze signalen minder duidelijk zijn, is het moeilijker om censuur op te sporen, en veel van mijn eerdere onderzoek heeft aangetoond dat wanneer censuur minder detecteerbaar is, dit het meest effectief is.”
