Onderzoekers op het gebied van kunstmatige intelligentie getroffen door een stroom ‘slop’

Onderzoekers op het gebied van kunstmatige intelligentie worstelen met een kernprobleem in hun vakgebied: hoe kunnen we voorkomen dat de zogenaamde ‘AI-slop’ het vertrouwen in het wetenschappelijke werk van de industrie schaadt.

AI conferenties hebben zich de afgelopen maanden haast gemaakt om het gebruik van grote taalmodellen bij het schrijven en beoordelen van papers te beperken, nadat ze overspoeld waren met een golf van slechte, door AI geschreven inhoud.

Onderzoekers hebben gewaarschuwd voor de toename van door AI gegenereerd materiaal van lage kwaliteit dreigt het vertrouwen te ondermijnen en de integriteit van het onderzoek van de sector door het introduceren van valse claims en verzonnen inhoud.

“Er zit een beetje ironie in het feit dat er zoveel enthousiasme is voor AI die andere vakgebieden vormgeeft, terwijl ons vakgebied in werkelijkheid deze chaotische ervaring heeft doorgemaakt vanwege het wijdverbreide gebruik van AI”, zegt Inioluwa Deborah Raji, een AI-onderzoeker aan de Universiteit van Californië, Berkeley.

Recente studies hebben de prevalentie van de technologie in AI-onderzoek benadrukt. In augustus een studie van Stanford University ontdekte dat tot 22 procent van de computerwetenschappelijke artikelen LLM-gebruik bevatte.

Een analyse bij het starten van Pangram Geschat wordt dat 21 procent van de recensies op de prestigieuze International Conference on Learning Representations (ICLR) in 2025 volledig door AI was gegenereerd, en dat in meer dan de helft daarvan gebruik werd gemaakt van AI, zoals redactie. Van de ingediende artikelen ontdekte het bedrijf dat 9 procent meer dan de helft van de inhoud door AI had gegenereerd.

In november markeerden recensenten van het ICLR een artikel dat vermoedelijk was gegenereerd door kunstmatige intelligentie bovenste 17 procent van artikelen op basis van beoordelingen van reviewers.

In januari publiceerde GPTZero, start-up voor AI-detectie, onderzoek waaruit bleek dat er vorig jaar meer dan 100 AI-gegenereerde fouten waren in 50 artikelen op de Neural Information Processing Systems (NeurIPS)-conferentie, die wordt beschouwd als de meest prestigieuze locatie voor het publiceren van baanbrekend AI-onderzoek.

De groeiende bezorgdheid over de manier waarop de onderzoeksgemeenschap de technologie gebruikt, was aanleiding voor het ICLR zijn richtlijnen voor het gebruik van AI bijwerken voorafgaand aan de conferentie. Dit omvatte de waarschuwing dat papieren die geen “uitgebreid” gebruik van LLM’s onthullen, zullen worden afgewezen.

Onderzoekers die LLM’s gebruiken om artikelen van lage kwaliteit te beoordelen, zullen ook worden geconfronteerd met sancties, waaronder mogelijk de weigering van hun eigen onderzoeksinzendingen.

“Als je artikelen van echt lage kwaliteit publiceert die gewoon verkeerd zijn, waarom zou de samenleving ons dan als wetenschappers vertrouwen?” zei Hany Farid, hoogleraar computerwetenschappen aan de Universiteit van Californië, Berkeley.

De toename van het aantal artikelen geproduceerd door AI-onderzoekers was vorig jaar bijzonder duidelijk, zeggen experts.

De NeurIPS-conferentie zei dat er in 2025 21.575 inzendingen waren ontvangen, tegen 17.491 in 2024 en 9.467 in 2020. Eén auteur had meer dan 100 artikelen over NeurIPS geschreven, wat aanzienlijk meer is dan de gemiddelde onderzoeker gewoonlijk doet.

Er is ook een aanzienlijke toename van computerwetenschappelijke onderzoekspapers over arXiv, een gratis online repository, volgens Thomas G Dietterich, emeritus hoogleraar computerwetenschappen aan de Oregon State University, die tevens voorzitter is van de computerwetenschappensectie van arXiv.

AI-onderzoekers zeggen echter dat het moeilijk te zeggen is of de stijging te wijten is aan het gebruik van LLM’s of aan actievere onderzoekers in het veld. Het detecteren van door AI gegenereerde inhoud blijft moeilijk vanwege het gebrek aan industriestandaarden of methoden om papieren betrouwbaar te analyseren.

Een controlesignaal is wanneer papieren hallucinante verwijzingen in de bibliografie bevatten, of getallen die onjuist zijn, zei Dietterich. Deze gebruikers zullen dan voor een bepaalde periode worden uitgesloten van het indienen van papieren bij arXiv, voegde hij eraan toe.

Sommige AI-experts beweren dat het wijdverbreide gebruik van LLM’s, gedreven door commerciële prikkels, ertoe heeft geleid dat onderzoekers zich meer op kwantiteit dan op kwaliteit hebben gericht. Critici zeggen dat AI-onderzoek een cultuur kent waarin wordt geprobeerd zoveel mogelijk artikelen te publiceren, wat ertoe heeft geleid dat sommige wetenschappers kortere wegen hebben gekozen.

“Als we momenten hebben van ongelooflijk indrukwekkende demo’s, ongelooflijk hoge salarissen, en deze bedrijven gaan helemaal los, dan trekt dat gewoon een stroom aan belangstelling van buitenaf”, zei Raji.

Experts zeggen dat er veel legitieme manieren zijn om AI-tools voor onderzoek te gebruiken, zoals brainstormassistenten en proeflezers.

“De kwaliteit van het schrijven in papieren uit China is dramatisch toegenomen, en ik neem aan dat dit komt doordat LLM’s erg goed zijn in het herschrijven van het Engels om het vloeiend te maken”, aldus Dietterich.

Maar de vraag hoe de technologie te gebruiken wordt steeds belangrijker nu bedrijven als Google, Anthropic en OpenAI hun modellen promoten als ‘co-onderzoekers’ die kunnen helpen het onderzoek versnellen op terreinen als de levenswetenschappen.

Als onderdeel van het afstemmen van hun modellen op wetenschappelijk onderzoek, trainen AI-groepen ze doorgaans op datasets die uit academische bronnen zijn gehaald. Als dit echter ook steeds meer door AI gegenereerde artikelen omvat, zou dit tot ongewenste resultaten kunnen leiden, zoals verslechtering van de modelprestaties, zei Farid.

Eerder onderzoek heeft getoond dat LLM’s de neiging hebben om “in te storten” en wartaal te produceren wanneer de dataset te veel niet-gecureerde, door AI gegenereerde gegevens bevat, waardoor de verscheidenheid aan dingen waar een AI-model van kan leren kleiner wordt.

“Er is… een stimulans voor AI-bedrijven om eropuit te gaan en willekeurig alles te schrappen om te willen weten dat deze dingen (papieren) niet daadwerkelijk door AI zijn gegenereerd,” zei Farid.

Kevin Weil, hoofd wetenschap bij OpenAI, merkte op dat LLM’s hetzelfde zijn als elk ander hulpmiddel en op verantwoorde wijze moeten worden gebruikt. “Het kan een enorme versneller zijn die je kan helpen nieuwe gebieden te verkennen,” zei Weil. ‘Maar je moet het controleren. Het ontslaat je niet van strengheid.’