Onderzoek naar kunstmatige intelligentie heeft een slopprobleem, zeggen academici: ‘Het is een puinhoop’ | Kunstmatige intelligentie (AI)

Eén persoon beweert dat te hebben gedaan geschreven 113 wetenschappelijke artikelen over kunstmatige intelligentie dit jaar zullen er 89 deze week worden gepresenteerd op een van ’s werelds toonaangevende conferenties over AI en machinaal leren, wat bij computerwetenschappers vragen heeft doen rijzen over de stand van zaken op het gebied van AI-onderzoek.

De auteur, Kevin Zhu, onlangs klaar heeft een bachelordiploma in computerwetenschappen behaald aan de University of California, Berkeley, en leidt nu Algoverse, een AI-onderzoeks- en mentorbedrijf voor middelbare scholieren – van wie velen zijn co-auteurs op het papier zijn. Zhu studeerde zelf in 2018 af van de middelbare school.

Papieren die hij heeft uitzetten de afgelopen twee jaar kwamen onderwerpen als het gebruik van AI aan bod zoek nomadische herders in Afrika ten zuiden van de Sahara, tot huidlaesies beoordelenen naar vertalen Indonesische dialecten. Op zijn LinkedIn benadrukt hij de publicatie van “meer dan 100 topconferentiepapers in het afgelopen jaar”, die “zijn geciteerd door OpenAI, Microsoft, Google, Stanford, MIT, Oxford en meer”.

Zhu’s papieren zijn een “ramp”, zei Hany Farid, hoogleraar computerwetenschappen aan Berkeley, in een interview. “Ik ben er behoorlijk van overtuigd dat het hele ding, van boven tot onder, slechts vibe-codering is”, zei hij, verwijzend naar de praktijk van het gebruik van AI om software te maken.

Farid vestigde op een recente LinkedIn-pagina de aandacht op Zhu’s productieve publicaties naDit heeft geleid tot een discussie over andere vergelijkbare gevallen onder AI-onderzoekers, die zeiden dat hun nieuwe populaire discipline wordt geconfronteerd met een stortvloed aan onderzoekspapers van lage kwaliteit, gedreven door academische druk en, in sommige gevallen, AI-tools.

In antwoord op een vraag van The Guardian zei Zhu dat hij toezicht had gehouden op de 131 papieren, die “teaminspanningen” waren van zijn bedrijf Algoverse. Het bedrijf brengt $3.325 in rekening aan middelbare scholieren en studenten voor een selectieve online mentorervaring van twaalf weken, waarbij ze werk voor conferenties moeten inleveren.

“Ik help op zijn minst bij het beoordelen van de methodologie en het experimentele ontwerp van voorstellen, en ik lees en becommentarieer de volledige conceptversies voordat ik ze indien,” zei hij, eraan toevoegend dat bij projecten over onderwerpen als taalkunde, gezondheidszorg of onderwijs “hoofdonderzoekers of mentoren met relevante expertise” betrokken waren.

De teams gebruikten “standaard productiviteitstools zoals referentiemanagers, spellingcontrole en soms taalmodellen voor het bewerken van kopieën of het verbeteren van de duidelijkheid”, zei hij in antwoord op een vraag of de papieren met AI waren geschreven.

Bot-watchers in opstand

De beoordelingsnormen voor AI-onderzoek verschillen van de meeste andere wetenschapsgebieden. Het meeste werk op het gebied van kunstmatige intelligentie en machinaal leren doorloopt niet de rigoureuze peer-review-processen op gebieden als scheikunde en biologie. In plaats daarvan worden artikelen vaak minder formeel gepresenteerd op grote conferenties zoals NeuroIPSeen van ’s werelds toonaangevende bijeenkomsten op het gebied van machine learning en kunstmatige intelligentie, waar Zhu een presentatie zal geven.

Zhu’s geval wijst op een groter probleem in AI-onderzoek, zei Farid. Conferenties waaronder NeurIPS worden overspoeld met toenemende aantallen nummer Aantal inzendingen: NeurIPS heeft dit jaar 21.575 papers ingediend, vergeleken met minder dan 10.000 in 2020. Een andere top AI-conferentie, de International Conference on Learning Representations (ICLR), rapporteerde een stijging van 70% in het jaarlijkse aantal inzendingen voor de conferentie van 2026, bijna 20.000 papers, vergeleken met iets meer papers. 11.000 voor de conferentie in 2025.

“De recensenten klagen over de slechte kwaliteit van de artikelen en vermoeden zelfs dat sommige door AI zijn gegenereerd. Waarom heeft deze academische partij haar smaak verloren?” vroeg de Chinese techblog 36Kr in één Bericht van november op ICLR en merkte op dat de gemiddelde score die reviewers aan artikelen toekenden jaar na jaar was gedaald.

Ondertussen worden studenten en academici geconfronteerd met toenemende druk om publicaties te verzamelen en gelijke tred te houden met hun leeftijdsgenoten. Het is ongebruikelijk om in een jaar tijd getallen van hoge kwaliteit, laat staan ​​driecijferig, van hoogwaardige academische computerwetenschappelijke artikelen te produceren, aldus academici. Farid zegt dat zijn studenten soms ‘vibe-gecodeerde’ artikelen hebben om hun publicatieaantallen te vergroten.

“Zoveel jonge mensen willen zich met kunstmatige intelligentie bezighouden. Er is momenteel een rage”, zei Farid.

NeurIPS beoordeelt de ingediende artikelen, maar het proces is veel sneller en minder grondig dan de standaard wetenschappelijke peer review, zegt Jeffrey Walling, universitair hoofddocent bij Virginia Tech. Dit jaar heeft de conferentie gebruikt een groot aantal promovendi voor dierenartspapieren, wat volgens een voorzitter van het NeurIPS-gebied het proces in gevaar bracht.

“De realiteit is dat rechters van conferenties vaak in korte tijd tientallen papers moeten doornemen, en dat er meestal weinig of geen herziening plaatsvindt”, aldus Walling.

Walling was het met Farid eens dat er momenteel te veel artikelen worden gepubliceerd, en zei dat hij andere auteurs had ontmoet met meer dan 100 publicaties in een jaar. “Academici worden meer beloond voor publicatievolume dan voor kwaliteit… Iedereen houdt van de mythe van superproductiviteit”, zei hij.

Op de FAQ-pagina van Zhu’s Algoverse wordt besproken hoe het programma van het bedrijf sollicitanten kan helpen bij de toekomstige universiteits- of carrièrevooruitzichten. Ze zeggen: “De vaardigheden, prestaties en publicaties die u hier behaalt, staan ​​hoog aangeschreven in academische kringen en kunnen uw universitaire aanvraag of CV echt versterken. Dit geldt vooral als uw onderzoek wordt geaccepteerd voor een prestigieuze onderzoeksconferentie.”

Farid zegt dat hij studenten nu adviseert om niet aan AI-onderzoek te doen vanwege de ‘gekte’ van het vakgebied en de grote hoeveelheid werk van lage kwaliteit dat wordt geleverd door mensen die hopen hun carrièrevooruitzichten te verbeteren.

“Het is gewoon een puinhoop. Je kunt het niet bijhouden, je kunt niet publiceren, je kunt geen goed werk doen, je kunt niet attent zijn”, zei hij.

Stop met overstromingen

Uit dit proces is nog veel uitstekend werk voortgekomen. Bekend is het artikel van Google over transformatoren, Aandacht is het enige dat je nodig hebt – de theoretische basis voor de vooruitgang op het gebied van kunstmatige intelligentie die leidde tot ChatGPT – werd in 2017 gepresenteerd op NeurIPS.

De NeurIPS-organisatoren zijn het erover eens dat de conferentie onder druk staat. In een reactie tegen The Guardian zei een woordvoerder dat de groei van kunstmatige intelligentie als vakgebied had geleid tot “een aanzienlijke toename van het aantal inzendingen van papieren en een grotere waarde van peer-reviewed acceptatie bij NeurIPS”, waardoor “ons beoordelingssysteem aanzienlijk onder druk kwam te staan”.

Zhu’s bijdragen waren grotendeels bestemd voor workshops binnen NeurIPS, die een ander selectieproces kent dan de hoofdconferentie en waar vaak werk uit de beginfase van de carrière wordt gepresenteerd, aldus de organisatoren van NeurIPS. Farid zei dat hij dit geen significante verklaring vond voor het feit dat één persoon zijn naam op meer dan honderd papieren zette.

‘Ik vind dit geen overtuigend argument om je naam op honderd kranten te zetten waaraan je onmogelijk een betekenisvolle bijdrage had kunnen leveren,’ zei Farid.

Het probleem is groter dan een stroom papieren bij NeurIPS. ICLR gebruikt AI kon een groot aantal inzendingen beoordelen, resulterend in ogenschijnlijk hallucinante citaten en feedback die “zeer uitgebreid was met veel opsommingen”, aldus een recent artikel in Nature.

Het gevoel van achteruitgang is zo wijdverbreid dat het vinden van een oplossing voor de crisis het onderwerp van de kranten zelf is geworden. EEN Position paper uit mei 2025 – een academische, op bewijs gebaseerde versie van een papieren paper – geschreven door drie Zuid-Koreaanse computerwetenschappers die een oplossing voorstelden voor de “ongekende uitdagingen van de toename van het aantal inzendingen van papers, vergezeld van groeiende zorgen over de kwaliteit van recensies en de verantwoordelijkheden van reviewers”, won een prijs voor uitmuntendheid op de Internationale Conferentie over Machine Learning van 2025.

Ondertussen, zegt Farid, dumpen grote technologiebedrijven en kleine AI-beveiligingsorganisaties hun werk nu op arXiv, een site die ooit gereserveerd was voor preprints van onzichtbare wiskunde- en natuurkundepapers, waardoor het internet wordt overspoeld met werk dat als wetenschappelijk wordt gepresenteerd, maar niet onderworpen is aan peer review-normen.

De prijs hiervan, zegt Farid, is dat het bijna onmogelijk is om te weten wat er daadwerkelijk aan de hand is op het gebied van AI – voor journalisten, het publiek en zelfs deskundigen op dit gebied: “Je hebt geen enkele kans, geen enkele kans als gemiddelde lezer om te proberen te begrijpen wat er in de wetenschappelijke literatuur gebeurt. Jouw signaal-ruisverhouding is feitelijk één. Ik kan nauwelijks naar deze conferenties gaan en ontdekken wat er op deze conferenties gebeurt.”

“Wat ik de studenten vertel is dat als je probeert de publicatie van papers te optimaliseren, het eigenlijk niet zo moeilijk is om te doen. Doe gewoon heel slecht werk van lage kwaliteit en bombardeer er conferenties mee. Maar als je echt doordacht en zorgvuldig werk wilt doen, ben je in het nadeel omdat je feitelijk eenzijdig ontwapend bent”, zei hij.