Academisch publiceren lag al op zijn gat, AI bewijst dit slechts

Als de bronvermelding van een wetenschappelijk artikel nepauteurs en niet-bestaande artikelen bevat, is er duidelijk iets mis. Citaten zijn een vorm van academische erkenning voor inspanningen en intellectuele bijdragen, en ze spelen een belangrijke rol in de manier waarop erkenning en legitimiteit binnen de academische wereld worden verdeeld. 

In een recent artikel voor het Nederlandse weekblad De Groene Amsterdammer onderzocht Joris Veerbeek, promovendus aan de Universiteit Utrecht, 136.000 wetenschappelijke publicaties in Nederland om artikelen te identificeren met door AI gegenereerde spookreferenties. De bevindingen schetsen een nogal somber beeld van de toekomst (en het verleden) van het wetenschappelijke paper.

Niet alleen een onderwijsprobleem
Sinds de lancering van ChatGPT heeft elke docent aan de universiteit een ingrijpende verandering opgemerkt in de ingeleverde werkstukken en de participatie van studenten. Het schrijven van essays, het maken van opdrachten en zelfs het lezen van literatuur gebeurt nu vaak met behulp van AI-chatbots. Universiteiten betreurden al snel de achteruitgang van het academisch onderwijs en reageerden met onsamenhangend beleid dat het gebruik van AI-tools tegelijkertijd beperkt en aanmoedigt. 

Een groot deel van deze reacties richtte zich op studenten: hoe zij GenAI gebruiken, wanneer het gebruik ervan moet worden toegestaan, welke transparantie-eisen nodig zijn en hoe opdrachten “AI-bestendig” kunnen worden gemaakt. GenAI heeft aan het licht gebracht hoe onderwijssystemen steeds meer waarde zijn gaan hechten aan het eindproduct in plaats van aan het proces. Maar de implicaties van GenAI voor academisch onderzoek worden nog grotendeels over het hoofd gezien. Het lijkt wel alsof kwesties als plagiaat en academische fraude worden gezien als het exclusieve domein van studenten, in plaats van de academici zelf. 

Ondertussen is het aantal inzendingen bij tijdschriften explosief gestegen, met een toename van wel 50 procent in sommige vakgebieden. Door de lawine aan AI-ondersteunde artikelen is het voor redacteuren moeilijk om de toestroom van artikelen te beheersen en voor recensenten om ze te beoordelen. Toch blijven het wetenschappelijke artikel en de bijbehorende H-index, om onduidelijke redenen, de dominante maatstaven voor wetenschappelijke prestaties en blijven ze bepalend voor loopbaantrajecten. 

Een veel diepere crisis
De bevindingen van Veerbeek en collega’s wijzen op symptomen van een veel dieper liggend en structureel probleem. Al lang vóór de opkomst van GenAI kampte het academisch publiceren immers al met ernstige problemen. Slecht geschreven artikelen en slordig onderzoek konden de peer-review doorstaan; minimaal gewijzigde versies van hetzelfde artikel konden in meerdere tijdschriften verschijnen; en hoogleraren konden hun naam verbinden aan artikelen die ze nauwelijks hadden gelezen. 

De miljardenindustrie van zogenaamde ‘paper mills’ en ‘predatory journals’ maakt de omvang van het probleem nog eens extra duidelijk. ‘Citation cartels’ droegen ook bij aan het probleem: onderzoekers bliezen het aantal citaten naar zichzelf en hun collega’s op, terwijl sommige reviewers auteurs onder druk zetten om hún werk te citeren voordat ze de publicatie aanbevelen. Een ondraaglijke werkdruk in combinatie met aanhoudende bezuinigingen deed de rest. 

Niet alleen het gemak en de kwaliteit van wetenschappelijke publicaties zijn hierdoor aangetast, maar we zijn ook getuige van een zich ontvouwende epistemologische crisis. Citaten vormen niet langer een betrouwbare basis voor verslagen over kennisproductie. Naarmate er steeds meer artikelen met verzonnen verwijzingen hun weg vinden naar archieven en het wetenschappelijke discours, zal het vertrouwen in wetenschappelijk werk verder afbrokkelen. 

Niet houdbaar
Deze crisis is helemaal niet nieuw. Uit online discussies over verzonnen bronvermeldingen blijkt dat het hoge tempo van het academische werk onderzoekers al lang ertoe aanzette om artikelen te citeren die ze slechts vluchtig hebben doorgenomen, waarbij ze zich vaak op niet veel meer dan de samenvatting baseren. Deze druk heeft bijgedragen aan de roep om ‘Slow Academia’, een beweging tegen de neoliberale, door metrics gedreven universiteit.

Het academische publicatiesysteem vertoonde al barsten. Algoritmische schrijfmachines zijn slechts de druppel die de emmer doet overlopen. Academische instellingen negeren het probleem nu grotendeels, leiden de aandacht ervan af door zich te richten op wangedrag van studenten, of ondernemen vergeefse pogingen om door AI gegenereerde rommel automatisch te herkennen (spoiler: dit werkt niet). Ze doen dit in plaats van te erkennen dat er behoefte is aan concretere vormen van kennisoverdracht en betere indicatoren voor academische arbeid, impact en uitmuntendheid. 

Hoe nu verder? Universiteitsbesturen, onderzoeksorganisaties en hoogleraren moeten zich realiseren dat het huidige regime van academisch publiceren niet houdbaar is en dat de kwaliteitsborging tekortschiet. Ze moeten alternatieve vormen van kennisoverdracht omarmen en andere criteria hanteren voor het beoordelen van academische relevantie en excellentie. 

We zien een kans om het academisch onderzoek te versterken, verdergaand dan de traditionele publicatie van artikelen en de beperkingen van de universiteit. We kunnen vernieuwende maar effectieve vormen van kennisoverdracht benutten, zoals action research, collaboratief en transdisciplinair onderzoek met focus op maatschappelijke impact, en vernieuwende onderwijsvormen.

Mirko Tobias Schäfer, Sciences Lead Data School
Karin van Es, Humanities Lead Data School