De crisis voorbij? Waardering voor herhalen van experimenten groeit

Nynke van der Laan stond in 2009 aan het begin van een promotieonderzoek toen een publicatie in Science haar vakgebied deed schudden. De Amerikaanse neurowetenschapper Todd Hare had onderzocht welke hersenmechanismen ten grondslag liggen aan zelfcontrole, bijvoorbeeld bij de keuze tussen gezond en ongezond voedsel. Waar veel van zijn collega’s ervan uitgingen dat er bij dat keuzeproces verschillende mechanismen afzonderlijk in het brein aan het werk waren, liet Hare als eerste zien dat er sprake was van één systeem.

Het artikel van Hare schoot Van der Laan meteen te binnen toen zij vorig jaar las dat onderzoeksfinancier NWO een pilotproject was gestart met subsidies voor het repliceren van belangrijk wetenschappelijk onderzoek. Daarbij gaat het om het opnieuw uitvoeren van een onderzoek met als doel het resultaat van de originele studie te verifiëren. De onderzoekster, die kort geleden vanuit Utrecht overstapte om aan de UvA als assistant professor aan de slag te gaan, ontving deze zomer een van de negen beurzen.

Van der Laan: “De studie van Hare is uitgegroeid tot een belangrijke bouwsteen voor de theorievorming door wetenschappers. In het onderwijs zijn de resultaten inmiddels tekstboekstof en in de manier waarop media berichten over het maken van gezonde keuzes spelen zij ook een grote rol. Maar onderzoekers vragen zich ook af hoe stabiel die bouwsteen eigenlijk is, onder meer omdat Hare gebruik maakte van slechts 37 proefpersonen, relatief weinig.”

Ik wil dat de bouwstenen van mijn eigen onderzoek robuust zijn

In totaal heeft NWO 3 miljoen euro beschikbaar gesteld voor drie aanvraagronden. In de eerste ronde waren er 85 beursaanvragen. Commissievoorzitter Lex Bouter reageerde op hogeronderwijssite Scienceguide blij verrast. In een wetenschappelijke cultuur waar alles om innovatie en baanbrekend onderzoek draait, werd replicatie-onderzoek immers altijd gezien als iets voor mensen “die zelf niets kunnen verzinnen”. Herhaalonderzoek was ook nog eens lastig te publiceren. Kortom: slecht voor je carrière.

Maar dat beeld is aan het schuiven, merkt Van der Laan. De reacties op haar beursaanvraag waren zonder uitzondering positief. “Natuurlijk, het gaat niet om een eigen proposal. Ik doe dit naast mijn eigen onderzoekslijn. Maar ik wil graag weten of de bouwstenen van mijn eigen onderzoek robuust zijn. Naar mijn gevoel denken steeds meer wetenschappers, en zeker jonge wetenschappers, er op die manier over. Dat er in mijn vakgebied toch maar weinig wordt gerepliceerd, komt vooral doordat hersenonderzoek zo duur is, MRI-scantijd kost bijvoorbeeld al snel 300 euro per uur.”

Bouter hoopt dat het NWO-project – uniek in de wereld volgens hem – een expliciete prikkel geeft aan onderzoekers. “We moeten toe naar een gezonde mix van innovatie en replicatie.” Ook elders is te horen dat de behoefte aan het herhalen van onderzoek groeit. Zo komt de KNAW eind dit jaar met een adviesrapport.

Meer repliceren is ironisch genoeg het antwoord op wat in wetenschappelijke kringen in de afgelopen jaren de ‘reproductie-‘ of ‘replicatiecrisis’ is gaan heten. In 2005 schreef Stanfordprofessor John Ioannidis al een artikel onder de titel Why most research findings are false. Volgens hem waren de meeste onderzoeksresultaten niet te reproduceren.

Het beloningssysteem in de wetenschap vereist vooral snel en veel publiceren van positieve resultaten, aldus Ioannidis. Auteurs zijn daarom geneigd met kleine steekproeven te werken. Dit maakt de kans groter dat er toevalstreffers gevonden worden. En dat is slecht voor de kennisopbouw waar wetenschap voor moet zorgen.

Halverwege vorig jaar hield Nature een onderzoek onder 1500 wetenschappers. Zeventig procent zei wel eens een replicatie te hebben uitgevoerd met een nulresultaat, vijftig procent was er niet in geslaagd eigen onderzoek niet repliceren. Slechts een enkeling had geprobeerd een replicatieonderzoek te publiceren, ook omdat tijdschriften deze liever niet opnemen. De helft van de ondervraagden vond dat er inderdaad sprake was van een replicatiecrisis.

Nature Video

De replicatiecrisis wordt gezien als een van de uitingen van een foute wetenschapscultuur die gericht is op hyperspecialisatie in plaats van op maatschappelijke relevantie én op kwantiteit in plaats van kwaliteit. Vanuit Utrecht dringt geneeskundedecaan Frank Miedema en de Science for Transition-beweging vanaf 2013 aan op veranderingen in de publicatiecultuur. “De wetenschap werkt niet zoals het moet”, zei Miedema destijds op DUB. In datzelfde jaar pleitte rector Van der Zwaan voor slow science.

Dat het biomedische veld grote moeite heeft resultaten van experimenten bevestigd te krijgen, bleek onder meer uit bevindingen van onderzoekers van de biotech-bedrijven Amgen en Bayer. Zij konden respectievelijk slecht 11 en 25 procent van eerdere ‘landmark’- studies repliceren. Alleen al in de VS zou 28 miljard aan biomedisch onderzoek niet te herhalen, schreven Amerikaanse onderzoekers twee jaar geleden in PLOS Biology.

Toch kleeft de term ‘replicatiecrisis’ vooral aan de psychologie. Dat vakgebied lag al vanaf ‘annus horribilis’ 2011 onder vuur, onder meer door de fraudezaken rondom Diederik Stapel. In de jaren die volgden waren er vele controverses over beroemde experimenten die niet te repliceren bleken. Meest recente voorbeeld: het potlood-onderzoek dat bewees dat mensen gelukkiger worden door hun gezicht in een glimlacht te plooien.

Maar het was in 2015 een groot onderzoeksproject naar honderd psychologische experimenten dat de discussie op scherp stelde. Slechts iets meer dan een derde van de onderzoeken kon succesvol worden herhaald. Voor de buitenwacht ontstond er het beeld dat er maar wat werd aangeklungeld. De publicatie zorgde ook voor een kleine burgeroorlog onder psychologen. Want hoe betrouwbaar waren de nieuwe replicaties zelf? En bovendien: wat zegt het eigenlijk als een studie niet te repliceren is?

Dat een replicatiestudie niet hetzelfde resultaat oplevert als het origineel betekent immers niet dat het oorspronkelijke onderzoek niet in orde is. De aanvankelijke onderzoeksopzet kan bijvoorbeeld niet duidelijk genoeg zijn geweest; tijdschriften gaven in het verleden weinig ruimte voor de beschrijving daarvan. Daarnaast kunnen de proefomstandigheden of de selectie van proefpersonen net even anders zijn. De meeste wetenschappers beseffen dat ook wel: uit het Nature-onderzoek onder 1500 wetenschappers kwam óók naar voren dat de meeste wetenschappers ondanks alle replicatieproblemen nog wel vertrouwen hebben in de literatuur.“Dat replicatiedebat wordt te scherp gevoerd en vliegt soms uit de bocht”, zegt de nieuwe decaan Sociale Wetenschappen Marcel van Aken. “Wat sommige mensen niet begrijpen is dat repliceren –zeker in de psychologie – erg ingewikkeld is. is. De precieze omstandigheden waarin onderzoek plaatsvindt zijn soms moeilijk constant te houden, zeker als er een aanzienlijke tijd tussen het originele onderzoek en de replicatie ligt. Als een effect of verband bij replicatie niet kan worden terugvonden, betekent dat dus niet dat het er nooit is geweest, en al helemaal niet dat er fraude in het spel is. Het is erg jammer dat de media dan concluderen dat al onze kennis niet klopt.”

Toch kwam Van Aken in een publicatie samen met collega’s vier jaar terug al tot de conclusie dat er wel degelijk wat mis was binnen zijn vakgebied. “Het probleem was niet zozeer dat onderzoek niet te repliceren is, maar dat er te weinig gerepliceerd werd. Alle aandacht ging uit naar snel en veel publiceren; en dan vooral van sexy onderwerpen waarvan je zeker wist dat die de aandacht trokken. Dát was eerder de replicatiecrisis. We moesten af van dat hijgerige; niet na het eerste experiment iets roepen, maar auteurs moeten meer zelf repliceren en tijdschriften moeten dat ook eisen.”

Alle aandacht ging uit naar snelle en sexy onderwerpen

Van Aken en zijn collega’s deden enkele aanbevelingen. Alle betrokkenen; auteurs, tijdschriften, universiteiten en onderzoeksfinanciers zouden moeten meewerken aan een cultuuromslag en de voorwaarden voor goede replicatie verbeteren. In vier jaar tijd zijn er al flink wat stappen gezet, ziet Van Aken. “Het is aan het veranderen. Niet omdat wij het zeiden, maar omdat het veld er zelf om vraagt.”

Zo zijn er volgens Van Aken steeds meer kwaliteitswaarborgen in het publicatieproces. Er wordt bijvoorbeeld vaker gewerkt met pre-registratie waarbij auteurs van te voren moeten aangeven wat ze gaan onderzoeken, hoe ze dat willen doen, en wat hun hypothesen zijn. Sowieso moeten auteurs tijdschriften veel meer informatie geven over onderzoeksopzet en analyse dan voorheen, steeds vaker is ook het aanleveren van data vereiste. Allemaal zaken die voorkomen dat wetenschappers in de overvloedige data op zoek gaan naar kleine effecten in kleine steekproeven, maar bovendien het repliceren van onderzoek gemakkelijker maken.

Commissies die beurzen verdelen en sollicitatiecommissies staren zich volgens de decaan ook minder blind op aantallen publicaties en citaties. “Lange cv’s worden minder belangrijk. Wetenschappers moeten laten zien wat werkelijk hun belangrijkste publicaties zijn en waarom.”

Met de psychologie wordt de noodzaak van een cultuuromslag vooral in de geneeskunde gezien. Geïnspireerd door het Science in Transition-geluid probeert het UMC Utrecht de publicatiedrang te temmen. Bij benoemingen voor hoogleraren en uhd’s wordt gekeken naar een heel onderzoeksportfolio in plaats van alleen naar aantallen publicaties en citaties. Er zijn eigen indicatoren ontwikkeld voor de beoordeling van onderzoeksprogramma’s en de afzonderlijke afdelingen werken aan nieuwe beoordelingsmethoden van medewerkers. In een artikel voor Inside Higher Ed zegt decaan Miedema te hopen dat anderen de werkwijze zullen overnemen.

Ook de Utrechtse sociaal wetenschappers Rens van de Schoot en Stefan van der Stigchel zien dat de aandacht voor replicatieonderzoek toeneemt en de publicatiecultuur verandert. De twee werken als lid van de Jonge Akademie aan een project dat de discussie over verschillen in de wetenschapspraktijk moet aanwakkeren.

“Tegenwoordig eisen tijdschriften dat ik mijn eigen onderzoek repliceer en sterker maak”, zegt Stefan van der Stigchel. “Dat was vroeger echt anders, toen was ik meer geneigd om elke afzonderlijke vinding te publiceren.”

Wie nog een loopbaan moet opbouwen, kan zich minder veroorloven

Toch weten de twee sociaal wetenschappers, net zoals hun decaan Van Aken overigens, dat er wel wat kanttekeningen te plaatsen zijn. Zo kunnen er grote verschillen tussen verschillende wetenschappelijke disciplines bestaan. Van de Schoot: “Onderzoek met omvangrijke datasets waarbij personen gedurende vele jaren worden gevolgd, zijn bijvoorbeeld heel lastig te repliceren.”

De vraag is bovendien hoe onderzoeksfinanciers en sollicatiecommissies in andere landen opereren. Als die wel ouderwets tellen, zetten wetenschappers zichzelf op achterstand door al te veel te repliceren. Bovendien is de luxe van het opbouwen van een breed portfolio en reflecteren op en verifiëren van eigen werk volgens Van de Schoot vooral weggelegd voor gearriveerde onderzoekers. “Promovendi en postdocs die nog een loopbaan aan het opbouwen zijn, kunnen zich dat wellicht niet veroorloven. Die moeten met nieuwe vindingen komen en daarover publiceren.”

Geen wonder dat de grote namen knorrig reageren

Dat er misschien toch nog een lange weg te gaan is, beschreef psychologiehoogleraar Denise de Ridder dit voorjaar in een column voor NRC en DUB naar aanleiding van een bezoek aan Nederland van Roy Baumeister. De Princeton-onderzoeker is de grote man achter egodepletie. Over het principe dat wilskracht net als een spier uitgeput kan raken, wordt een heftig wetenschappelijk debat gevoerd sinds het een aantal keer niet te repliceren bleek.

De Ridder in haar column: “Het gaat vaak om grote namen die in het beklaagdenbankje worden gezet door aanstormende onderzoekers. Zij grijpen de kans aan om zich te manifesteren in het competitieve wetenschapsklimaat en lijken soms meer geïnteresseerd in hun eigen succes dan in waarheidsvinding. Geen wonder dat de grote namen knorrig en defensief reageren.”

De ervaring van Nynke van der Laan is tot dusver anders: “De auteur was positief verrast en wilde graag meewerken. Ik kan me voorstellen dat hij misschien wat zenuwachtig is, maar ik zou het zelf ook mooi vinden als mijn werk zou worden overgedaan.”