Rondom replicaties ontstaat nogal eens een onprettige sfeer

Hoe betrouwbaar is wetenschappelijk onderzoek? Deze vraag duikt met enige regelmaat op in kranten, weekbladen en radio- en televisieprogramma’s. Vaak hebben publicaties hierover een rellerig ondertoontje, alsof problemen met betrouwbaarheid het gevolg zijn van klungelige, rommelende of zelfs frauderende onderzoekers. Sinds een jaar of vijf wordt betrouwbaarheid nadrukkelijk gekoppeld aan replicatie: men neemt bevindingen pas serieus als ze door anderen in onafhankelijk onderzoek zijn gereproduceerd.

De resultaten van dergelijk replicatieonderzoek zijn vaak ontluisterend. Bij een groots opgezette studie, in 2015 gepubliceerd in Science, bleek dat slechts 36 procent van de replicaties dezelfde effecten liet zien als de oorspronkelijke – honderd – onderzoeken in de sociale een cognitieve psychologie. Hebben we te maken met een ‘replicatiecrisis’ in de psychologie en zo ja, wat kunnen we daaraan doen?

Veel onderzoeksresultaten niet steekhoudend
Dat was het thema van een tweedaagse conferentie die onlangs in Utrecht plaatsvond, georganiseerd door Ivan Flis (Descartes Centrum, Universiteit Utrecht) en Thomas Sturm (Universitat Autonoma de Barcelona). De sprekers hadden uiteenlopende achtergronden: statistiek, geschiedwetenschap, filosofie, methodenleer, en cognitieve en sociale psychologie. Uit de kaleidoskoop aan visies en bijdragen laat zich het volgende beeld destilleren.

Stel dat veel onderzoeksresultaten inderdaad niet steekhoudend zijn, hoe komt dat dan? Vrijwel alle aanwezige methodologen (Christopher Green, Jelte Wicherts, Sacha Epskamp, Daniël Lakens) waren het er over eens dat allerlei ingeslepen methodologische en statistische praktijken (zoals p-hacking) hieraan debet waren – discutabel, maar niet per se frauduleus. Door de vrijheid die onderzoekers hebben om de resultaten van hun onderzoek te optimaliseren, kunnen de effecten krachtiger gaan lijken dan ze in werkelijkheid zijn. Geen wonder dat veel van dergelijke mooie effecten bij replicaties niet worden teruggevonden.

In goede naam aangetast
Waarom doen die onderzoekers dat? In weerwil van pleidooien voor slow science, is in het wetenschapsbedrijf flink publiceren nog steeds de norm. Publiceren lukt vooral goed als je iets nieuws te melden hebt (of lijkt te hebben). Wetenschappelijke tijdschriften zijn niet of nauwelijks geïnteresseerd in het publiceren van replicatieonderzoek. Dit leidt ertoe dat er vrijwel uitsluitend ‘originele’ studies gepubliceerd worden. Nu er twijfel wordt gezaaid aan de betrouwbaarheid daarvan, wordt allerwegen op meer replicatiestudies aangedrongen om zo het kaf van het koren te scheiden (onlangs nog in een advies van de KNAW).

Rondom replicaties ontstaat nogal eens een onprettige sfeer. De oorspronkelijke onderzoekers voelen zich in hun eer en goede naam aangetast door replicerende ‘amateurs’ die weinig gevoel zouden hebben voor de finesses van het betreffende type onderzoek. Omgekeerd zijn de replicatoren (‘methodological terrorists’) vaak niet al te zachtzinnig in hun kritiek op de oorspronkelijke onderzoeken. Beide partijen neigen er soms toe de man (of vrouw) te spelen en niet de bal (zie bijvoorbeeld een artikel in New York Times Magazine, oktober 2017, over de rel rond sociaalpsycholoog Amy Cuddy).

Hoe onwenselijk ook, de verwijten over en weer wijzen op een dieper liggende vraag: is zoiets als een exacte replicatie wel mogelijk? Dat zou immers inhouden dat je heel precies de opzet en uitvoering van het oorspronkelijke onderzoek nabootst, inclusief alle kleinere beslissingen die onvermijdelijk in zo’n onderzoek genomen waren. Dat is (zeker in de menswetenschappen) buitengewoon moeilijk, en misschien is dat ook de reden dat ‘conceptuele’ replicaties (= andere operationalisatie van dezelfde variabelen) populairder zijn dan exacte replicaties.

Cumulatieve theorievorming
Uljana Feest (Hannover) vroeg zich af of niet-conceptuele replicaties überhaupt mogelijk zijn; iedere operationalisatie behelst immers een – conceptuele – keuze uit diverse mogelijkheden, en je weet in de menswetenschappen nooit helemaal zeker wat nu de essentie is van je onafhankelijke en afhankelijke variabelen. Het is echter wel zaak om zo veel mogelijk zekerheid te krijgen. Dat vergt eerder geduldig exploratief, theoriegericht werk dan het opzetten van een batterij replicatieonderzoeken die niet veel meer zijn dan ‘lawaaiige kopieën van een theoretisch prototype’, zoals Klaus Fiedler (Heidelberg) het uitdrukte.

Wat te doen? Er is inmiddels een standaardpakket aan maatregelen voorhanden, goed samengevat in het bovengenoemde KNAW-rapport: verbeter de onderzoeksmethodes, verbeter de verslaglegging, creëer de juiste prikkels. Vooral dat laatste is lastig, want het vereist een andere inrichting van de cyclus van onderzoek – publicatie – financiering. Het vereist ook samenwerking in plaats van competitie; op de conferentie werd het Open Science Framework meermalen als goed voorbeeld genoemd. Uiteindelijk concludeerde men dat achter de zogenaamde replicatiecrisis van de psychologie een heel ander probleem schuil gaat: een gebrek aan cumulatieve theorievorming en dus veel te veel ‘theorettes’. Werken met andermans theorie lijkt te voelen als het gebruiken van andermans tandenborstel: nee, toch maar liever niet…