NWO lanceert groot onderzoek naar sloppy science

Een doorbraak in de strijd tegen kanker, de gevolgen van klimaatverandering, het gevaar van gewelddadige games… NWO gaat wetenschappers vragen hoe vaak ze hun onderzoek spannender laten klinken dan het is.

Onderzoeksfinancier NWO heeft vijf miljoen euro uitgetrokken voor het nieuwe onderzoeksprogramma ‘Bevorderen van Verantwoorde Onderzoekspraktijken’. Daarmee wil NWO gedurende vijf jaar de praktijk van het wetenschappelijk onderzoek onder de loep nemen. Een grote landelijke enquête onder wetenschappers hoort daarbij.

Het project staat nog in de kinderschoenen, benadrukt Lex Bouter, voormalig rector van de Vrije Universiteit en nu hoogleraar methodologie en integriteit. Hij is één van de drijvende krachten achter het nieuwe onderzoeksprogramma.

Maar hij wil wel een tipje van de sluier oplichten. “We willen aan collega’s van universiteiten, ziekenhuizen en onderzoeksinstituten vragen hoe ze tegen verschillende vormen van ongewenst gedrag in de wetenschap aankijken. Snijden ze zelf wel eens een bocht af om hun onderzoek spectaculairder en positiever te maken? En waarom doen ze dat?”

Komen alle wetenschappers in de verleiding om hun onderzoek mooier voor te stellen dan het is?
“De meesten zullen wel eens de neiging voelen om er een draai aan te geven, een beetje selectief in hun weergave te zijn en vooral te melden wat hun eigen vooronderstellingen bevestigt. Dat is begrijpelijk. De truc van wetenschap is nu juist om die neiging te weerstaan. We hebben lang gedacht dat regelrechte fraude het grootste probleem van de wetenschap was: data vervalsen, zoals Diederik Stapel deed. Maar het afsnijden van bochten gebeurt veel vaker. Dat is eigenlijk belangrijker. We willen geen boeven in het cachot gooien, we willen de onderzoekspraktijk verbeteren.”

Wat verstaat u onder ‘bochten afsnijden’?
“Het kan van alles zijn. Je kunt eindeloos analyses doen en alleen de uitkomsten melden die je eigen vooroordeel bevestigen. In onderzoek naar nieuwe geneesmiddelen kun je het vergelijkingsmiddel suboptimaal doseren, zodat het nieuwe medicament makkelijk wint.  Of je kunt jezelf als auteur bij een artikel laten vermelden dat je eigenlijk niet hebt geschreven. Daar vertellen veel promovendi anekdotes over. Soms leveren grote bedrijven data, analyses en artikelen en dan vragen ze een big shot of hij er geen auteur van wil zijn, desnoods tegen betaling. Mensen zijn soms ijdel en inhalig.”

Bent u daar wel eens voor benaderd toen u nog epidemiologisch onderzoek deed?
“Nee, ikzelf deed geen onderzoek dat daarvoor in aanmerking kwam. Dit weet ik allemaal uit verhalen van collega’s.”

Heeft u zelf wel eens het grijze gebied opgezocht?
“Alle wetenschappers staan bloot aan de verleiding, daar ben ik geen uitzondering op. Het probleem is dat je je er niet altijd van bewust bent. Soms zie je dingen in een heel gekleurd licht. Afstand nemen is de kunst van wetenschap. Vooral als je de discussieparagraaf schrijft, willen er wel eens zinnen uit de tekstverwerker rollen waarvan je na enige reflectie denkt: wordt dit eigenlijk wel door mijn onderzoek ondersteund?”

Kun je hier wel goed onderzoek naar doen? Valsspelers zullen zo’n vragenlijst toch niet eerlijk invullen?
“Vergelijk het met fraude in de sociale zekerheid of belastingontduiking. Je kunt daar behoorlijk goed onderzoek naar doen, als je kunt garanderen dat mensen anoniem blijven. Er zijn ook wel eerder enquêtes onder wetenschappers gehouden: twee procent geeft serieuze fraude toe en zo’n 34 procent heeft wel eens het grijze gebied opgezocht. Maar dat zal een onderschatting zijn.”

Hoe gaat u ervoor zorgen dat onderzoekers zich veilig genoeg voelen om eerlijk te antwoorden?
“Daar kun je allerlei methodes voor gebruiken. Een heel mooie manier is de randomized respons. Je vraagt mensen bijvoorbeeld of ze wel eens gefraudeerd hebben, maar voordat ze antwoorden moeten ze een muntje opgooien. Als het kop is, antwoorden ze sowieso ja. Als het munt is, moeten ze eerlijk ja of nee invullen. Het mooie is dat dan minstens de helft van alle respondenten ja zegt: je weet alleen niet wie van hen werkelijk een fraudeur is. Maar als dan meer dan de helft ‘ja’ invult, kun je alsnog uitrekenen hoe vaak fraude voorkomt.”

Hoe zou je de onderzoekspraktijk kunnen verbeteren?
“Daar is verrassend weinig onderzoek naar gedaan, maar het speelt volgens mij op drie niveaus. Het probleem zit in de mens zelf, met diens persoonlijkheid, opvoeding en opvattingen. Maar het zit ook in de onderzoekscultuur: is het normaal om elkaar een beetje te controleren en op fouten aan te spreken? Kun je het samen over je dilemma’s hebben? En ten slotte heb je het systeem van de wetenschap zelf, met hypercompetitie en de malle obsessie met het aantal citaties per artikel die nogal wat druk op wetenschappers zet. Als we meer inzicht krijgen in de onderzoekspraktijk, dan kunnen we die ook verbeteren.”