‘Sloppy science is vaak geen opzet, maar gebrek aan kennis’

“Zo’n zaak als van Diederik Stapel is een uitzondering", zegt Ton Hol. Hij doelt hiermee op de Tilburgse hoogleraar Psychologie die in 2011 ontmaskerd werd omdat hij doelbewust data vervalste om met zijn onderzoek te scoren. “Het probleem is veel vaker dat wetenschappers net iets te makkelijk omgaan met hun data en te snel conclusies trekken. Als universiteiten moet je dat zien te voorkomen door studenten al in hun studie op het hart te drukken voorzichtig met data om te gaan en een sfeer te creëren waarbij wetenschappers hun twijfels met elkaar durven te delen.”

De hoogleraar Rechtsfilosofie aan de Universiteit Utrecht is zo langzamerhand een autoriteit op het gebied van wetenschappelijke integriteit. Hij is voorzitter van de commissie wetenschappelijke integriteit van de universiteiten van Utrecht en  Tilburg en zat commissies voor van spraakmakende integriteitszaken. Voorbeelden zijn een zaak rond de Tilburgse hoogleraar Arie de Ruijter die beschuldigd wordt van promotiefraude en recent nog is hij door de Amsterdamse universieit gevraagd onderzoek te doen naar het vermeend plagiaat in academische redes van de oud UvA-rector Dymph van den Boom. Ook is hij medeauteur van de Nederlandse Gedragscode Wetenschappelijke Integriteit (pdf) en voorzitter van een commissie van de League of European Research Universities (Leru), op het gebied van wetenschappelijke integriteit. In die hoedanigheid schreef zijn commissie in januari 2020 een advies dat alle aangesloten universiteiten hebben omarmd.

Wat was de aanleiding om tot dit Leru-advies te komen?
“Een aantal jaren geleden zag je dat het gezag van de wetenschap steeds meer onder druk kwam te staan. Zo’n Diederik Stapel was een bekende wetenschapper met een mooie lijst van publicaties. Als dan blijkt dat hij data verzon, is dat geen reclame voor de wetenschap. Ook zag je binnen de maatschappij dat mensen vraagtekens gingen zetten bij de uitkomsten van wetenschappelijk onderzoek, bijvoorbeeld als het ging om klimaatverandering. Als reactie hierop heeft de Leru een werkgroep in het leven geroepen om in kaart te brengen waarin het probleem van de wetenschappelijke integriteit schuilt en wat we als Europese universiteiten van elkaar kunnen leren.

"We hebben ook willen inspelen op nieuwe ontwikkelingen. Open science is prachtig als het gaat om de transparantie, maar brengt ook een aantal risico’s met zich mee. Wanneer kan je data bijvoorbeeld wel of niet delen. ”

Wat zijn de conclusies die jullie getrokken hebben?
“Wij concluderen dat opzettelijke fraude binnen de wetenschap echt een uitzondering is. Opzettelijk knoeien met gegevens gebeurt zelden. Wat je wel ziet, is dat het aantal klachten over slordigheden in de wetenschap toeneemt.

"Dat heeft verschillende oorzaken. Zo is de kennis van statistiek of methodiek vaak onvoldoende. Daardoor worden te snel conclusies getrokken die je op basis van de data niet kunt maken. Onderzoekers halen er meer uit dan er in zit.  Je zou willen dat wetenschappers bijvoorbeeld hun statistische analyses vaker laten checken of met collega’s durven te praten als ze twijfelen.

Ook speelt de publicatiedruk een rol. Je hebt resultaten nodig om in aanmerking te komen voor subsidies en dan is het heel verleidelijk om geen tweede check te doen als de resultaten veelbelovend zijn. Die druk moet eraf.”

Is de wetenschappelijke integriteit belangrijker bij onderzoek in opdracht van derden?
"Universiteiten halen veel extra geld binnen door onafhankelijk onderzoek dat ze doen in opdracht van een derde partij. Dat kan oplopen tot gemiddeld 25 procent van de financiering van het onderzoek. Onderzoek in opdracht is op zich geen probleem en zelfs wenselijk als het gaat om de maatschappelijke betekenis van de wetenschappen. Alleen moet je bij dit type onderzoek wel transparant zijn en extra goed verantwoorden hoe je aan het resultaat komt. Belangrijk is het om er voor te waken dat je je niet mag laten beïnvloeden door wensen van de opdrachtgever die je als wetenschapper niet voor je rekening kunt nemen, bijvoorbeeld door conclusies mooier te maken dan ze zijn.

Foto: DUB

"Daarnaast moet je er ook voor waken om de schijn van belangenverstrengeling te voorkomen. Neem nu dat het geval van het Philip Morris Fonds dat een onderzoek wilde financieren naar tabakssmokkel. Een methodisch gezien prima onderzoek dat zou worden uitgevoerd door gerenommeerde onderzoekers, maar de mensen waren bang dat de resultaten door de tabaksindustrie in hun eigen belang gebruikt zouden kunnen worden, bijvoorbeeld om de belasting op tabak te verlagen.

"Je zult dus als universiteit bewust moeten zijn van de gevolgen van het onderzoek, tegelijkertijd dient de academische vrijheid hoog in het vaandel te staan. Daar zit een zekere spanning."

Wat kan er verbeteren volgens de Leru-commissie?
"In de eerste plaats moeten universiteiten heel duidelijk aangeven aan welke eisen een onderzoek moet voldoen. Die norm verschilt per discipline en hier en daar kunnen de vereisten beter worden geëxpliciteerd.

"Verder moeten wetenschappers hun onderzoek altijd kunnen verantwoorden. Dat wil zeggen dat ze aangeven hoe ze aan hun data zijn gekomen en waar mogelijk data delen. In principe moet een onderzoek herhaalbaar zijn. Al zijn we ons er wel van bewust dat je nooit kan garanderen dat de uitkomsten bij herhaling altijd dezelfde zijn. Stel je hebt een vragenlijst, dan kan het zijn dat mensen in de zomer net iets andere antwoorden geven dan in de winter omdat het weer van invloed is op hoe mensen dingen ervaren of zien.

Foto: Pixabay

Daarnaast moeten wetenschappers een goede kennis hebben van de methoden van onderzoek en statistiek. Ook gerichte aandacht voor tal van vaardigheden zoals het maken van plaatjes (imaging) is van belang. Voorkomen moet worden dat plaatjes een vertekend beeld geven van de data. Tenslotte moeten onderzoekers weten waar hun beperkingen zitten. Dat is vooral belangrijk als het gaat om multidisciplinair onderzoek. Elke discipline heeft zijn eigen expertise. Een jurist weet in de regel niet zoveel van econometrie en bij samenwerking is dat goed om te beseffen. Voor dit alles moet aandacht zijn in het academisch onderwijs en tijdens een promotietraject."

In hoeverre speelt open science bij dit alles een rol?
"Open science maakt het onderzoek meer transparant en wordt beter toegankelijk voor de maatschappij. Ook dat is een kwestie van goede onderzoekspraktijken en ethiek. De onderzoeker deelt daarbij niet alleen de wetenschappelijke inzichten, maar vaak ook de data. Dat heeft echter een keerzijde. Wat zijn de grenzen van het delen van data? Bijvoorbeeld als je kijkt naar de privacy. Zijn respondenten te herkennen? Bovendien bestaat er het risico dat een derde met de data aan de haal gaat. Denk daarbij bijvoorbeeld aan een commercieel bedrijf. Je wilt niet dat anderen op jouw onderzoek meeliften. Daarom zeggen wij: Maak het onderzoek zo open als mogelijk en zo gesloten als noodzakelijk is."

In het rapport staat dat u tegen anonieme klachten bent. Maar binnen de wetenschap is toch vaak sprake van machtsongelijkheid en heb je dan niet juist klokkenluiders nodig?
"Jazeker, het is goed en vaak ook moedig als men de klok luidt, maar doe dat niet anoniem. Niet voor niets verdienen klokkenluiders bescherming en mogen zij geen nadeel ondervinden van het klokkenluiden. Dit is om de machtsongelijkheid te compenseren. Waarom is anoniem klagen onwenselijk. Als er een klacht tegen jou als wetenschapper wordt ingediend, heeft dat een enorme impact. Je reputatie staat op het spel. Mensen liggen er echt wakker van. Dan moet je ook het recht hebben om je te kunnen verdedigen. Tegen anonieme klagers is dat onmogelijk. Soms blijkt dat zo’n klager bewust uit is op het schade toebrengen aan de ander. Bijvoorbeeld omdat ze een conflict hebben gehad.

"Ik trek hier vaak een parallel met de rechtspraak. Als je terecht staat als verdachte in een strafzaak moet je weten wie de getuigen zijn om je te kunnen verdedigen. Wellicht hebben mensen getuigd die nog een appeltje te schillen hebben met de verdachte. Dat kleurt zo’n getuigenis mogelijk.

"In uitzonderlijke gevallen kan een bestuur besluiten een zaak te laten onderzoeken na anonieme melding, bijvoorbeeld wanneer de zaak op straat ligt, het onderzoek ook zonder anonieme klager kan worden gedaan en als het om iets heel gewichtigs gaat."

In hoeverre moeten universiteiten de probleemgevallen binnenskamers houden of naar buiten brengen?
"Omdat klachtenprocedures zo’n grote impact hebben en in de meeste gevallen uiteindelijk niet heel ernstige dingen aan het licht komen, is het belangrijk dat zaken vertrouwelijk worden behandeld. Onderzoeksrapporten worden dan ook geheel geanonimiseerd naar buiten gebracht. In de rechtspraak is dat niet anders waar het gaat om de vonnissen. Je kunt dan wel zien wat er speelt en hoe de universiteit dat heeft aangepakt en blijven de personen waarom het ging buiten beeld. Maar in de praktijk werkt dit helaas niet altijd. Vaak kunnen mensen de geanonimiseerde aanklachten toch koppelen aan een persoon. En wanneer een zaak in de media geweest is, voelen de universiteiten zich soms genoodzaakt om de hele kwestie toch maar openbaar te maken.”

"Er is ook discussie over de vraag of universiteiten niet in alle gevallen openheid van zaken moeten geven. Een land als Zweden is een voorbeeld waar zaken met naam en toenaam openbaar worden gemaakt. Ik ben daar niet voor, want meestal gaat het niet om ernstige dingen. Als namen naar buiten worden gebracht, ziet het bredere publiek vaak niet de nuance en is al snel de reputatie in het geding. Waar rook is, is vuur. Niet voor niets zijn ook kranten over het algemeen terughoudend met het noemen van de volledige naam van verdachten in een strafzaak.

Foto: rawpixel via Pxher

"Er kan echter een situatie zijn waarin het van belang is dat een andere universiteit waar iemand is gaan werken op de hoogte wordt gebracht van een schending van de wetenschappelijke integriteit. Dat is dan aan het bestuur van de universiteit. Het is wel lastige materie in verband met de bescherming van de privacy. Maar de hoofdregel moet zijn om zeer terughoudend te zijn met publiciteit rond zaken. Voor je het weet zijn het niet meer de commissies wetenschappelijke integriteit die goed geïnformeerd oordelen over affaires, maar oordeelt het brede publiek en dat pakt niet per se goed uit."  

Zoals recentelijk in de plagiaataffaire rond de oud Amsterdamse rector Dymph van den Boom waar u in de commissie zat?
“Normaal gesproken zeg ik niks in het openbaar over zaken waarover ik adviseer, maar hier maak ik een uitzondering. Ja, zij was in de media al veroordeeld voordat er onderzoek gedaan was. Wij hebben dat in onze commissie ‘trial by media’ genoemd. Het gaat om allerlei redenen om een uiterst complexe zaak, die via een normale klachtenprocedure behandeld had kunnen worden. Wij hebben in dit geval gewezen op (een patroon) van onzorgvuldigheden in bronvermelding en citeren, maar zijn niet tot de conclusie gekomen dat er sprake zou zijn van plagiaat. Zij heeft geen werk van anderen gepresenteerd als haar eigen werk. Zeker wanneer je de achtergrond van de toespraken in ogenschouw neemt. Je ziet dat in de mediapublicaties achteraf heel selectief uit het advies geciteerd wordt. Dat is schadelijk voor iedereen.”

Als je de balans opmaakt. Hoe staat het dan met de wetenschappelijk integriteit in Nederland?
"In Nederland zie je dat er veel aandacht voor is. Kijk naar Utrecht waar we al veel werk verzet hebben. Vanaf 2014 moeten promovendi bij de UU een eed afleggen en nieuwe medewerkers een wetenschappelijke gedragscode tekenen. Wij hebben een teaching fellow hebben die onderzoekt hoe wetenschappelijke integriteit in het onderwijs een plek kan krijgen. Ook is er steeds meer expertise opgebouwd op dit terrein. Het is niet voor niets dat iemand uit Utrecht voor deze werkgroep is gevraagd.

"Het is wel opvallend dat we in Europa op een andere manier omgaan met de wetenschappelijk integriteit dan in de Verenigde Staten. In Europa hebben we als het gaat om integriteit een meer reactieve houding. We reageren op misstanden als daarover wordt geklaagd. In de VS is men meer pro-actief. Daar controleren ze onderzoek ook zonder dat er klachten zijn. Ik denk dat dit niet goed past binnen onze cultuur. We gaan meer uit van onderling vertrouwen en wat mij betreft moet dat zo blijven. Op basis van vrijwilligheid vind ik het echter aan te bevelen. Goed als iemand, steekproefsgewijs bijvoorbeeld kijkt naar de statistische analyses van onderzoek. Wat dat betreft valt er wel het nodige te leren van de VS waar men al langer dan in Europa werk maakt van de wetenschappelijke integriteit. “