'Laat je onderzoeksdata controleren’

Onderzoeksgegevens moeten opvraagbaar zijn. Dat is het ideaal. In de praktijk zijn er allerlei haken en ogen, zo bleek bij de derde ontbijtsessie over zorgvuldige wetenschap.

Hoe kun je wetenschappelijke publicaties op juistheid controleren, als de onderliggende onderzoeksdata niet beschikbaar zijn? 

Antwoord: Niet. Of nauwelijks. Zonder de oorspronkelijke vragenlijsten, patiëntgegevens en datasets is herberekenen onmogelijk. Het is onmogelijk om te controleren of er ergens in het proces een foutje - goedschiks dan wel kwaadschiks - is gemaakt. Je moet je collega-wetenschapper op zijn of haar blauwe ogen geloven dat de data zorgvuldig zijn verzameld, verwerkt en geanalyseerd. 

Voorstanders van open data pleiten er daarom al jaren voor om onderzoeksgegevens zo toegankelijk mogelijk te maken. Dat stelt wetenschappers beter in staat om elkaar te controleren of er slordigheid, datamassage of fraude heeft plaatsgevonden. Grote fraudezaken (Stapel, Bax) hebben die discussie nog verder op scherp gezet.

Tal van wetenschappers zijn nu al bereid om ruwe data te delen, als een vakgenoot of directe collega daar om vraagt. Soms is het zelfs voorwaarde om in een wetenschappelijk tijdschrift te komen. Zonder onderzoeksgegevens geen publicatie.

Toch is datadeling makkelijker gezegd dan gedaan. Patiëntgegevens zijn privacygevoelig, en er ook angst onder wetenschappers om hún data met collega-onderzoekers te delen. Straks gaat die concullega met mijn data aan de haal!

Over dat soort afwegingen werd dinsdag door zo’n veertig UU-onderzoekers gediscussieerd. Het was de derde sessie in een serie debatten over zorgvuldige wetenschap. Eerder werd er gediscussieerd over samenwerking met het bedrijfsleven en over publicatiedruk. 

Werner Raub, decaan van de faculteit Sociale Wetenschappen, opende de sessie met de resultaten van een steekproef naar de beschikbaarheid van data in zijn faculteit. Een nieuw initiatief, waarmee de faculteit de archivering van onderzoeksgegevens wil inventariseren.

Van 28 publicaties (twee per afdeling) werden alle onderzoeksgegevens (onder andere de onderzoeksopzet, vragenlijsten en ruwe data) opgevraagd. Een facultaire commissie keek vervolgens of, op basis van de aangeleverde data, de bevindingen uit de betreffende publicatie gerepliceerd zouden kunnen worden. 

Resultaat van de steekproef: ongeveer twee derde van de aangeleverde gegevens is prima in orde. In de andere gevallen was de data incompleet of te ongeordend. In één geval bleken de data door persoonlijke omstandigheden niet beschikbaar. Bij incomplete of niet beschikbare data gaat het volgens Raub vooral om co-publicaties met een auteur van buiten de UU die ‘eigenaar’ is van de data. “Het blijkt dan vaak moeilijk om alle gegevens boven water te krijgen.”

Uit de steekproef bleek ook de grote verscheidenheid aan data binnen de sociale wetenschappen. Antropologen documenteren interviews, sociologen houden grootschalige enquêtes en pedagogen en psychologen doen regelmatig gedragsexperimenten met bijvoorbeeld mri-scanners. Toch werkt de faculteit toe naar een standaardprotocol, dat minimumvoorwaarden schetst voor de opslag en verwerking van onderzoeksgegevens, vertelde Raub. Ook gaat de faculteit de steekproef over enige tijd herhalen, om te kijken of er vooruitgang geboekt is.

Na Raubs presentatie werd de discussie in kleine groepjes, verdeeld over zes tafels, voortgezet. Over de wenselijkheid van open data geen discussie. Over de beren op de weg meer dan genoeg. Een greep uit de bezwaren die over tafel gingen:

• Data-archivering creëert onnodige bureaucratie en het kost veel tijd als we elkaar continu moeten controleren.
• Datasets zijn soms heel groot, en bovendien heeft elk vakgebied zijn eigen soort data. Archivering en ontsluiting is lastig.
• Data-archivering houdt echte fraudeurs niet tegen, vragenlijsten zijn te vervalsen. Zie Diederik Stapel.

Ook dachten de groepjes na over het maken van betere afspraken over data-archivering. Een paar opmerkingen die gemaakt werden: 

• Zorg dat onderzoekers data-archivering niet als een last ervaren. Creëer geen negatieve sfeer waarin je móét archiveren, anders ben je een fraudeur.
• Creëer een goede technische infrastructuur om data te archiveren en geef onderzoekers in functioneringsgesprekken credits voor goede data-archivering.
• Benadruk het belang van goede databehandeling meer in het onderwijs en in de PhD-fase.
• Diederik Stapel is gepakt omdat PhD-studenten hem niet vertrouwden. Laat PhD-studenten elk jaar een anonieme lijst invullen met vragen over het vertrouwen in elkaar, en of collega’s elkaars data checken. En laat PhD’ers bij elkaar controleren of de onderzoeksgegevens op orde zijn.