Acht vragen over de verplichte opslag van onderzoeksdata

Per 1 januari 2016 moeten wetenschappers van de Universiteit Utrecht ervoor zorgen dat hun werk beter controleerbaar is. Als ze een wetenschappelijk onderzoek publiceren, moeten de ruwe onderzoeksdata “duurzaam” opgeslagen worden. Van vragenlijsten tot video-opnames tot de stappen die genomen zijn om data te bewerken: alles moet minstens tien jaar bewaard worden.

1. Waarom deze nieuwe richtlijn?

De Universiteit Utrecht wil er met het nieuwe beleid voor zorgen dat “de kwaliteit, beschikbaarheid en toegankelijkheid van onderzoeksdata binnen de Universiteit Utrecht geborgd is en getoetst kan worden of voldaan wordt aan wet- en regelgeving en gedragscodes”. Met andere woorden: de bij wetenschappelijk onderzoek gebruikte data moeten te allen tijde opvraagbaar en controleerbaar zijn.

De nieuwe richtlijn volgt anderhalf jaar na de introductie van de Code Zorgvuldige en Integere Wetenschap, een gedragsvoorschrift waarin de universiteit duidelijker het belang van wetenschappelijke integriteit wilde onderstrepen. De universiteit heeft onlangs ook een eed voor promovendi ingevoerd: bij de promotieceremonie moeten doctors in spe beloven dat ze hun werkzaamheden als wetenschapper op een zorgvuldige en integere manier blijven verrichten.

De universiteit wil een “klimaat van transparantie en discussie” creëren, zei rector Bert van der Zwaan twee jaar geleden in een interview met DUB. Ook moeten wetenschappelijke medewerkers zich meer bewust zijn van de persoonlijke verantwoordelijkheid die ze hebben. Van der Zwaan: “Ben je je data kwijt? Is je disk gecrasht? Nu is er snel de neiging om te zeggen: sorry, ik kon er écht niks aan kan doen. Dat moet anders. Medewerkers hebben een eigen verantwoordelijkheid.”

2. Wat verandert er?

Van iedere onderzoeker wordt verwacht dat hij of zij de volledige set van gebruikte onderzoeksdata “duurzaam” archiveert. Van vragenlijsten tot video-opnames tot de stappen die genomen zijn om data te bewerken: alles moet minstens tien jaar bewaard worden voor “toegang en hergebruik” door andere wetenschappers. Belangrijk is ook dat het datapakket compleet wordt aangeleverd, zodat “verificatie van het onderzoek” mogelijk is.

Primaire verantwoordelijkheid voor de archivering ligt bij degenen die de data creëren, vaak de eerste auteur van een wetenschappelijke publicatie. Onderzoeksdirecteuren en decanen zien erop toe dat onderzoekers écht serieus werk maken van het archiveren.

Van studenten wordt eveneens verwacht dat zij zich bewust zijn van goed datamanagement, zij delen die verantwoordelijkheid met hun begeleiders. Wat betreft het archiveren van door studenten gecreëerde data: daar ziin geen centrale afspraken over gemaakt. Binnen de faculteit Sociale Wetenschappen is afgesproken dat de onderzoeksdata die researchmasterstudenten voor hun thesis gebruiken, verplicht moeten worden opgeslagen. Die afspraak geldt niet voor het onderzoek van de andere masterstudenten.

3. Waar worden al die data opgeslagen?

Het is aan faculteiten en onderzoeksinstituten om te bepalen hoe data het best duurzaam opgeslagen kunnen worden. Voorwaarde is dat de data worden bewaard in een structuur die geschikt is voor langdurige opslag. Verder moet de toegang geregeld worden in een “zo gebruiksvriendelijk mogelijke omgeving”. Dat kan zijn op een server van de UU, maar ook bijvoorbeeld bij DANS, een instituut voor data-archivering in de alfa- en gammawetenschappen.

De faculteit Sociale Wetenschappen heeft besloten dat opslag in de cloud, bij diensten als Dropbox, niet is toegestaan. Archivering op harde schijven en usb-sticks die eigendom zijn van privépersonen, is ook uit den boze. Dat “voldoet niet”, staat in de facultaire regels (pdf). Opslag moet namelijk “veilig” en “robuust” zijn, en er moet een systeem zijn waarbij automatische backups worden gemaakt.

4. Zijn de nieuwe regels te danken aan Diederik Stapel?

Zes jaar geleden was er van duurzame data-opslag onder academisch psychologen nog helemaal geen sprake, bleek uit een steekproef die vakblad De Psycholoog in 2010 hield. Ruwe data werden veelal bewaard op privécomputers, cd’s of dvd’s, met als risico dat data regelmatig zoekraakten.

Mede door toedoen van de frauduleuze onderzoekspraktijken van Diederik Stapel is daar verandering in gekomen. Er is in Nederland een serieus debat op gang gekomen over wetenschappelijke integriteit en hoe die te bevorderen. Diverse universiteiten hebben inmiddels protocollen aangenomen met betrekking tot de wijze van verzamelen van onderzoeksdata en de controle op die data.

Maar het gaat veel te ver om die cultuuromslag geheel toe te schrijven aan Diederik Stapel, vindt Henk van Rinsum, bestuurssecretaris van de faculteit Sociale Wetenschappen. “Het valt niet te ontkennen dat 'de zaak-Stapel' de boel ook in beweging heeft gebracht, maar er is veel meer aan de hand. Internationaal is er een toenemende roep om meer openheid met data. Kijk maar op een blog als Retraction Watch, waar geschreven wordt over wetenschappelijke fraude en slordigheid. De samenleving wil weten waar de wetenschap zijn beweringen op baseert.”

Van Rinsum, die betrokken is bij het opstellen van data-afspraken binnen Sociale Wetenschappen, benadrukt bovendien dat de nieuwe regels niet bedoeld zijn om de volgende Diederik Stapel te vinden. “Daar het gaat het hier niet om. Dit gaat om accountability: laten zien hoe je te werk bent gegaan. Bij Stapel ging het niet om onzorgvuldigheid, maar om fraude. Hij verzon zijn data. En dat is van een geheel andere orde.”

5. Hoeveel extra werk vergt de verplichte data-opslag?

Bij elk afgerond onderzoeksproject dient "de volledige set van gebruikte onderzoeksdata" te worden bewaard. Van ruwe data en metingen tot metadata en software-scripts: alles moet bewaard worden zodat het onderzoek eventueel geverifieerd kan worden door anderen. 

Het archiveren klinkt als een enorme klus. Maar volgens Esther Stiekema, hoofd onderzoeksbeleid van de Universiteit Utrecht, moet duurzame archivering niet gezien worden als extra taak. “We maken alleen expliciet wat de verantwoordelijkheden van wetenschappers nu al zijn”, zegt ze, verwijzend naar onder meer de gedragscode van universiteitenvereniging VSNU. Die gedragscode schrijft al een bewaartermijn van tien jaar voor van de onderzoeksdata na publicatie.

Lastiger wellicht zijn steeds de strengere nationale regels omtrent persoonsgegevens, die sinds dit jaar gelden. Door die nieuwe wetgeving moeten wetenschappers meer werk steken in het anonimiseren van data, zodat informatie niet meer herleidbaar is tot personen. Hoe bijvoorbeeld om te gaan met video-opnames van proefpersonen? Moeten wetenschappers bij het archiveren van die data balkjes voor de ogen van de proefpersonen monteren? Met dat soort vragen wordt binnen de universiteit nog geworsteld.

6. Mag iedereen nu in andermans data snuffelen?

De nieuwe regels hebben vooral betrekking op archiveren. Of de data vervolgens ook gedeeld (mogen) worden, is afhankelijk van allerlei factoren. Zijn de data privacygevoelig? Concurrentieoverwegingen kunnen ook een reden zijn om de ruwe data tijdelijk achter slot en grendel te zetten. Sommige studies, zoals het YOUth-project, waarin gekeken wordt naar de ontwikkeling van gedrag van opgroeiende kinderen in de regio Utrecht, lopen zo lang, dat de data pas later gedeeld hoeven te worden. Anders gaan concurrenten met de data aan de haal.

Maar als algemeen principe geldt wel dat de onderzoeker inzicht moet geven in de data waar een publicatie op gebaseerd is, vindt Esther Stiekema. “Als een journalist of een andere wetenschapper naar je data vraagt, zou je die moet geven. Tenzij je goede redenen hebt om daar van af te wijken.”

Voor de wetenschap zelf is het ook goed als er meer data gedeeld worden, zegt cultuurpsycholoog Ruud Abma, auteur van De Publicatiefabriek, een boek over de zaak-Stapel. “Datadeling moeten we toejuichen. Daarmee voorkom je dat wetenschappers dubbel werk doen. Wetenschappers kunnen nieuwe vragen stellen met behulp van andermans datasets.”

7. Wie controleert of data compleet en correct zijn?

Leidinggevenden (decanen, hoogleraren) hebben de verantwoordelijkheid om erop toe te zien dat onderzoekers zich houden aan de richtlijnen. En ook van co-auteurs van wetenschappelijke publicaties wordt verwacht dat zij weten of de data op een correcte en zorgvuldige manier wordt opgeslagen.

Om te testen of wetenschappers hun data op orde hebben, hield de faculteit Sociale Wetenschappen de afgelopen jaren al twee keer een steekproef. Van tientallen publicaties werden alle onderzoeksgegevens (onderzoeksopzet, vragenlijsten en ruwe data) opgevraagd. Een facultaire commissie keek vervolgens of, op basis van de aangeleverde data, de bevindingen uit de betreffende publicatie gerepliceerd zouden kunnen worden.

“Met die steekproeven willen we onderzoekers voorbereiden op de vragen die gesteld kunnen worden over hun onderzoek”, legt Henk van Rinsum uit. Van Rinsum is secretaris van de commissie die de steekproeven uitvoert. “Het is belangrijk dat wetenschappers transparant kunnen laten zien hoe ze tot bepaalde conclusies zijn gekomen.”

Toch zorgden die steekproeven ook voor een gevoel van wantrouwen binnen de faculteit. Cultuurpsycholoog Ruud Abma was betrokken bij een studie die binnenstebuiten werd gekeerd. “Je hebt toch een beetje het gevoel dat je op het matje geroepen wordt. We zijn niet allemaal Diederik Stapels.”

8. Is er nu minder kans op sloppy science?

Echte fraudeurs hou je met een dataprotocol niet tegen. Wie kwaad wil, kan nog steeds zijn eigen data vervalsen. Het wordt nu wel makkelijker om dubieuze wetenschap onder het vergrootglas te leggen, omdat de ruwe data op centrale servers bewaard worden. Als iemand iets te voortvarend outliers uit zijn dataset verwijdert, of de data net zo lang masseert totdat er iets significants uitkomt, dan is het bewijs daarvoor later terug te vinden.

Cultuurpsycholoog Ruud Abma ziet liever andere maatregelen om de integriteit in de wetenschap te bevorderen. “Doe iets aan de publicatiedruk en zorg ervoor dat we meer tijd nemen om elkaars onderzoek goed te lezen. Dan voorkom je pas echt dat mensen bochten gaan afsnijden om tot publicabele onderzoeksresultaten te komen.”