Masterstudenten op zoek naar ‘mislukt’ onderzoek voor nieuw wetenschappelijk tijdschrift

In Nature beschrijft een onderzoeker in Canada deze maand hoeveel moeite het hem had gekost om de resultaten van een onderzoek naar de veelgeroemde CRISPR-methode voor genetische modificatie gepubliceerd te krijgen. Belangrijkste reden: hij had geen positieve resultaten aangeleverd. De auteur constateert dat wetenschappers en tijdschriften zo gewend zijn geraakt alleen succesverhalen te vertellen dat ze vergeten dat wetenschappelijke vooruitgang voorkomt uit falen. “We hebben meer eerlijkheid nodig in de wetenschap.”

Het zijn dit soort verhalen dat een groep Utrechtse studenten van de Master History & Philosophy of Science eind vorig jaar op een idee bracht. Er zit klaarblijkelijk een gat tussen wat er onderzocht wordt en wat er gepubliceerd wordt, merkten zij. En de wetenschap is daar niet mee geholpen. De vier namen het opmerkelijke initiatief voor een wetenschappelijk tijdschrift voor artikelen die ‘fouten’ aan het licht brengen en alleen om die reden niet eenvoudig ergens anders gepubliceerd kunnen worden.

Ontdekkingstocht
De titel van het tijdschrift is Monty Pythonesk: The Journal of Trial and Error. Zoals het Ministry of Silly Walks ooit het absurde van de politiek aan de kaak stelde, lijkt hier de wetenschap de maat te worden genomen. Initiatiefnemers Martijn van der Meer en Stefan Gaillard moeten lachen als ze - niet voor het eerst - geconfronteerd worden met de vergelijking. Martijn: “Aanvankelijk dachten we zelfs aan Journal of Failure of Journal of Failed Experiments.”

Toch is het tijdschrift een uiterst serieuze zaak. Er staat een call for papers uit voor de eerste editie die volgend jaar zomer moet uitkomen. Aan alle logistieke randvoorwaarden voor een geloofwaardig wetenschappelijk tijdschrift is inmiddels voldaan.

Stefan: “Dat was een ontdekkingstocht op zich. Je wilt niet weten wat er allemaal bij komt kijken. Je artikelen moeten straks vindbaar zijn in zoeksystemen en moeten volgens een bepaalde systematiek unieke kenmerken - zogenoemde digital object identifiers - krijgen, om maar iets te noemen. En we willen bijvoorbeeld ook open access publiceren. Gelukkig zijn we daar heel goed mee geholpen door de medewerkers van de UB.”

Erg voor de wetenschap zelf
Voorzitter Martijn en penningmeester Stefan verklaren hun enthousiasme uit een soort productieve desillusie. Net als veel andere jonge onderzoekers werden zij overvallen door het besef dat de wetenschap geplaagd wordt door de onrealistische verwachtingen van grensverleggende doorbraken en de verstikkende ‘publish or perish’-cultuur.  Dat maakt dat onderzoekers soms de grenzen opzoeken om maar met positieve onderzoeksresultaten te kunnen komen.

Martijn: “Onze master richt zich deels op het bestuderen van de wetenschap als systeem. Als student kun je je dan gaan afvragen of die wetenschap eigenlijk wel zo leuk is. Maar wij vinden dat de problemen vooral erg zijn voor de wetenschap en voor de wetenschappers zelf. Met dit tijdschrift hopen we een kleine bijdrage te kunnen leveren aan het oplossen van die problemen. Ook omdat we misschien zelf ooit verder willen in het onderzoek.  En het proces van trial and error is nu eenmaal het fundament onder goede wetenschap.”

Dode zalm
Het nieuwe tijdschrift wil zich richten op artikelen waarvan de resultaten niet tegemoet komen aan de verwachtingen die de onderzoeker zelf had, maar die wel nuttig zijn voor de wetenschap als geheel of voor andere onderzoekers uit de betreffende discipline. Het publiceren daarvan kan bijvoorbeeld methodologische fouten aan het licht brengen, denken de twee. Ze verwijzen ter illustratie naar het bekende experiment waarbij fMRI-scans hersenactiviteit in een dode zalm aantoonden. Dat liet zien dat niet alle onderzoekers die met de scans werkten, begrepen dat ze correcties op de waarnemingen moesten aanbrengen om tot deugdelijke resultaten te komen.

Maar het kan ook gaan om artikelen die conceptuele problemen belichten. Martijn: “We horen af en toe emotionele verhalen van promovendi. Die zijn soms maanden bezig zijn met een onderzoek zonder dat dat tot de verwachte resultaten leidt en horen dan bijvoorbeeld terloops tijdens een borrel na een wetenschappelijk congres: o ja, maar dat werkt ook niet, dat wisten we al lang. Maar dat was dus nooit ergens gepubliceerd. Iedereen moet opnieuw het wiel uitvinden; verspilde energie waarmee de wetenschap nu niet bepaald gediend is.”

Tussen aanhalingstekens
De twee hopen op korte artikelen waarbij de auteurs gevraagd wordt naast de bekende IMRAD-structuur (Introduction, Methods, Results, and Discussion) ook een paragraaf te wijden aan het oorspronkelijke doel (‘purpose’) van het onderzoek en een ‘take home’-boodschap. De artikelen worden dubbelblind gepeerreviewed. Bovendien zullen wetenschapshistorici, -filosofen of -sociologen en methodologen en theoretici worden gevraagd te reflecteren op wat er nu precies aan de hand is en welke wetenschappelijke ‘fouten’ het artikel aantoont.

“Wij zijn dus niet op zoek naar sloppy science”, benadrukt Stefan. “Daarom moet ‘fouten’ ook echt tussen aanhalingstekens staan.” Martijn: “Het is ook niet zo dat we de wetenschap willen ontmaskeren of iets dergelijks. We willen toe naar een platform waarop wetenschappers eenvoudigweg zeggen: dit is niet goed gegaan om die en die reden.”

De reflectieartikelen in het tijdschrift dwingen volgens Martijn en Stefan om dieper na te denken over eventueel impliciete aannames binnen de onderzoekspraktijk en over wat er nodig en mogelijk is om de wetenschap verder te helpen. Martijn: “We staan voor een interdisciplinaire en constructieve blik op wetenschap. We moeten het samen doen.”

Met de billen bloot
Helemaal nieuw is het idee niet, erkennen Martijn en Stefan. Zeker de laatste jaren met de grotere nadruk op Open Science nemen ook gevestigde tijdschriften initiatieven om duidelijk te maken hoe wetenschap in de praktijk werkt of juist niet werkt. Maar gearriveerde wetenschappers zullen niet staan te dringen om met de billen bloot te gaan in een nieuw en onbekend tijdschrift. Martijn grinnikt: “Zo naïef zijn we ook weer niet.”

Het tweetal hoopt vooral dat jonge onderzoekers en masterstudenten die aan het begin van hun loopbaan staan de sprong durven te wagen. Stefan: “We zien vaak dat studenten met een 9 voor hun scriptie met negatieve onderzoeksresultaten minder kans maken op publicatie daarvan dan studenten met een 8 en positieve resultaten. Dan zijn wij een alternatief podium.”

Bovendien zijn er genoeg studenten die met een slechte database of in een onmogelijke experimentele setting hebben moeten werken en die dat willen delen, weten ze. Martijn met enige ironie: “Het is opvallend dat bachelorstudenten er nog vaak door docenten van worden doordrongen dat ze zuiver moeten denken en werken en dat dat in de masterfase soms een beetje verdwijnt. Dan gaan studenten meewerken aan lopend onderzoek van wetenschappers en begint het schipperen.”

De voorzitter denkt dat het nieuwe journal door de nadruk op context en reflectie op de artikelen iets vernieuwends te bieden heeft. Op de website van het Journal schrijven de teamleden bovendien ook blogs over de gedachte achter het tijdschrift.

Een groot lelijk beest
De eerste papers zijn inmiddels binnen. Eén van de papers draait om een veldwerkstudie naar het effect van specifieke typen drugs op de rijvaardigheid. Stefan: “Die studie toont aan dat de rijvaardigheid niet negatief werd beïnvloed en kon daarom nergens worden gepubliceerd. Gefaalde wetenschap, noemen ze dat dan.”

Sinds ze het idee van het tijdschrift lanceerden tijdens een kerstcolloquium van het Descartes Centrum hebben de studenten veel positieve reacties gekregen. Inmiddels is er financiële ondersteuning geregeld via het Ufonds en is er een werkplek gevonden in de UtrechtInc Incubator in het Kruytgebouw. Ook is het journal aangesloten bij de ‘Utrecht Open Science Community’ en wordt het ondersteund door de open acces specialisten van de Utrechtse Universiteitsbibliotheek.

De meeste wetenschappers reageren instemmend op het plan dat inmiddels ook bij internationale conferenties op de universiteiten van Cambridge, Straatsburg en Lille is gepresenteerd. Een deel van de wetenschappelijk medewerkers van het tijdschrift studeert of werkt in het buitenland, onder meer in Marseille en Montreal.

Maar de discussie over wetenschappelijke “fouten” blijft “een groot lelijk beest”, merkt Martijn. “Iedereen vindt het fantastisch wat wij doen, maar als ze zich realiseren wat wij werkelijk van hen vragen, krabbelen veel mensen terug. Veel onderzoekers zitten in een omgeving of werken onder een leiding die een bepaalde houding vraagt. Daar breek je niet zomaar uit. Al zien wij dat vooral jongeren het belang van een andere opstelling steeds vaker inzien.”

De call for papers voor het Journal of Trial and Error staat open tot 1 december. Martijn wil graag nog toevoegen dat studenten ook een opzet van een artikel of hun scriptie mogen aanleveren. “Het hoeft niet meteen een perfect paper te zijn. Wij kunnen daarbij helpen voordat het naar de peer review gaat."