Sloppy experimenten rapporteren is zinloos

Universitair docent Stefan van der Stigchel vraagt zich af of de wetenschap gebaat is bij het rapporteren van sloppy experimenten.

Naast het onthullen van de verzonnen data in het onderzoek van Stapel, worden er in het rapport van de commissie-Levelt een aantal zaken geclassificeerd als 'sloppy science': een gebrekkige wetenschapsbeoefening. 

Één daarvan is het niet rapporteren van een experiment dat geen significante resultaten oplevert. Zoals de commissie terecht aangeeft, is dit een kwalijke zaak indien het theoretisch onduidelijk is waarom een vervolgens aangebrachte verandering in de experimentele opzet wel significante resultaten oplevert. 

Ik hoop dat in de roep om cultuuromslag binnen de sociale wetenschappen dit criterium ook strikt wordt gehandhaafd: het niet rapporteren van een experiment zou alleen sloppy science moeten zijn indien de daarna toegepaste veranderingen in de experimentele opzet theoretisch niet onderbouwd kunnen worden. Er zijn namelijk heel veel redenen waarom een experiment geen significante resultaten heeft opgeleverd: het kan immers een 'sloppy experiment' zijn. 

Indien ik wil onderzoeken wat de invloed van A op B is, moet ik wel A hebben om iets te kunnen zeggen over de invloed van A op B. Bijvoorbeeld: ik wil het effect van een aandachttrekkende element (bijvoorbeeld een rode cirkel tussen groene cirkels) op de inhoud van het werkgeheugen onderzoeken. Indien achteraf blijkt dat deze rode cirkel de aandacht niet heeft getrokken (omdat deze niet verschillend genoeg was van de andere cirkels) kan ik dus ook niet de invloed van dit element op het werkgeheugen onderzoeken. Een sloppy experiment dus. 

Als ik wil onderzoeken wat de invloed van een onbewust waargenomen stimulus is op een proces B, maar deze stimulus blijkt achteraf bewust waargenomen te zijn door de proefpersonen, is er opnieuw sprake van een sloppy experiment. 

Het heeft geen enkele zin dergelijke experimenten te rapporteren, omdat de originele vraag door het experiment helemaal niet beantwoord kon worden. Als we dit soort sloppy experimenten ook moeten gaan rapporteren, kan niemand meer wijs worden uit de steeds maar groeiende wetenschappelijke literatuur.

Dit artikel verscheen zaterdag in NRC Handelsblad als ingezonden brief.