‘We moeten af van de lijstjescultuur’

Dataverzameling, –analyse en –opslag zijn hot topics sinds in september de grootschalige wetenschapsfraude van psycholoog Diederik Stapel aan het licht kwam en de discussie over de betrouwbaarheid van wetenschappelijk onderzoek oplaaide. DUB sprak hierover met Kees van den Bos, hoogleraar sociale psychologie.  “We kunnen best met wat minder kwantiteit, als we het maar aanvullen met kwaliteit.”De Koninklijke Nederlandse Akademie van Wetenschappen besloot onlangs een onderzoek in te stellen naar de ‘opmerkelijk gesloten datacultuur’ die heerst onder psychologen . In kaart zal worden gebracht hoe onderzoekers in verschillende disciplines met hun data omgaan en hoe dit eventueel verbeterd kan worden. De resultaten van deze inventarisatie worden verwacht voor april 2012.Aanleiding is de kwestie Diederik Stapel die zijn data bleek te verzinnen en daar jarenlang mee weg is gekomen. Gaat dat zo makkelijk in de sociale wetenschappen? Die vraag dook in verschillende media op. Kees van den Bos, hoogleraar sociale psychologie, doet zijn uiterste best om te laten zien dat Stapel een uitzondering is en dat de basis van psychologisch onderzoek nog altijd relevant is.  Om bij het begin te beginnen: “Psychologisch onderzoek kan allerlei vormen aannemen, van (online) vragenlijsten tot observationeel onderzoek, maar we gebruiken voornamelijk experimenteel onderzoek. Waar het allemaal mee begint, is het opstellen van toetsbare hypotheses. Die kunnen voortkomen uit een bestaande theorie of uit een praktijkprobleem. Daaruit destilleer je wat volgens jou de essentie is, en die ga je toetsen."Belangrijk is dat je genoeg tijd uittrekt om de theorie of veronderstelling helemaal te doorgronden voordat je begint. Je moet inschatten wat het met mensen doet, de theorie moet gaan leven. En dan moet je allereerst zorgvuldig naar je meetinstrumenten kijken. Kijk kritisch naar de vragenlijsten, ook als anderen die veel gebruiken. Neem er geen genoegen mee dat iemand anders een vragenlijst heeft getest. Nee jij moet hem testen. Pas als je heel goed weet wat je instrumenten meten, dan kun je ermee aan de slag.”Stapel zegt dat hij onder publicatiedruk opereerde. Is voor deze opzet van het onderzoek wel voldoende tijd beschikbaar?“Ik vergelijk het met topsport. Als jij aan een tenniscompetitie meedoet zonder dat je eerst afzonderlijk de forehand, backhand en service hebt geoefend, dan moet je niet de illusie hebben dat je goed gaat spelen. Pas als je de basiselementen van je theorie door en door snapt kun je gaan opbouwen.Ik denk dat we meer aan slow science moeten doen. We kunnen best met wat minder kwantiteit, als we het maar aanvullen met kwaliteit. Daarbij kan een grondige aanpak op den duur juist tijdwinst opleveren. Een extra dagje nadenken in het begin van het proces scheelt je misschien een jaar ellende met empirische data waar je geen chocola van kunt maken.” Hoe komen de psychologen aan hun data?“Om je veronderstellingen te toetsen breng je de deelnemers in een bepaalde situatie. Terwijl je alle andere invloeden zoveel mogelijk constant houdt bekijk je dan zo nauwkeurig mogelijk hoe mensen beïnvloed worden door die situatie: hoe beïnvloedt het hun gedachten, gevoelens of gedrag. Dat kunnen reactietijden zijn, antwoorden op vragenlijsten maar ook fysiologische of neurologische maten. De onderzoeker moet in principe altijd zelf zijn experimenten uitvoeren. Er wordt wel eens gezegd: “één experiment is géén experiment”.  Eén experiment kan hooguit aantonen dat bepaalde effecten op zouden kunnen treden. Je moet dus meerdere studies doen, met verschillende onderzoeksmethoden, verschillende deelnemers en verschillende operationalisaties, zodat je uiteindelijk een serie hebt van studies die in een bepaalde richting wijzen. Pas als je je bevindingen kunt repliceren worden ze robuust.”Repliceren lukt lang niet altijd, nietwaar?“Als repliceren niet meteen lukt, is dat niet direct een bedreiging voor je theorie. Het is vaak juist een kans om deze te verfijnen. Wetenschap werkt niet alleen top-down vanuit theorieën, maar ook bottom-up. Je onderzoeksresultaten roepen nieuwe vragen op, en die kun je vervolgens weer gaan testen.Zo draaide een promovendus uit Nijmegen eens een tijdje mee met een onderzoeksgroep in Noord-Amerika en stelde vast dat mensen de groep waartoe zij behoorden beter vonden dan andere groepen nadat ze aan hun eigen sterfelijkheid werden herinnerd. Terug in Nederland probeerde hij die bevindingen te repliceren, maar zonder resultaat. Totdat Nederland een keer tegen Duitsland moest voetballen. Vooral in Nijmegen, vlak bij de grens, leverde dat voldoende culturele spanning op. Uiteindelijk kon hij concluderen dat de betreffende theorie alleen opgaat als mensen een zekere waarde hechten aan de groep waartoe zij behoren en er wat druk op de ketel staat.”Maar wat als je niet het geluk hebt dat Nederland-Duitsland je resultaten kan verklaren?“Dan moet je zoeken waar het aan ligt. Dat kan van alles zijn: gebrekkig stimulusmateriaal, de statistische power van je onderzoek, er kunnen uitschieters in je data zitten. Ik deed ooit een onderzoek onder meer dan 1500 deelnemers waarvan de resultaten nogal tegenvielen. Op advies van het tijdschrift waar we dit onderzoek wilden publiceren hebben we er met een statistische procedure drie uitschieters uit gefilterd. Wat bleek: die drie deelnemers zorgden ervoor dat de resultaten danig vertekend waren. Nadat we die deelnemers uit de dataset verwijderd hadden, bleken onze veronderstellingen juist heel sterk ondersteund te worden.Maar het kan natuurlijk ook dat jouw theorie niet zo belangrijk is als je had gedacht. Je moet er ook voor open staan om je veronderstellingen los te laten als ze keer op keer niet bevestigd worden. Als in een bepaald onderzoeksgebied telkens geen duidelijk bevindingen naar voren komen dan merk je dat op een gegeven moment vanzelf, doordat er geen aandacht meer wordt besteed aan dit onderwerp. Het werkveld corrigeert zichzelf wel.”Men zegt dat de psychologie een gesloten wereldje is. “Wat er veel meer zou moeten gebeuren is dat onderzoekers hun ervaringen, hun do’s en don’ts openbaar maken. Wat werkt wel, wat niet? Ik zou ervoor willen pleiten om dat te doen bij publicatie van een artikel, bijvoorbeeld zoals Science dat doet: korte artikelen met online een uitgebreide toelichting van methoden en resultaten. Maar onderzoeksgroepen kunnen dat natuurlijk ook zelf doen, op een eigen website. Er zijn wel initiatieven om alle onderzoeksdata op één centrale plek te verzamelen en beschikbaar te stellen. Hoewel ik hier geen tegenstander van ben, vrees ik wel dat dit veel extra werk op zou leveren terwijl de wetenschap er weing profijt van heeft. Zeker met de kleine, experimentele onderzoeken die we in de psychologie doen zegt één dataset niet zo veel. Maar als je het stimulusmateriaal en de exacte onderzoeksprocedure deelt en daarover goed communiceert, dan geef je kennis door waar mensen echt iets aan hebben. Anderen kunnen aan de hand daarvan makkelijk jouw onderzoek repliceren en erop voortborduren. Daar hebben we meer aan dan dat we allemaal dozen vol vragenlijsten gaan aanleveren bij een centrale opslag.”Moeten wetenschappers elkaar, ook gezien de affaire Stapel, niet beter in de gaten houden?“Het is essentieel dat we kritisch naar elkaars werk kijken. Maar waar we echt vanaf moeten is de lijstjescultuur. Wat is jouw impact factor, en wie staat er in de top tien van sociaal psychologen in Elsevier? Terwijl wetenschap pas echt leuk is als je op een intrinsieke manier gemotiveerd bent.Natuurlijk wil je het goed doen, en is het belangrijk dat jouw afdeling het goed doet. En dus kijk je ook naar anderen en laat je je daardoor inspireren. We moeten ook gewoon goed werk leveren – we zitten hier immers wel belastinggeld te spenderen. Het is prima dat we daarover verantwoording af moeten leggen, en misschien moeten we dat meer doen dan voorheen. Maar laten we in vredesnaam focussen op de inhoud, en niet op dat competitieve gedoe.”