De glijbaan naar de afgrond

Welkom bij onze cursus De Achterkant van de Wetenschapsethiek. Hieronder staan drie casussen van ‘bad practice’. Geef in alle gevallen aan wat afkeurenswaardig is. Denk ook aan andere partijen dan de onderzoeker. Beschrijf de elementen die iemand tot een bepaalde handeling kunnen brengen. Waarom is die handeling toch absoluut onacceptabel?   Stel: Na twee jaar hard werken heb je een berg aan gegevens verzameld. Uitvoerige analyse leert dat het verschil tussen de behandeling- en controlegroep bijna significant is, p=0.0521. In al die rijen met getallen staat één opvallend hoge waarde. Vreemd. Je hebt eigenlijk geen reden om dat getal uit je analyse te verwijderen, maar als je dat (gewoon als gedachtenexperiment) doet, blijkt je p-waarde opeens naar 0.0497 te verschuiven. Terwijl je met de analyse bezig bent, bedenk je dat je binnenkort een projectvoorstel moet indienen waarmee je geld kunt krijgen om naar een gerenommeerd lab in het buitenland te gaan, als postdoctoral fellow. De selectiecommissie kijkt naar je publicatierecord en telt hoeveel artikelen je hebt gepubliceerd. Je herinnert je nog die martelgang langs vier tijdschriften met het vorige artikel waarin je zes verschillende behandelingen had getest die allemaal geen effect bleken te hebben. Het ene na het andere tijdschrift schreef dat ze niet geïnteresseerd waren in dergelijk werk met louter negatieve uitkomsten. Uiteindelijk was het geaccepteerd in een tijdschrift waarover je eerst nog een discussie met je promotor had moeten voeren, omdat die eigenlijk niet in blaadjes met zo’n laag impactcijfer wilde publiceren. Terwijl je dat allemaal door je hoofd laat gaan, besluit je dat ene gekke getal te wissen. De behandeling is nu mooi significant en vol vertrouwen schrijf je de titel van het artikel op een blanke pagina. Stel: Je stuurt een artikel naar Science. Je neemt de eerste horde: het wordt uitgestuurd voor review. Dan komt het terug met commentaren van drie reviewers die het wel interessant vinden (horde 2), maar graag nog experiment x, y en z uitgevoerd zien. Je doet experiment x, y en z (horde 3). Dat kost bijna een jaar maar je hebt het gevoel dat het zinvolle experimenten zijn en dat het artikel er beter van wordt. Het gaat terug naar het tijdschrift. Het blijkt te belanden bij een van de eerdere reviewers die het nu mooi vindt maar ook bij een geheel nieuwe reviewer die graag nog experiment a, b en c ziet uitgevoerd. Experiment c is een onzinnig experiment, het heeft niets met de hoofdvraag te maken, het is een variant op wat je al hebt gedaan, pure tijdverkwisting. Maar je realiseert je dat zonder experiment c het artikel zeker wordt afgewezen. Wat de zaak goed onder druk zet is dat collega X uit Boston met hetzelfde werk bezig is, dat artikel ligt momenteel bij Nature ter beoordeling. Vorig jaar had je ook zo’n akkefietje bij de hand: tegen de tijd dat al die extra experimenten waren uitgevoerd, had X zijn artikel gepubliceerd en werd jouw verhaal afgewezen omdat je niet meer de eerste was. Waarschijnlijk is X trouwens die nieuwe reviewer. In plaats van het gehele experiment uit te voeren doe je een kleine pilot die er goed uitziet. Je verhoogt de n van 3 naar 10. Experiment klaar, artikel aangenomen. Stel: Je bent een buitengewoon succesvolle onderzoeker. Je eerste experimenten tijdens de promotietijd zagen er mooi uit en werden in de toptijdschriften gepubliceerd. In je postdocperiode ging het minder voor de wind, maar door lichte datamassage kwamen er toch nog mooie resultaten uit en kon je het succes bestendigen. Door al die mooie publicaties is je ster snel gerezen en ben je in recordtijd door de universitaire hiërarchie geschoten. ‘Met jou hebben we een topper in huis gehaald’, zei de decaan toen je benoemd werd. ‘We verwachten nu toonaangevend te worden op dit vakgebied’. Maar het zat vanaf het begin tegen. Het werk van de promovendi leverde weinig op, het was kruimelwerk. Links en rechts hoorde je al collega’s fluisteren dat je werk ‘over the hill’ was, en jij een eendagsvlieg. Voor nieuwe subsidies heb je aansprekende resultaten nodig. Een masterstudent had laatst een experimentje gedaan dat er veelbelovend uitzag en erg mediageniek was, maar het was veel te kleinschalig en eigenlijk ook ondeugdelijk uitgevoerd. Toch besluit je om de resultaten in je nieuwste project-aanvraag op te nemen, als unpublished data. Zonder er erg in te hebben laat je het ook vallen in een televisie-programma en je merkt dat de interviewer het razend interessant vindt. Dat ben je met hem eens en thuisgekomen schrijf je de studie op voor een mooi tijdschrift, met een ferme conclusie. Daarvoor moeten uiteraard de getallen wel enigszins aangepast worden en alle tekortkomingen verzwegen, maar je gelooft echt in de conclusie. Het artikel wordt zonder problemen geaccepteerd. Dat gaat makkelijk. Je wordt opgebeld voor een radio-interview.

Opinie
on 12/09/2011

Welkom bij onze cursus De Achterkant van de Wetenschapsethiek. Hieronder staan drie casussen van ‘bad practice’. Geef in alle gevallen aan wat afkeurenswaardig is. Denk ook aan andere partijen dan de onderzoeker. Beschrijf de elementen die iemand tot een bepaalde handeling kunnen brengen. Waarom is die handeling toch absoluut onacceptabel?  

Stel: Na twee jaar hard werken heb je een berg aan gegevens verzameld. Uitvoerige analyse leert dat het verschil tussen de behandeling- en controlegroep bijna significant is, p=0.0521. In al die rijen met getallen staat één opvallend hoge waarde. Vreemd. Je hebt eigenlijk geen reden om dat getal uit je analyse te verwijderen, maar als je dat (gewoon als gedachtenexperiment) doet, blijkt je p-waarde opeens naar 0.0497 te verschuiven. Terwijl je met de analyse bezig bent, bedenk je dat je binnenkort een projectvoorstel moet indienen waarmee je geld kunt krijgen om naar een gerenommeerd lab in het buitenland te gaan, als postdoctoral fellow. De selectiecommissie kijkt naar je publicatierecord en telt hoeveel artikelen je hebt gepubliceerd. Je herinnert je nog die martelgang langs vier tijdschriften met het vorige artikel waarin je zes verschillende behandelingen had getest die allemaal geen effect bleken te hebben. Het ene na het andere tijdschrift schreef dat ze niet geïnteresseerd waren in dergelijk werk met louter negatieve uitkomsten. Uiteindelijk was het geaccepteerd in een tijdschrift waarover je eerst nog een discussie met je promotor had moeten voeren, omdat die eigenlijk niet in blaadjes met zo’n laag impactcijfer wilde publiceren. Terwijl je dat allemaal door je hoofd laat gaan, besluit je dat ene gekke getal te wissen. De behandeling is nu mooi significant en vol vertrouwen schrijf je de titel van het artikel op een blanke pagina.

Stel: Je stuurt een artikel naar Science. Je neemt de eerste horde: het wordt uitgestuurd voor review. Dan komt het terug met commentaren van drie reviewers die het wel interessant vinden (horde 2), maar graag nog experiment x, y en z uitgevoerd zien. Je doet experiment x, y en z (horde 3). Dat kost bijna een jaar maar je hebt het gevoel dat het zinvolle experimenten zijn en dat het artikel er beter van wordt. Het gaat terug naar het tijdschrift. Het blijkt te belanden bij een van de eerdere reviewers die het nu mooi vindt maar ook bij een geheel nieuwe reviewer die graag nog experiment a, b en c ziet uitgevoerd. Experiment c is een onzinnig experiment, het heeft niets met de hoofdvraag te maken, het is een variant op wat je al hebt gedaan, pure tijdverkwisting. Maar je realiseert je dat zonder experiment c het artikel zeker wordt afgewezen. Wat de zaak goed onder druk zet is dat collega X uit Boston met hetzelfde werk bezig is, dat artikel ligt momenteel bij Nature ter beoordeling. Vorig jaar had je ook zo’n akkefietje bij de hand: tegen de tijd dat al die extra experimenten waren uitgevoerd, had X zijn artikel gepubliceerd en werd jouw verhaal afgewezen omdat je niet meer de eerste was. Waarschijnlijk is X trouwens die nieuwe reviewer. In plaats van het gehele experiment uit te voeren doe je een kleine pilot die er goed uitziet. Je verhoogt de n van 3 naar 10. Experiment klaar, artikel aangenomen.

Stel: Je bent een buitengewoon succesvolle onderzoeker. Je eerste experimenten tijdens de promotietijd zagen er mooi uit en werden in de toptijdschriften gepubliceerd. In je postdocperiode ging het minder voor de wind, maar door lichte datamassage kwamen er toch nog mooie resultaten uit en kon je het succes bestendigen. Door al die mooie publicaties is je ster snel gerezen en ben je in recordtijd door de universitaire hiërarchie geschoten. ‘Met jou hebben we een topper in huis gehaald’, zei de decaan toen je benoemd werd. ‘We verwachten nu toonaangevend te worden op dit vakgebied’. Maar het zat vanaf het begin tegen. Het werk van de promovendi leverde weinig op, het was kruimelwerk. Links en rechts hoorde je al collega’s fluisteren dat je werk ‘over the hill’ was, en jij een eendagsvlieg. Voor nieuwe subsidies heb je aansprekende resultaten nodig. Een masterstudent had laatst een experimentje gedaan dat er veelbelovend uitzag en erg mediageniek was, maar het was veel te kleinschalig en eigenlijk ook ondeugdelijk uitgevoerd. Toch besluit je om de resultaten in je nieuwste project-aanvraag op te nemen, als unpublished data. Zonder er erg in te hebben laat je het ook vallen in een televisie-programma en je merkt dat de interviewer het razend interessant vindt. Dat ben je met hem eens en thuisgekomen schrijf je de studie op voor een mooi tijdschrift, met een ferme conclusie. Daarvoor moeten uiteraard de getallen wel enigszins aangepast worden en alle tekortkomingen verzwegen, maar je gelooft echt in de conclusie. Het artikel wordt zonder problemen geaccepteerd. Dat gaat makkelijk. Je wordt opgebeld voor een radio-interview.

Advertentie