Science testte vooral slechte tijdschriften
Het onderzoek van Science naar peer review bij open access-tijdschriften steekt methodologisch niet goed in elkaar, vindt UB-medewerker Jeroen Bosman. Als je rotte appels zoekt, zul je rotte appels vinden.
Vorige week had het tijdschrift Science een scoop met het bericht dat veel open access-tijdschriften een door hen ingestuurd nepartikel accepteerden, “raising questions about peer-review practices in much of the open-access world”. In het stuk, geschreven door John Bohannon, staat het verslag van een onderzoek waarin hij een nepartikel met overduidelijke methodologische fouten indiende bij 304 open access-tijdschriften (tijdschriften zonder kosten voor de lezer). Van die 304 artikelen doorliepen 255 het gehele proces van indiening tot acceptatie of verwerping. Dat proces omvat als het goed is een check door de redactie en vooral een peer review-controle door inhoudelijk deskundigen.
Het nieuws was dat het stuk door 62 procent (157 tijdschriften) werd geaccepteerd. Als je kunt zeggen dat tijdschriften die een overduidelijk slecht stuk toch publiceren slechte tijdschriften zijn, was dit natuurlijk een ernstig resultaat. Want 157 is veel, maar wat zegt het nu werkelijk? De actie van Science heeft helaas een paar grote gebreken waardoor je er weinig conclusies aan kunt verbinden.
Ten eerste is er in de studie geen controlegroep. Je kunt dus wel zeggen dat er iets mis is bij een deel van de open access-tijdschriften maar niet dat er een verband is tussen het open access-karakter van tijdschriften en slechte kwaliteitscontrole. Het was mooi geweest als Science het nepartikel naar alle soorten tijdschriften had gestuurd, maar dat deden ze niet en nu kan het niet meer: een gemiste kans.
Ten tweede is de keuze van de tijdschriften zeer selectief en willekeurig. Dat het alleen naar Engelstalige tijdschriften is gestuurd is niet zo’n probleem, maar de overige selectiecriteria hebben de resultaten waarschijnlijk sterk beïnvloed.
Bohannon stuurde het alleen naar de 25 procent open access-tijdschriften die geld vragen als het stuk gepubliceerd wordt (het author pays-model). Open access-tijdschriften die alleen gericht zijn op geld verdienen en het misschien niet zo nauw nemen met de kwaliteitscontrole zitten per definitie in die groep.
Verder koos hij er voor het stuk alleen te sturen naar de 15 procent tijdschriften op het gebied van de life sciences. Daarmee richtte hij zich op die gebieden waar de publicatiedruk het grootst is en waar auteurs het meest bereid zijn te betalen. Dat zijn ook de gebieden waar uitgevers die het niet zo nauw nemen zich concentreren.
Dan voegde hij nog tijdschriften toe van een lijst met zogenaamde ‘predatory publishers’ (Beall’s list), waarvan al bekend is dat daar problemen zitten. Tenslotte koos hij slechts één titel per uitgever, zonder te vermelden op basis waarvan hij dat deed. Al met al kun je zeggen dat de studie zich door de selectie richtte op tijdschriften met een sterk bovengemiddelde aanwezigheid van rotte appels om vervolgens aan te tonen dat er veel rotte appels tussen zitten.
Overigens bleek uit de studie dat sommige open access-tijdschriften juist een zeer grondige peer review hadden (bijvoorbeeld PLoS One en een tijdschrift van de uitgever Hindawi) en ook dat sommige tijdschriften die het nepstuk wel accepteerden uit de stal van gerenommeerde uitgevers kwamen, zoals Elsevier, Sage en Kluwer.
Toch kan het geen kwaad het stuk te lezen. Het is het een leuke oefening in ontdekken wat er methodologisch mis is met een studie. Maar vooral is het aardig om de volledige data te zien (grafisch of als download).
De verdienste van Bohannon is dat hij blootlegt hoe de slechte uitgevers te werk gaan. Veel van de frauduleuze, volgens sommigen zelfs criminele uitgevers zitten in India en Nigeria maar wringen zich met nepadressen in bochten om als Westers, ‘internationaal’ tijdschrift door te kunnen gaan. Ook is het leerzaam om wat correspondentie met de redacties te lezen. Bohannon maakt alle e-mails geheel openbaar.
De werkelijke discussie is natuurlijk wat er mis is met het peer review-systeem en hoe dat te verbeteren. Ook het tijdschrift Science zelf (closed access) accepteerde wel eens nepartikelen.
Moet de peer review openbaar gebeuren (desnoods anoniem)? Zijn er andere methoden om snel duidelijk te maken of we met een goed of een slecht tijdschrift te maken hebben? Doet het tijdschrift waarin iets staat er überhaupt nog toe? Deze belangrijke discussie gaat voort, maar het stuk in Science voegde er weinig zinnigs aan toe.
Links naar reacties en vervolgdiscussies vind je onder de Engelstalige versie van dit stuk op het blog van de universiteitsbibliotheek van de UU.