De waakhonden van de wetenschap

Wie bepaalt wat er wordt gepubliceerd in wetenschappelijke tijdschriften? Het is een vraag die sinds de grootschalige fraude van de Tilburgse wetenschapper Diederik Stapel zeer actueel is. Het zijn de editors, de redactionele waakhonden van de wetenschap. Hoe lastig is hun werk?
Zo’n vijftig artikelen per maand krijgt UU-hoogleraar Bert Weckhuysen voor zijn kiezen. Maar ondanks het feit dat het redactiewerk voor het tijdschrift ChemCatChem hem geen cent oplevert, doet de chemicus het met veel plezier. “Editor zijn geeft een fantastische inkijk in de wereld van de wetenschap. Je ziet trends, je leert bij in welke onderzoeksgroepen echte kwaliteit zit, je leert ook je collega’s beter kennen. De kunst is om te leren omgaan met smooth operators, want die zitten er ook genoeg in de academische wereld.”
Editors bepalen welke artikelen wel, en welke niet worden gepubliceerd. Publiceren is voor de loopbaan van wetenschappers van levensbelang. Hoe meer artikelen een wetenschapper publiceert in tijdschriften met een hoge impactfactor - een graadmeter om de kwaliteit van de verschillende tijdschriften aan te tonen -  hoe beter zijn carrièrekansen. Ook de inkomsten voor onderzoek en onderzoekstijd zijn ervan afhankelijk. Het is dus ook niet vreemd dat wetenschappers de editors graag te vriend houden.
Peer reviewing
Hoogleraar Weckhuysen doet zijn werk als hoofd van de redactieraad naast zijn baan als docent en onderzoeker zoals vrijwel alle editors dat doen. Ze worden gevraagd voor deze functie door een wetenschappelijk tijdschrift vanwege hun specifieke kennis in een bepaald veld. Het is een erebaan met veel verantwoordelijkheid. De angst van iedere editor: een artikel van een wetenschapper afwijzen dat later zo briljant blijkt te zijn dat hij de Nobelprijs krijgt voor zijn vinding.
Afwijzen is voor de editors dagelijkse kost. ChemCatChem kan maar 30 procent van alle aangeboden artikelen plaatsen. Weckhuysen bepaalt dus wat uiteindelijk een goed artikel is en wat niet. De op het oog goede artikelen stuurt de editor naar minstens twee reviewers, specialisten uit hetzelfde vakgebied als de auteur van het artikel. De reviewers brengen een schriftelijk advies uit aan de editor, die uiteindelijk de knoop doorhakt. Dit systeem wordt peer reviewing genoemd, vrij vertaald ‘beoordeling door vakgenoten’.
Het systeem werkt prima, vinden de meeste wetenschappers,maar eigenlijk is er geen goed alternatief. De inhoud van de artikelen is vaak zo gespecialiseerd dat alleen vakmensen, de reviewers, er een goed oordeel over kunnen vellen. De editor treedt hierbij op als een soort scheidsrechter. Later blijkt pas wat een artikel werkelijk waard is door het aantal keren dat het wordt geciteerd, een soort informele review door de wetenschappelijke gemeenschap. Mocht het gepubliceerde onderzoek niet deugen, dan blijkt dat later pas als collega-onderzoekers het onderzoek niet kunnen reproduceren.
Kritisch
De crux zit ‘m in de objectiviteit van de scheidsrechter en de reviewers. Sommige editors zijn niet zo kritisch en zo kan het gebeuren dat er artikelen verschijnen in wetenschappelijke tijdschriften die zijn overgeschreven,of die vol staan met foute gegevens. Ook kan het gebeuren dat de editors té kritisch zijn en een goed artikel afwijzen om onbenullige redenen, bijvoorbeeld om slordigheden in het taalgebruik of een verkeerde timing. Wat ook vaak voorkomt is dat het artikel simpelweg niet bij de signatuur van het tijdschrift past en om die reden wordt afgewezen.
Redactioneel werk blijft altijd mensenwerk, en dat is niet onfeilbaar. Marcel van Aken, hoogleraar Ontwikkelingspsychologie, en editor van The International Journal of Behavioral Development, kan erover meepraten. “Ik twijfel regelmatig over een artikel, maar moet toch besluiten om te plaatsen of niet.” In sommige vakgebieden, zoals die van Van Aken, bestaan er over een aantal thema’s verschillende visies onder wetenschappers. Het is voor de editor lastig om te oordelen over een artikel waarin een bepaalde theorie wordt aangehangen waar een andere groep wetenschappers weer totaal anders over denkt. “Als je je als editor onder een bepaald ‘kamp’ schaart ben je al niet meer objectief.”
Ook Weckhuysen twijfelt soms. “Heel af en toe besluit ik toch om een gewaagd artikel te plaatsen. Het gaat dan om een artikel waarvan ik denk: de wereld is er nog niet klaar voor, het is te vroeg. Maar echt nieuwe experimenten zijn ook goed om de wetenschap vooruit te helpen, om gedachtes te prikkelen. Het is spannend om zulke keuzes te maken.”
Vriendjespolitiek
Het komt regelmatig voor dat editors een ander mening hebben over een artikel dan de reviewers. “Dan is het vreselijk lastig om een keuze te maken”, zegt van Aken. “Uiteindelijk volg ik altijd de mening van de reviewers; als zij unaniem een positief oordeel geven over een artikel, dan plaats ik het normaal gesproken.”
Maar aan de mening van de reviewers zitten ook weer haken en ogen, gezien het feit dat de kwaliteit van de feedback die ze geven op een artikel, erg varieert. “De ene reviewer komt met vier kantjes vol commentaar, een andere doet het af met drie zinnen”, zegt van Aken. Om ook het werk van de reviewers te beoordelen, kunnen editors gebruikmaken van een puntensysteem. Als een reviewer stelselmatig de kantjes ervan afloopt of altijd dubieuze, op de man gespeelde beoordelingen geeft, kan de editor besluiten hem niet meer te vragen. 
Een wetenschapper mag ook zelf reviewers suggereren aan de editor. Dit zijn vaak collega’s, of wetenschappers van wie hij denkt dat hij  positief over het artikel zal oordelen. Het tegendeel is echter vaak het geval, aldus Weckhuysen. “De reviewers willen alle schijn van vriendjespolitiek voorkomen en zullen om die reden vaak extra kritisch zijn. Invloed uitoefenen op de keuze van de reviewers werkt zo dus averechts.”
Olifantenhuid
De positie van editors is soms benard, omdat ze precies weten hoeveel er voor collega-wetenschappers op het spel staat. Ze zijn zelf ervaringsdeskundig, en weten als geen ander hoe groot de ontgoocheling kan zijn als een artikel wordt afgewezen. Weckhuysen krijgt soms boze telefoontjes van wetenschappers die verontwaardigd zijn dat hun artikel is afgewezen. “Sommige mensen weten van geen ophouden, maar ze vergeten hierbij dat het wereldje klein is. Voor dit werk heb ik wel een olifantenhuid ontwikkeld; én een goede mensenkennis. ”
Van Aken heeft al wel eens brieven ontvangen van wetenschappers die met klem vroegen om hun artikel te plaatsen omdat ze daarmee een vast contract konden verdienen op hun eigen universiteit. “Op dat soort verzoeken ga ik nooit in, het werkt eerder averechts.” Ook lange begeleidende brieven, waarbij de wetenschapper nog een uitlegt waarom zijn artikel zo fantastisch is, wekt bij Van Aken irritatie op. “Als een artikel goed is, dan zie ik dat. Een lange uitleg wekt bij mij alleen maar argwaan.”
Verdacht
Ondanks de dilemma’s waar de editors mee worstelen, en de onvolkomenheden van het systeem van peer reviewing, proberen ze hun werk zo goed en objectief mogelijk te doen. Een artikel afwijzen van een topwetenschapper? “Als ik het echt niet goed vind, dan doe ik dat”, zegt Weckhuysen. “Dan krijg ik misschien wel scheve ogen op een wetenschappelijk congres, maar dat neem ik dan voor lief.”
Ook verdacht: een artikel waaraan wetenschappers hebben gewerkt met een groot commercieel belang. Weckhuysen heeft het aan de hand gehad, en kreeg lucht van de achtergrond van de wetenschappers. “Op zo’n moment ben ik extra alert.”
Een te grote good news show waarbij de onderzoeksresultaten wel erg fantastisch uitkomen, wekt ook de argwaan van de editors. Volgens Van Aken is daar echter soms weinig aan te doen. “Als editor kun je onmogelijk altijd gaan controleren of alle gegevens wel echt kloppen. Bovendien heb je lang niet altijd de kennis over een specifiek onderwerp. Je moet dan blind vertrouwen op het oordeel van de reviewers. ”
Niettemin heeft de kwestie van de frauduleuze Tilburgse professor Diederik Stapel onder editors veel stof doen opwaaien. “Er wordt gepraat over mogelijke oplossingen om fraude te voorkomen in de sociale wetenschap”, zegt Van Aken. “Om echt te controleren zou een onderzoek moeten worden overgedaan met een andere testgroep, zodat je kunt zien of de resultaten hetzelfde zijn. Maar praktisch gezien is dit bijna ondoenlijk.”
Volgens van Aken heeft ook de focus op ‘zo veel mogelijk publiceren’ een negatief effect op de kwaliteit van wetenschappelijke papers. “Wetenschappers tellen hun publicaties, omdat een vastgesteld aantal gepubliceerde artikelen bijvoorbeeld bepalend is voor een vast contract. Het gaat dan niet om de inhoud, maar om de hoeveelheid artikelen die je produceert. Het is een ontwikkeling in de academische wereld die ik absoluut niet toejuich, niet in de laatste plaats omdat gerecyclede artikelen voor mij als editor erg demotiverend zijn.”
De ‘kwestie Stapel’ heeft bij beide editors het plezier in hun werk echter niet ontnomen, net zo min als het feit dat de baan soms meer vijanden dan vrienden oplevert. Van Aken: “Het is interessant om aan de touwtjes te trekken, om door bepaalde keuzes de impact factor van een tijdschrift te vergroten. En ik blijf up-to-date. Ik krijg studies te zien die ik anders waarschijnlijk nooit zou zien. En je krijgt een heel goed beeld hoe het veld zich ontwikkelt. Daar kun je zelf ook weer je voordeel mee doen.”

Tips voor succesvol publiceren
Hoe krijg ik mijn artikel in een wetenschappelijk tijdschrift gepubliceerd?
Zeven tips van de editors.

1. Zorg voor een goede en originele vraagstelling die past bij het tijdschrift waarin je het artikel aanbiedt.

2. Zorg ervoor dat je artikel niet alleen inhoudelijk goed is, maar dat het ook goed geschreven is; compactheid staat voorop.

3. Zorg ervoor dat je experiment/onderzoek nog nooit eerder is gedaan of dat je een vernieuwend inzicht brengt in al eerder gedane experimenten.

4. Het Engels in je artikel moet van uitstekend niveau zijn.

5. Een artikel moet goed te volgen zijn, ook voor editors en lezers die minder thuis zijn in de materie. 

6. Ellenlange begeleidende brieven bij een (opnieuw bewerkt) artikel werken averechts. Een goed artikel spreekt voor zichzelf. Een half tot driekwart kantje is voldoende.

7. Biedt een artikel nooit aan bij meer dan één tijdschrift. Een editor die daar achterkomt, zal het artikel subiet afwijzen en erger nog: je wordt persona non-grata bij het tijdschrift.