Universiteit Utrecht katalysator in discussie over nieuwe beoordeling wetenschappers
Fotos: Shutterstock, bewerking DUB
“De impactfactor geeft niet echt een goed beeld van de kwaliteit van de individuele onderzoeker. Wij vinden dat er iets moet veranderen op dit gebied en het niet meer beoordelen van wetenschappers op de impactfactor is een van die veranderingen.” Dat zegt de Utrechtse hoogleraar Paul Boselie in een interview met het blad Nature eind juni. De impactfactor voor wetenschappers wordt bepaald via het aantal publicaties in wetenschappelijke toptijdschriften en het gemiddeld aantal keren dat uit die publicaties word geciteerd. Maar het accent leggen op de tijdschriftmetrieken en de individuele onderzoeksproductie zou volgens Boselie niets zeggen over de kwaliteit van de wetenschapper.
Boselie is een van de architecten van het Utrechtse programma Erkennen & Waarderen dat vanaf 2022 moet zorgen voor een andere evaluatie van wetenschappers. Zo wordt de impactfactor vanaf die datum niet meer meegenomen in de beoordeling van onderzoekers en bij de werving van nieuwe onderzoekers.
De Universiteit Utrecht is niet de enige universiteit die hiermee bezig is. Binnen de vereniging van universiteiten, de VSNU, is een werkgroep bezig om een ander waarderingsstelsel te ontwikkelen voor alle universiteiten. Ook onderzoeksorganisaties als NWO en ZonMw zijn hiermee bezig.
Het artikel in Nature maakte veel los. De universiteit kreeg waardering voor het initiatief, maar er was ook kritiek. Begin juli schreven 175 wetenschappers, waaronder 142 hoogleraren, een open brief waarin ze hard uithalen naar het voorgestelde beleid. Door de impactfactor los te laten zou Nederland zijn internationale toppositie kunnen verliezen, menen zij. Het meten van het aantal publicaties en citaties is concreet en objectief. De criteria van Erkennen & Waardering zijn vaag en subjectief.. Vooral voor de exacte, medische en levenswetenschappen zou dit nieuwe systeem desastreus zijn. Met name voor jonge onderzoekers die de internationale competitie niet meer kunnen aangaan.
De critici vinden dat er een te negatief beeld geschetst wordt van de kwaliteit van artikelen in toptijdschriften. Juist doordat zo’n artikel door gerenommeerde experts worden beoordeeld, zeggen ze wel degelijk iets over de kwaliteit van de onderzoeker. Daarnaast is het al zo dat bij bepaalde vakgebieden niet alleen gekeken wordt naar de toptijdschriften maar ook naar publicaties in vaktijdschriften.
In de brief staat dat een beoordeling op criteria die genoemd worden bij Erkennen & Waarderen, het heel moeilijk maakt om de kwaliteit van wetenschappers met elkaar te vergelijken. Als voorbeeld noemen ze de aanvragen van de prestigieuze NWO-beurzen Veni, Vidi en Vici. In dat traject zijn objectieve criteria als publicaties, citaties en lezingen vervangen door een ‘narratief’ en een lijst van maximaal tien publicaties. Je moet uitleggen waarom jouw onderzoek (maatschappelijk) van belang is. Volgens de brief zijn de eerste ervaringen verontrustend. “Commissieleden hebben geen flauw idee hoe ze kandidaten met elkaar moeten vergelijken en gaan zelf googelen om de concrete prestaties boven water te krijgen.”
Ze vinden daarbij criteria als de publieke toegankelijkheid van data (open science), de samenstelling van het onderzoeksteam en het getoonde leiderschap niet wetenschappelijk, maar politiek gedreven. Bovendien zijn die criteria moeilijk te meten.
Een van de ondertekenaars is Gerard van Koten, een emeritus hoogleraar Organische Scheikunde & Katalyse met een enorme staat van dienst, zowel wat betreft publicaties als in bestuurlijke functies. “Samenwerken is ontzettend belangrijk en dat moet de universiteit in de hele opleiding en in het interdisciplinair onderzoek verweven. Maar dat wil niet zeggen dat je de publicaties in toptijdschriften of de citaties los moet laten. Ik weet uit ervaring hoe belangrijk die zijn. Als ik wetenschappers moet beoordelen, dan zijn met name de citaties van de laatste vijf jaar een goede graadmeter. Ook voor jonge onderzoekers. Als je dat loslaat, en alleen kijkt naar vaardigheden als samenwerken dan loop je het risico dat je briljante wetenschappers die wat meer op zichzelf staan geen kans geeft. Ik vind zeker dat je naar samenwerking en maatschappelijke relevantie moet kijken, maar verlies ook de briljante nerd en de wetenschapper die fundamenteel onderzoek doet zonder directe maatschappelijke impact niet uit het oog. Ik kom vaak in China en het feit dat de UU hoog in de Shanghai ranking staat, heeft echt effect. Daardoor staan instituten open voor samenwerking en willen jonge talentvolle wetenschappers eerder naar Utrecht komen.”
Als reactie op de kritische brief reageerde een grote groep van bijna 400 jonge wetenschappers . Zij constateren dat binnen de wetenschap nog te vaak het aantal publicaties toonaangevend is bij het maken van carrière. En dat terwijl bij het verrichten van wetenschap veel meer komt kijken. Zij staan achter de voorgestelde criteria van Erkennen & Waarderen. “De definitie van talent van de afgelopen decennia is te smal voor de manier waarop de academie vandaag de dag functioneert.” Zij vinden dat het lef vraagt op zoek te gaan naar nieuwe paden om te beoordelen. Tegelijk willen ze wel de internationale toppositie behouden en kan naast andere criteria volgens hen in het nieuwe systeem wel plaats zijn voor de gepubliceerde toppublicaties. Ze verwijzen naar de Declaration on Research Assessment (Dora). Deze verklaring is in 2012 in het leven geroepen met als doel de evaluatie van wetenschappers en hun publicaties te verbeteren door impactfactoren in de ban te doen.
Martijn Huysmans, universitair docent bij Economie, lid van de Utrecht Young Academy en actief in de UU-wergroep Erkennen & Waarderen, is één van degenen die deze brief heeft ondertekend. Hij vindt de beoordeling op basis van toptijdschriften en citaties een schijnobjectiviteit. “Je ziet dat er een pervers systeem is ontwikkeld om binnen deze wereld te scoren. Prestigieuze referenten en redacties van toptijdschriften stimuleren citaties om elkaars reputatie te versterken en daarmee is het een soort selffulfilling prophecy.” Als jonge onderzoeker profiteer je dus niet van deze werkwijze, denkt Huysmans. “Je ziet dat instituten die veel geld hebben, bijvoorbeeld om data te genereren, makkelijker scoren. Dat zegt niet zoveel over de kwaliteit van de individuele wetenschapper.”
Hij ziet meer in een beoordeling waarbij de context van het onderzoek uit de doeken wordt gedaan. “Misschien kost het de referenten wat meer tijd om onderzoekers met elkaar te vergelijken, maar het is wel een veel betere methode dan alleen te kijken naar citaties of toppublicaties.”
Ook de voorzitters van de stuurgroep Erkennen & Waarderen van de VSNU en onderzoeksorganisatie NWO schreven een reactie op de brief van de hoogleraren. De Maastrichtse collegevoorzitter Rianne Letschert en ZonMw-voorzitter Jeroen Geurts stellen dat deze ontwikkeling mondiaal is en dus de Nederlandse wetenschap niet extra zal raken.. Ze erkennen dat een cultuurverandering tijd kost, maar dat het ook goed is van de wetenschap om te vernieuwen. Verder kijken dan alleen de publicaties komt volgens hen ten goede aan de diversiteit van het onderzoek en zorgt voor een groter accent op de sociale impact. Ze vinden open science geen politiek argument, maar een manier om de wetenschap transparanter te maken.
Dit onderschrijft ook de Utrechtse collegevoorzitter Anton Pijpers. “We moeten erkennen dat publiceren in toptijdschriften niet het enige is dat telt. Wij leggen de nadruk op wetenschappers die ook goed leiding geven, kijk hebben op de maatschappelijke impact van hun onderzoek en een accent leggen op samenwerken. Vroeger kregen we als bestuur wel eens een brief met een verzoek een hoogleraar aan te stellen, met in de eerste zin achter de naam tussen haakjes de h-index (de graadmeter hoe goed iemand scoort met publicaties en citaties,red.). Alsof dit voldoende argument was voor een benoeming. Dat doen we dus niet meer. We werken nu bij de beoordeling met een Triple-model waarbij we kijken naar meer aspecten, zoals onder meer teamwork capaciteiten, leiderschap en onderwijskwaliteiten.”