Evaluaties in de wetenschap: een noodzakelijk kwaad

Het is makkelijk aanschoppen tegen de evaluatiedrift in de wetenschap, maar de talloze formulieren en protocollen zullen niet verdwijnen. Evalueren geeft overzicht.

Nooit eerder in de geschiedenis is er zoveel geëvalueerd in de wereld, zei de Deense hoogleraar Bestuurskunde Peter Dahler-Larsen gisteren in het Amsterdamse Trippenhuis. Hij was uitgenodigd door de Jonge Akademie voor het debat De wetenschap en de evaluatiemaatschappij. Vragen die de revue passeerden waren: hoe stel je vast wie een goede wetenschapper is?, en hoe verdeel je het schaarse onderzoeksgeld?

Er zijn allerlei standaarden en protocollen om wetenschappers en onderzoek te evalueren. Idealiter berust de uitkomst van de evaluatie zo min mogelijk op een menselijk oordeel. De gedachte lijkt: hoe grondiger de evaluatie, hoe eerlijker het oordeel.

Natuurlijk heeft dat soms grappige effecten. Dahler-Larsen noemde zijn eigen vakgroep als voorbeeld. De Universiteit van Kopenhagen wilde eigenlijk van alle wetenschappers de H-index weten, een veel bekritiseerde maat voor het succes van wetenschappers. Daar kwam protest tegen, waarop men terugkrabbelde: wetenschappers hoeven hun H-index nu alleen maar te noemen als ze dat zelf willen. “Dus vraag ik mijn medewerkers of ze hun H-index willen noemen, maar alleen als die bovengemiddeld goed is.”

De Deen sprak van een ‘evaluatiemachine’ die we wel kunnen beïnvloeden, maar niet uitzetten. Hij uitte kritiek op evaluaties, al klonk hij niet pessimistisch. Makkelijke kritiek prikte hij eveneens door. Zo vindt hij het idee dat er een ‘verborgen agenda’ is, niet vruchtbaar en zijn de bedoelingen van evaluaties te onduidelijk om van ‘ongewenste bijwerkingen’ te spreken: alsof we precies weten wat we wel wensen.

Toch hebben evaluaties soms vervelende gevolgen, bleek tijdens deze middag. Vier leden van de Jonge Akademie gaven na afloop voorbeelden van evaluaties aan hun eigen faculteiten. Voorzitter Rianne Letschert (hoogleraar rechtsgeleerdheid aan de Universiteit van Tilburg) ziet dat het schrijven van monografieën ontmoedigd wordt. Die leveren niet genoeg punten op in het evaluatiesysteem. Ook het schrijven van annotaties bij jurisprudentie wordt nauwelijks op waarde geschat: dat is een hobby geworden.

Socioloog Willem Schinkel, bijzonder hoogleraar aan de Erasmus Universiteit Rotterdam, vertelde hoe hijzelf werd beoordeeld. Zijn leidinggevende vroeg of Schinkel misschien de evaluatie van zijn eigen publicaties kon checken. Dat wilde Schinkel wel doen, maar kon zijn leidinggevende hem dan even de systematiek toesturen? Uiteindelijk gebeurde het helemaal niet. Schinkel werd, zonder nadere evaluatie, als excellent beoordeeld.

Het probleem is natuurlijk dat er zo veel van de evaluaties afhangt. Oncoloog en hoogleraar Hanneke van Laarhoven (AMC en UvA) begeleidde een promovendus die goed werk verrichtte, maar wier artikel in een tijdschrift met een lage ‘impactscore’ terechtkwam. Ze was in tranen, omdat ze haar carrière in rook zag opgaan: met zo’n lage impact zou ze moeilijker aan een prestigieuze onderzoeksbeurs komen.

Een van de onderliggende oorzaken van het evaluatieprobleem is misschien dat discussies over deze systemen worden gevoerd door de winnaars van deze systemen. Als wij eenmaal aan de knoppen zitten, zei Letschert, moeten we er iets aan doen.

Maar wat dan? Het is in elk geval onverstandig om te vervallen in valse nostalgie, zei hoogleraar Scientometrie Paul Wouters (Universiteit Leiden), die mocht reageren op de lezing van Dahler-Larsen. Want vroeger was niet alles beter, ook al waren er toen minder evaluaties.

Dat is de Deense hoogleraar met hem eens. In zijn afsluitende woorden wees hij erop dat er tegenwoordig veel meer wetenschappers zijn dan pakweg vijftig jaar geleden. Een hang naar vroeger? “Dan zou de helft van ons überhaupt geen baan aan de universiteit hebben”, onderstreepte hij. Er zijn nu zoveel wetenschappers dat je toch op de een of andere manier iets zult moeten evalueren om overzicht te houden.