‘Inflatie in rapportcijfers Nederlands onderzoek’

Als we de evaluaties moeten geloven, is vrijwel al het wetenschappelijk onderzoek in Nederland van wereldniveau. De ene vakgroep is al net zo goed als de andere. Zo heeft evalueren weinig zin, vindt Leonie van Drooge van het Rathenau Instituut.

Sinds 20 jaar evalueert Nederland het wetenschappelijk onderzoek aan de universiteiten systematisch. Door de jaren heen verschillen de methodes en criteria enigszins, maar één ding is duidelijk: de scores blijven maar stijgen. Op een schaal van één tot vijf krijgen vrijwel alle vakgroepen tegenwoordig een vier of een vijf.

Dat hebben het Rathenau Instituut en onderzoeksinstituut CHEPS samen vastgesteld. Niet alleen gaan de rapportcijfers omhoog, de beste score is ook aan inflatie onderhevig. Aanvankelijk was een vijf ‘excellent’, daarna werd het de aanduiding voor een ‘international leader’ en inmiddels staat een vijf voor ‘world leading’.

De zeggingskracht van de cijfers is hiermee zo goed als verdwenen, constateert Leonie van Drooge van het Rathenau Instituut. Zij is de eerste auteur van ‘Feiten en cijfers – twintig jaar onderzoeksevaluaties’. Vakgroepen vallen nauwelijks meer met elkaar te vergelijken.

“Het is verstandig om over een nieuw systeem na te gaan denken”, zegt Van Drooge. “In 2015 gaan universiteiten en onderzoeksinstituten het protocol herzien, dus dit is een goed moment.”

Vergelijkingen tussen vakgroepen waren altijd al lastig. Vroeger werden ze vaker groepsgewijs beoordeeld, zodat je de scores naast elkaar kon leggen. Daar hielden de wetenschappers niet van, omdat vergelijkingen altijd wringen. Vakgroepen zijn in de wetenschap al snel appels en peren. Daarom mogen universiteiten tegenwoordig zelf bepalen welke experts ze hun onderzoek laten beoordelen en naar welke vakgroepen die kijken. Sommige evaluaties gaan maar over één vakgroep, en in je eigen niche is het makkelijker om wereldleider te zijn.

Maar dat blijkt geen verklaring voor de oplopende scores. Of vakgroepen nu tegelijk beoordeeld worden of afzonderlijk maakt niet uit. Misschien worden de cijfers gewoon hoger omdat de wetenschappers werkelijk beter presteren dan voorheen. Niet voor niets staat Nederland tamelijk hoog in allerlei ranglijsten van universiteiten. “Als dat zo is, wordt het misschien tijd voor een systeem dat meer recht doet aan het huidige niveau van de Nederlandse wetenschap”, denkt Van Drooge. “Dan kunnen die scores beter achterwege blijven. Die domineren nu de evaluaties.”

Een verklaring voor de stijgende scores is wellicht de angst dat oordelen van buitenstaanders niet alleen leerzaam zijn, maar ook effect kunnen hebben op de financiering. Externe experts vrezen misschien dat ze hun collega’s van hun baan beroven als ze een slechte beoordeling geven. Van Drooge: “Met een drie heb je iets uit te leggen, terwijl een drie toch eigenlijk ‘goed’ is.”

In de wetenschap is peer review bij tijdschriften of bij verdeling van onderzoeksbeurzen heel gewoon. “Maar in die gevallen zijn de wetenschappers ook de gebruikers. Ze zeggen bijvoorbeeld: dit artikel wil ik wel of niet lezen in mijn tijdschrift. Bij onderzoeksevaluaties hangt er voor henzelf weinig van het oordeel af, of dat nu positief of negatief is. Dat zou ook effect kunnen hebben.”

Kunnen we de onderzoeksevaluaties dan maar beter helemaal afschaffen? Nee, denkt Van Drooge. “Wetenschappers klagen wel eens over de evaluaties, maar ze zeggen ook dat het goed is om elke zes jaar eens na te denken waarom ze er eigenlijk zijn en welke kant ze opgaan. Het systeem heeft zijn waarde zeker bewezen, maar begint sleets te worden.”

De vraag is vooral waarvoor de evaluaties gebruikt moeten worden. “Als ze er zijn om het onderzoek te verbeteren, dan kun je beter alleen met de onderbouwing van het oordeel werken dan met het eindcijfer.”

Overigens gingen de scores de afgelopen twintig jaar het snelst omhoog bij de economen. Kwamen zij in de eerste evaluaties nipt boven de drie, nu krijgen ze gemiddeld meer dan een 4,5. Rechtsgeleerdheid steekt boven alle andere vakgebieden uit: daar is de gemiddelde lof becijferd op zo’n 4,6 punten.