De UU niet meer in de rankings; wat betekent dat nu?

Ergens in het voorjaar van 2023 besloot de UU om geen data meer aan te leveren voor vergelijkende internationale ranglijsten die niet verenigbaar zijn met het Utrechtse strategisch plan en de gedachte van ‘Open Science’. Dat betekende een einde aan de samenwerking met de bekende Times Higher Education- en QS-rankings.

Het was een opmerkelijke omslag; de UU klopte zich immers jarenlang op de borst vanwege de hoge positie op die ranglijsten. In de THE-ranglijst stond de universiteit vaak zo rond plek 60 als een van de betere Nederlandse universiteiten. Toen de Universiteit Utrecht in het najaar plots niet meer was terug te vinden in die lijst, gaf dat het nodige rumoer. 

Niet in de laatste plaats binnen de universiteit zelf. De communicatie- en marketingafdeling was abusievelijk niet op de hoogte gesteld van het besluit van een half jaar eerder, en werd overvallen door vragen van media, maar ook van eigen studenten en medewerkers. 

Hetzelfde gold voor de afdeling internationalisering die aan de slag moest met de IND. Die verstrekte alleen tijdelijke verblijfsvergunningen aan kenniswerkers als die aan een universiteit uit de top 200 hadden gestudeerd. Dat was een potentieel probleem voor internationale alumni die een carrière in Nederland wilden beginnen. Ook internationale studenten beklaagden zich bij DUB, omdat ze bang waren voor de waarde van hun diploma

Dat was allemaal niet handig en werd snel gladgestreken, maar over het principiële besluit bestond weinig twijfel bij de universiteit. Het was een heel bewuste keuze en de Universiteit van Zürich was alvast een bondgenoot. 

Rankings leggen te veel nadruk op competitie, zo is de overtuiging. Dat strookt niet met nieuwe inzichten rond thema’s als Erkennen & Waarderen en Open Science die juist het belang van samenwerking benadrukken. Daarnaast is de vraag of een universiteit in al haar facetten gevat kan worden in een positie op een ranglijst.

Tegenover World University News erkende rector Kummeling dat er een risico was voor de reputatie van de UU, “maar mensen kiezen ervoor te studeren en te werken bij de UU of samen te werken met de UU op basis van inhoud en kwaliteit, niet vanwege een positie op de ranglijst”. De strategische keuze maakte van de UU volgens Kummeling “een universiteit met een hoofd en een hart”.

De voorloperspositie
Twee jaar later staat hoogleraar Paul Boselie, Chief Open Science aan de UU, nog volledig achter het besluit. “Niet alleen omdat zo’n ranking niet past bij onze universitaire strategie, maar ook omdat meedoen gewoon veel geld kost: naar schatting tussen de 70.000 en 150.000 euro voor het hele proces.”

Daarbij is de Times Higher Education-ranglijst volgens Boselie “echt een heel slechte ranking” waarbij niet de daadwerkelijke prestaties van universiteiten worden gemeten. Hetzelfde geldt voor de QS-ranking waar de UU – ondanks het eigen terugtrekken – nog steeds in verschijnt. 

“Je wilt als respectabele universiteit toch niet meedoen aan een ranglijst met een aantoonbaar slechte methodiek die ook nog eens in handen is van een commerciële organisatie die niet transparant werkt? Practice what you preach, zou ik zeggen.”

Volgens Boselie heeft de Utrechtse positie van “frontrunner” veel gratis publiciteit opgeleverd. De UU wordt overal in de wereld uitgenodigd om haar positie en de filosofie daarachter toe te lichten. “Er is bewondering voor de stap die wij hebben gezet.”

Meer dan een ranking
En inderdaad, alleen in haar opvattingen over de nadelige effecten van rankings staat de UU allerminst. Kort voor de zomer van 2023 constateerde een werkgroep van de Universiteiten van Nederland in een rapport dat de ranglijsten “verkeerde incentives” geven. 

Internationaal kwamen er ook meerdere initiatieven. Zo kunnen instellingen zich aansluiten bij More Than Our Rank. Met dat logo op de website maken universiteiten duidelijk dat ze uitblinken in allerlei zaken die niet of slecht worden gemeten in de bekende rankings.

De Coalition on Advancing Research Assessment (CoARA), een samenwerkingsverband van universiteiten dat zich richt op hervorming van onderzoeksbeoordelingen en waarvan de scheidend UU-rector Kummeling de nieuwe voorzitter is, spreekt zich eveneens uit tegen het gebruik van rankings bij het beoordelen van onderzoekskwaliteit. De International Association of Universities heeft volgens de UU een statement in voorbereiding.

Een beetje lef
Maar Boselie moet erkennen dat tot nog toe alleen enkele Chinese en Indiase universiteiten en in Europa de Universiteit van Lorraine (geen top 100-universiteiten) het voorbeeld van Utrecht en Zürich om uit de rankings te stappen daadwerkelijk hebben gevolgd. Andere Nederlandse of Europese universiteiten deden dat geen van allen. 

Volgens de Chief Open Science zijn er vaak strategische redenen om mee te blijven doen aan de ranking. Zo is in veel landen de financiering van de instelling vanuit de overheid of vanuit andere bronnen gekoppeld aan een positie of na te streven positie op de ranking. “Die instellingen zijn soms met handen en voeten gebonden.”

Tegelijkertijd ziet hij niet zelden dat bestuurders en individuele wetenschappers “verslaafd lijken te zijn” aan de vooraanstaande plek op de ranking. “Het komt ook neer op leiderschap. Je moet als universiteitsbestuur een beetje lef hebben. En mind you, dat heeft ons College van Bestuur wel getoond.”

Helemaal niet zo onzinnig
Ook de Utrechtse Universiteitshoogleraar Bert Weckhuysen vindt dat ranglijsten vaak te belangrijk worden gemaakt en te absoluut geïnterpreteerd. Maar naar zijn mening is de UU wat doorgeschoten met het besluit om uit de THE-ranking te stappen. “Je kunt zeggen dat we leidend zijn in het debat, maar je kunt ook zeggen dat we ons enigszins afsluiten van de buitenwereld.”

Want ondanks alle beperkingen hebben de ranglijsten wel degelijk betekenis, is zijn ervaring. “Misschien wordt er niet goed gemeten of niet volledig gemeten, maar zo’n ranking is wel een indicatie van je relatieve positie ten opzichte van andere universiteiten in Europa, de VS en China. Helemaal onzinnig is die lijst natuurlijk ook weer niet.”

De chemicus wijst erop dat universiteiten zich in een wereldwijde competitie om talent bevinden. Zeker in de Angelsaksische cultuur is de status van de universiteit waar iemand gestudeerd heeft of waar iemand gewerkt heeft medebepalend voor het verloop van de verdere carrière. “En dat betekent ook dat die rankings in ieder geval op dit moment nog van belang zijn voor het aantrekken van staf, postdocs en promovendi; en omgekeerd dat ze ook voor deze mensen zelf belangrijk zijn als ze terugkeren of solliciteren in het buitenland.” 

Elsevier
Van collega’s in het buitenland hoort de hoogleraar dat die zich wel eens afvragen of de UU zich niet in de eigen voet schiet. “In China of de VS doet de naam Utrecht niet altijd meteen een belletje rinkelen. Als je dan zegt: de universiteit staat zo hoog op die en die specifieke ranking, dan helpt dat. Studenten en ouders willen graag value for money. De keuze van de juiste universitaire instelling is daarom heel belangrijk.”

De Universiteitshoogleraar maakt de vergelijking met de communicatie met vwo-scholieren die naar een Open Dag komen. “Als die vragen hoe ze erop aankunnen dat een opleiding goed is, houd je dan een wc-eend verhaal? Nee, je geeft dan het advies om de Elsevier of de Keuzegids te raadplegen. En ook daarvan weet je dat er van alles op aan te merken is.”

Dat bijna alle andere universiteiten gewoon blijven meedoen aan de rankings, ziet ook Weckhuysen. Zelfs de kritische Nederlandse en Vlaamse universiteiten. Dat zou de UU moeten aanzetten tot nadenken over de te volgen strategie volgens hem. 

De stap zetten
Epidemioloog Inge Stegeman is voorzitter van de Utrecht Young Academy en coördinator van Open Science to Improve Reproducibility in Science (Osiris), een programma dat onderzoek doet naar de manier waarop Open Science-uitgangpunten de kwaliteit van wetenschap kan verbeteren. 

Zij wijst erop dat er geen onderzoek bestaat naar de gevolgen voor universiteiten die uit een ranking stappen. Ze heeft daarom moeite met wetenschappers die zeggen dat zo’n besluit nadelig uitpakt. “We weten helemaal niet wat de effecten zijn. Schrikt het jonge wetenschappers af als een universiteit uit een ranking stapt? Geen idee. Misschien is het wel omgekeerd en trekt het mensen aan.”

Stegeman is zelf een voorstander van het niet meer meedoen aan de ranking. Volgens de UYA-voorzitter is het wetenschappelijke landschap razendsnel aan het veranderen. “Het stoppen met rankings die niet meten waarop je afgerekend wilt worden, is een logische stap. Dat andere universiteiten nog niet dezelfde stap hebben gezet, zegt mij niet zoveel.”

Ze denkt dat het vernieuwende onderzoeksbeleid van de UU juist ook internationale bekendheid kan bezorgen. Ze krijgt er bij internationale conferenties vaak vragen over. “Veel onderzoekers zien ons als voorloper, en zien de UU als voorbeeld van het ‘nieuwe Erkennen & Waarderen’. Volgens mij zijn we voorlopers die tegelijkertijd midden in de realiteit staan.”   

Alternatieven
Wie aan ChatGPT vraagt of de UU een goede universiteit is, krijgt een bevestigend antwoord. Nummer 1-overweging van de chatbot is de hoge positie van de UU op de QS-ranking en de Shanghai-ranking. Mogelijk blijft daar over een tijdje dus alleen de laatste van over.

Gaat dat de UU iets kosten? Boselie gelooft er weinig van. “Ik hoor nog steeds dat mensen graag in Utrecht werken en niet gillend wegrennen. Dat komt naar mijn idee vooral omdat de UU zo breed is en zich richt op onderzoek met maatschappelijke impact over de disciplinaire grenzen heen. En dat past toevallig heel goed bij de hedendaagse wetenschapsbeoefening. En het helpt daarbij enorm dat het bestuur strategische keuzes durft te maken.”

De Chief Open Science benadrukt daarbij dat de UU zeker niet tegen alle rankings is. Buiten het feit dat er ook rankings zijn waar universiteiten geen data voor hoeven aan te leveren en waar ze ‘gewoon’ op verschijnen – neem de Shanghai Ranking waar de UU altijd goed op scoort - zijn er volgens hem ook betere rankings zoals die van het CWTS en U-Multirank. 

Die twee rankings zijn interactiever en bieden naar zijn mening meer handvatten voor vergelijkingen die verder dan een botte ranglijst. Want het blijft voor de universiteit en onderdelen van de universiteit van belang de eigen prestaties te wegen in vergelijkingen met andere universiteiten, zo weet hij. Maar dan wel op een andere manier dan het nu vaak gebeurt.

“Er zou meer gedifferentieerd moeten worden naar disciplines. Er zijn zulke grote verschillen tussen faculteiten, departementen, onderzoeksgroepen; dat kun je veel beter uitsplitsen. Daarnaast zou je kunnen kijken naar de verschillende domeinen. Onderzoek is niet het enige en is niet zaligmakend. Je kunt ook kijken naar werksfeer om maar iets te noemen. Tenslotte is het van belang om benchmarks te gebruiken waarvan je werkelijk iets kunt leren. Dat is toch waar we het uiteindelijk om willen doen.”

Niet afwijzen
Universiteitshoogleraar Bert Weckhuysen relativeert de zoektocht naar betere en andersoortige rankings. “In de huidige rankings kun je ook al vergelijkingen maken binnen allerlei deelgebieden en dat worden er steeds meer. Bovendien is mijn ervaring dat uiteindelijk elke nieuwe ranking wordt ‘gegamed’. Op een gegeven moment weet iedereen precies op welke manier ze kunnen scoren.”

Dat de universiteit zich wil bewijzen als voorvechter op het vlak van Erkennen & Waarderen en Open Science, iets dat hij ondersteunt, hoeft volgens hem niet per se tot het afwijzen van de bestaande rankings te leiden. 

“Nu is het: we zijn voor dit én tegen dat. Volgens mij is er ruimte voor nuance. Je kunt best trots zijn op je positie op zo’n ranglijst als je tegelijkertijd de mitsen en maren aangeeft. Daarnaast kun je dan stapsgewijs anderen van je narratief proberen te overtuigen. Maar daarvoor zul je een sterke alliantie met binnenlandse én buitenlandse universiteiten moeten smeden. Dat zal tijd kosten. Topuniversiteiten in de VS zullen immers niet snel volgen. Dat zijn Coca Cola-merken, je gaat eigenlijk tegen hun verdienmodel in.”

‘Trots op de waardering van vakgenoten’

Als je als universiteit vindt dat een plek op een internationale ranking weinig zegt over wat er binnen een universiteit gebeurt,  hoe vergelijk je je dan met anderen?  En als je van mening bent dat een benchmark vooral bedoeld moet zijn om van te leren, hoe doe je dat dan?

Als voorbeeld van hoe het beter kan, werd de afgelopen maanden vaak een internationaal vergelijkend rapport naar de waardering van onderwijs binnen onderzoeksuniversiteiten genoemd.

Uit het kwalitatieve onderzoek Rewarding Teaching in Academic Careers: Mapping the Global Movement for Change bleek dat geïnterviewden de Universiteit Utrecht van alle universiteiten het meest noemden als lichtend voorbeeld.

De UU werd gekarakteriseerd als een ‘wereldwijde pionier’ waar het gaat om de ondersteuning van en waardering voor universitair onderwijs. De onderwijscultuur en -praktijk is in Utrecht onderdeel uitgaan maken van het dna van de organisatie, zo werd gesteld.

Dat Utrecht er goed opstaat in onderwijsland was bekend. De UU is grondlegger van de basiskwalificatie onderwijs voor universitair docenten en van een leergang onderwijskundig leiderschap. De universiteit ontwierp ook het Triple-model voor het beoordelen en bevorderen van medewerkers. Daar wordt veel ruimte geboden voor loopbanen waarin het accent op onderwijs ligt.

“Hoewel we ook in Utrecht nog flink veel stappen te zetten hebben, zijn we trots op de waardering van peers voor het eco-systeem voor onderwijs dat we hier in de afgelopen dertig jaar hebben opgebouwd”, zegt Manon Kluijtmans, vicerector onderwijs van de UU en oprichter van het universitaire Centre for Academic Teaching.

“We weten dat veel van de zaken die hier zijn ontwikkeld door andere universiteiten zijn overgenomen En dat is natuurlijk het allermooiste: dat anderen de dingen die je goed doet ook gaan doen.”

De wens om van andere universiteiten te leren, is volgens Kluijtmans ook de belangrijkste drijfveer geweest voor het onderzoek dat werd uitgevoerd door de gerenommeerde Ruth Graham. Utrecht nam samen met zes andere universiteiten het initiatief daarvoor.

Het betreft universiteiten die lid zijn van het Advanced Teaching Network. Via dat internationale netwerk worden jaarlijks surveys gehouden naar de tevredenheid van docenten over de waardering en ondersteuning van docenten. In Utrecht scoort de ondersteuning van het onderwijs relatief hoog, en zijn docenten steeds iets positiever over de waardering van hun onderwijs.

Kluijtmans: “Dat is natuurlijk interessante informatie, maar het is ook duidelijk dat er nog veel te winnen is. We vroegen ons af: wat zouden we dan moeten willen en hoe bereiken we dat? De surveys geven ons alleen het perspectief van de docent. We wilden heel graag weten hoe andere universiteiten die onderwijscultuur verbeteren en wie we daarbij zelf als voorbeeld konden nemen.”

En in het nieuwe rapport zit veel om te leren en om te inspireren, vindt ze. In Singapore kijken universiteiten bijvoorbeeld heel zorgvuldig en grondig in hoeverre het doceren ook echt bijdraagt aan het leren van studenten. In Canada wordt van docenten verwacht dat ze zich inzetten voor een inclusieve en gelijkwaardige leer- en werkomgeving. “Het is daar echt een  integraal onderdeel van de beoordeling van je functioneren.”

Toelichting gasthoofdredacteur Henk Kummeling
Deze week staat in het teken van het afscheid van rector Henk Kummeling. DUB bood de rector aan een week hoofdredacteur te zijn. Alle hoofdverhalen deze week zijn bedacht door Kummeling en daar is de redactie van DUB mee aan de slag gegaan. Hier een toelichting van Kummeling op dit artikel:

"De laatste jaren hebben we veel in gang gezet op het gebied van Open Science, en hebben we het besluit genomen om geen gegevens meer aan te leveren bij bepaalde rankings. Daardoor blijft de vraag ‘Wat is je reputatie los van rankings’ voor mij een relevante.

Ik heb daar zelf natuurlijk ook ideeën bij: volgens mij bereiken we onze grootste impact via onderwijs – door het talent dat we opleiden voor de samenleving. En aan de hoeveelheden grants kunnen we ook aflezen hoe ons onderzoek wordt gewaardeerd. Maar ik was benieuwd wat een journalistieke zoektocht van de DUB-redactie zou opleveren. Het is mooi om te lezen dat collega’s vinden dat we als bestuur lef hebben getoond door uit bepaalde rankings te stappen. Ik hoop en verwacht dat binnenkort universiteiten van naam en faam die kritisch zijn op rankings, onze stap gaan volgen. Natuurlijk zijn er ook zorgen, maar daar zijn oplossingen voor te vinden."