'De werkvloer trekt zich niet zoveel aan van de Elsevier-ranglijst'

Wat hebben docenten van de Universiteit Utrecht aan de ranglijst van beste Nederlandse opleidingen van weekblad Elsevier? Hoeveel waarde moet je hechten aan de gemeten onderwijskwaliteit en hoe wordt die eigenlijk gemeten? “Ik heb nauwelijks zicht op de kwaliteit van docenten.”

De Elsevier-ranglijst ‘De beste studies’ is vorige week weer verschenen. Reden tot gejuich, gezucht of gevloek onder decanen, docenten en studenten van universiteiten in het hele land. In Utrecht mogen we ons weer op de borst kloppen, nu de UU dit jaar weer als ‘beste brede universiteit’ uit de lijst tevoorschijn is gekomen. En terecht, nietwaar? De jaarlijkse lijst biedt immers een nationale vergelijking van de onderwijsprestaties van universiteiten en opleidingen. Voor wie wil weten van hoe zijn instelling zich verhoudt tot andere universiteiten in het land, biedt ‘De beste studies’ uitkomst.
Een interessante vraag is wie zich de bevindingen uit de jaarlijkse ranglijst direct aantrekt. Onlangs schreef DUB over het beperkte belang van de lijst van Elsevier voor haar primaire doelgroep: aankomende (UU)studenten. Gezien de focus op onderwijs en de kwaliteit daarvan, ligt het voor de hand om ook te vragen: wat doen docenten en hoogleraren aan de Universiteit Utrecht eigenlijk met de lijst? En hoe komt deze tot stand?
Onderwijs of onderzoek de maat nemen
Wat betreft het verband tussen hoogleraren en de totstandkoming van de lijst is het antwoord helder. Naast de resultaten uit de Nationale Studentenenquête van Stichting Studiekeuze123 maakt Elsevier voor de lijst met de beste studies gebruik van een eigen jaarlijks onderzoek de Elsevier Faculty Rating, waarvoor hoogleraren worden benaderd. Aan de NSE deden dit jaar 231.648 voltijd hbo- en wo-studenten mee - een respons van 34,4 procent - over bijvoorbeeld faciliteiten, onderwijs en organisatie van hun universiteit. Daarnaast vulden 1960 hoogleraren en universitair hoofddocenten de Faculty Rating-enquête in.
Eén van hen is de Utrechtse hoogleraar Sociale Geografie en Demografie Pieter Hooimeijer. Hij krijgt jaarlijks per e-mail het verzoek te oordelen over de kwaliteit van bachelorprogramma’s, masterprogramma’s, docenten en de wetenschappelijke publicaties van opleidingen Geografie die aan andere Nederlandse universiteiten worden aangeboden. Hierbij blijken juist de drie criteria, die betrekking hebben op onderwijs, moeilijk meetbaar.
Hooimeijer: “Je krijgt de vraag om op een aantal onderdelen een rangschikking te maken. Als het gaat over het onderzoek is het betrekkelijk eenvoudig. We zitten als onderzoekers in een gezamenlijke onderzoeksschool, kennen elkaar en weten waar iedereen zich mee bezighoudt. Maar de kwaliteit van het onderwijs is veel lastiger te beoordelen. We hebben namelijk veel minder zicht op elkaars onderwijsprogramma's, laat staan op de kwaliteit van de docenten.”
Mede hierom voelen niet alle hoogleraren die de vragenlijst in hun mailbox krijgen, zich geroepen deze in te vullen. Hoogleraar Vergelijkende Wetenschapsgeschiedenis Wijnand Mijnhardt is één van hen. Mijnhardt -  één van de initiatiefnemers van het project Science in Transition dat onder meer kritisch is op de manier waarop ranglijsten tot stevige competitie tussen universiteiten leiden - vult nooit enquêtes voor ranglijsten in. “Die vind ik flauwekul. Waarop zijn die rankings nu eigenlijk gebaseerd?” Mijnhardt onderbouwt zijn kritiek met een simpele vraag uit eigen ervaring: “Ik ben geen totale generalist. De geschiedenis van na 1900 valt bijvoorbeeld al snel buiten mijn blikveld. Moet ik dan toch een oordeel klaar hebben over collega’s die zich daar wél mee bezig houden?”
Arthur van Leeuwen, chef Redactie Onderzoek bij Elsevier, bevestigt het beeld dat onderzoek vaak als eerste graadmeter telt voor een beoordeling van onderwijs elders door professoren: “Wij vragen elk jaar weer op welke gronden hoogleraren hun uitspraken over collega’s doen, en dan staan de wetenschappelijke prestaties steevast bovenaan, gevolgd door de reputatie van de stafleden en instelling. Meteen daarna tellen feitelijke kennis van het onderwijsprogramma en de kwaliteit van docenten zwaar.” Bovendien verdedigt Van Leeuwen De beste studies met het percentage hoogleraren dat dit jaar op de mailing van Elsevier reageerde: 34 procent, een hoog getal voor een peer review. Elsevier gaat er dan vanuit dat hoogleraren die reageren op de enquête zichzelf in staat achten een goed oordeel over opleidingen of collega’s aan andere universiteiten te vellen.
De ranglijst tussen bestuur en werkvloer
Misschien is het dus een meer prangende vraag voor wie de resultaten van de Elsevier-lijst nu eigenlijk van belang zijn. Pieter Hooimeijer lacht als hij vertelt dat het College van Bestuur een keer taart naar zijn faculteit stuurde, omdat deze hoog op een ranglijst was geëindigd. Ook zegt hij over zijn periode als decaan bij Geowetenschappen: “Wij hadden hier het project ‘Hoger op de ranglijst’. We keken op welke punten we niet goed scoorden, zoals de computerfaciliteiten, en probeerden die dan te verbeteren.”
Maar de vraag is of de Elsevier-lijst er echt toe doet voor het gros van de mensen die in de praktijk bepalen hoe ‘het onderwijs’ wordt vormgegeven: de docenten, de promovendi en natuurlijk ook de hoogleraren zelf. “Op de werkvloer trekken mensen zich niet zo veel aan van de ranglijst”, zegt Ruud Abma. Hij is docent bij Algemene Sociale Wetenschappen en als auteur van het boek De publicatiefabriek over de fraude van Diederik Stapel, goed op de hoogte van de lijstendiscussie. “Het is toch zo dat je als docent in de eerste plaats kijkt naar hoe het feitelijk gaat in het onderwijs. Als je met studenten aan het werk bent zie je direct of ze het snappen en of ze het spannend vinden. Eigenlijk is dat voortdurend je belangrijkste toetssteen.” Ton van Rietbergen, docent bij Sociale Geografie, doet daar nog een schepje bovenop: "Je moet hierbij denk ik een onderscheid maken tussen het universitair management en de docenten. Ik geloof niet dat er docent-onderzoekers zijn die deze lijstjes echt serieus nemen."
Opiniepeilingenlijst
Er kleven dus serieuze problemen aan deze vorm van onderwijsmeting: niet alleen is onderzoek indirect een belangrijke graadmeter voor onderwijs, ook is twijfelachtig of docenten ‘in het veld’ zich veel aantrekken van een ranglijst. Tegelijkertijd zien de ondervraagden wel het belang in van metingen die scholieren enig idee geven van wat ze van het onderwijs mogen verwachten bij deze of gene universiteit. Mijnhardt: “Ik begrijp wel de behoefte dat men vooraf wil weten: wat koop ik?”
Het lijkt dus verstandig om vooral realistisch te zijn over de manier waarop Elsevier onderwijs meet. Universiteitsbestuurders kunnen bij het maken van onderwijsbeleid niet blindelings afgaan op kwaliteitsoordelen over onderwijs die nauw verweven zijn met oordelen over onderzoek. En als onderwijs wel doelgericht door hoogleraren beoordeeld wordt, is het nog maar de vraag of zij iedereen in hun vakgebied kennen, en iets kunnen zeggen over de onderwijskwaliteiten van collega’s. In die zin is de Elsevier misschien beter op te vatten als een onderbouwde opiniepeiling, die ook als zodanig benaderd moet worden.
Bovendien moet niet vergeten worden dat er in de Elsevier-lijst geen universiteiten werkelijk buiten de boot vallen. Dit is misschien een bevestiging dat Nederlandse universiteiten elkaar in kwaliteit maar marginaal ontlopen. Van Rietbergen: "De verschillen zijn altijd nihil. De kritiek op Nederlandse universiteiten is altijd - en ik vind dat geen kritiek - dat ze qua kwaliteit zo weinig van elkaar verschillen."