Ranglijst van universiteiten met meest tevreden studenten zegt weinig

Duizenden studenten geven hun mening in de Nationale Studenten Enquête, en hun oordelen zijn gisteren gepubliceerd. Maar je kunt daar niet zomaar een ranglijst van beste onderwijsinstellingen uit destilleren.

Het is een hele grabbelton vol informatie. In de Nationale Studenten Enquête laten studenten weten wat ze vinden van hun docenten, de inhoud van hun opleiding, de faciliteiten, het niveau enzovoorts.

Het is verleidelijk om naar de hoogste en laagste scores te kijken in de antwoorden van de studentenenquête. Inholland belandt dan onderaan en De Kempel bovenaan, had bijvoorbeeld de Volkskrant al snel gezien. Maar heeft dat zin?

“Er zitten wat problemen aan zulke ranglijstjes”, zegt Anja van den Broek van onderzoeksbureau ResearchNed, deskundige op het gebied van enquêtes en kwaliteitsmetingen. Neem alleen al de ‘betrouwbaarheidsmarge’ van de uitkomsten.

Het kan gebeuren dat een opleiding een tiende hoger scoort dan een andere opleiding, terwijl studenten er eigenlijk even tevreden zijn. Als je de vragenlijst nog een keer verspreidt, komt misschien het omgekeerde eruit. Alleen daarom al moet je voorzichtig zijn.

“Je kunt op een makkelijke manier de gemiddelde scores sorteren en dan een nummer één aanwijzen, zonder te kijken of het wel echt de nummer één is”, zegt Van den Broek. “Het zou ook de nummer twee of zelfs de nummer tien kunnen zijn, als de verschillen klein zijn.”

Verder hebben onderwijsinstellingen soms heel verschillende studenten binnen hun muren. Van den Broek: “Jongens die economie studeren vullen zo’n enquête heel anders in dan meisjes op de pabo. Als je corrigeert voor samenstelling van studentenpopulaties, blijken de verschillen tussen onderwijsinstellingen een stuk kleiner.”

Maar de verschillen verdwijnen niet helemaal en ze zijn wel interessant. De volgende vraag is dan: wat zeggen de tevredenheidsoordelen precies over de kwaliteit van een opleiding? Van den Broek: “Je kunt er allerlei vragen bij stellen. Als je makkelijk studiepunten kunt halen, zou het kunnen dat sommige studenten hartstikke tevreden zijn, maar kun je dan nog spreken van een goede opleiding?”

Je moet kwaliteit daarom vanuit verschillende perspectieven bekijken, meent Van den Broek. “Wij doen bijvoorbeeld voor Elsevier de jaarlijkse enquête onder hoogleraren. Die vertellen wat volgens hen de beste opleidingen zijn. Dan krijg ik ook wel eens de vraag: wat zegt die mening van hoogleraren nou eigenlijk? De mening van hoogleraren staat niet gelijk aan de kwaliteit. Maar ze belichten wel een stukje van het onderwijs en dat is met studentenoordelen ook zo.”

Ze krijgt bijval van Frank Steenkamp, maker van de diverse keuzegidsen voor het hoger onderwijs. Ook hij wijst op verschillen tussen studies. “Opleidingen geneeskunde scoren altijd goed”, zegt hij, “en dat is voorstelbaar: je wilt arts worden, je bent geselecteerd, de opleiding voldoet eigenlijk per definitie aan je verwachtingen. Dat is wel anders bij een opleiding als pakweg bedrijfskunde, waarbij de toekomst voor studenten een stuk minder duidelijk is.”

Verder heeft hij zijn twijfels bij sommige vragen in de studentenenquête. “Neem de vraag naar de ‘algemene tevredenheid’ van studenten. Je weet niet precies wat je daarmee meet. Misschien laten studenten ook meewegen hoe leuk ze hun studentenstad vinden.”

Hij benadrukt al sinds de eerste Keuzegids dat de vergelijking tussen opleidingen veel zinniger is dan tussen onderwijsinstellingen. “Daar hebben studiekiezers veel meer aan.”

Waarom hij dan toch in zijn Keuzegidsen een ranglijst maakt? “We zien het als samenvatting. Het zegt iets als een onderwijsinstelling over het algemeen beter presteert dan andere instellingen in de Nationale Studenten Enquête en de onderwijskeuring van de NVAO. Dat is zeker relevant voor mensen die op dat helikopterniveau naar instellingen kijken. Maar niet voor de gewone studiekiezer.”