Stop met publiek maken van cursusevaluaties

De uitkomsten van cursusevaluaties moeten niet openbaar zijn voor studenten. Dat schrijft hoogleraar Huub van den Bergh in een brief aan de faculteitsraad Geesteswetenschappen. De resultaten zijn op zijn minst shaky en de privacy van docenten wordt geschonden.

Geachte leden van de faculteitsraad,

Sinds langere tijd kennen wij bij onze faculteit een elektronisch systeem van cursusevaluatie. De studenten kunnen een online enquête invullen na afloop van een cursus. Ik spreek hier met opzet van kunnen invullen, want lang niet alle studenten nemen de gelegenheid te baat om de cursusevaluatie in te vullen. Een (zeer) optimistische schatting is dat gemiddeld ongeveer 50 procent van de studenten de moeite neemt om de cursusevaluatie in te vullen. 

Nu hoeft deze non-respons op zich niet erg te zijn, maar is dat wel wanneer het invullen of niet gerelateerd is aan de mening over de cursus. Wat we weten uit allerlei onderzoek is dat missings nooit volledig at random zijn. Het gevolg is dat de resulterende gegevens vertekenend zijn ten opzichte van de gehele groep die de cursus gevolgd heeft. Deze vertekening is erger naarmate 1) de mening van de non-respondenten meer afwijkt van de groep die de cursusevaluatie wél invult en 2) de groep non-respondenten groter is.

Als we dezelfde voorzichtige schatting hanteren, 50 procent van de studenten vult de cursusevaluatie in, dan kan hierdoor het geobserveerde cursusgemiddelde makkelijk een vol punt (op een vijfpuntschaal) afwijken van het werkelijke oordeel als alle studenten, dan wel een aselecte steekproef van studenten, de cursusevaluatie ingevuld zouden hebben. Is het geobserveerde gemiddelde oordeel een 3, dan varieert het werkelijke gemiddelde oordeel van de studenten ergens tussen de 2 en 4. Kortom, zoals altijd hebben steekproeffouten de grootste invloed op een schatting van populatiegemiddelden. 

Of deze vertekening een probleem is, is afhankelijk van het doel waarmee de gegevens verzameld zijn. Als het doel is een beschrijving te geven van de ‘kwaliteit’ van het onderwijs aan onze faculteit, soit! Dan moeten we alleen altijd in ons achterhoofd houden dat de gegevens waarop conclusies getrokken worden enigszins shaky zijn, om het voorzichtig te zeggen. Zouden de gegevens worden gebruikt voor individuele beoordelingen, zoals bij B &O-gesprekken, dan is de kwaliteit van deze cursusevaluaties ten enen male onvoldoende! Een cursus met gemiddeld oordeel 2 verschilt immers niet van een cursus met het gemiddelde oordeel 4. Dat wil zeggen: de kwaliteit van de huidige cursusevaluaties is niet voldoende om enig oordeel over het functioneren van een docent te kunnen vormen. 

Dit raakt meteen aan een tweede punt. De resultaten van cursusevaluaties worden tegenwoordig kenbaar gemaakt aan studenten. Dit is een kwalijke zaak. Ten eerste geeft de faculteit daarmee aan dat het kwalitatief goede informatie is. En, dat is het jammer genoeg niet (zie boven).  Ten tweede, meent de faculteit dat online enquêtes achteraf een goed instrument is om iets over de kwaliteit van het onderwijs te kunnen zeggen, en daar is nogal wat discussie over mogelijk. Feitelijk geven studenten hun perceptie van het onderwijs. En, dat is iets anders dan kwaliteit van het onderwijs. 

Ten derde is deze handelswijze laakbaar. De cursusevaluaties zijn in veel gevallen herleidbaar tot individuele personen. Er is immers vaak slechts één docent verbonden aan een cursus. De faculteit maakt dan ook informatie openbaar die herleidbaar is tot individuen. Gezien onze privacy-wetgeving is de faculteit daartoe niet gerechtigd. En, het is zonder meer kwalijk als individuele gegevens waarvan de kwaliteit op zijn best discutabel is openbaar gemaakt worden. En, dan heb ik het nog niet eens over de wijze of duur waarop deze gegevens bewaard dan wel opgeslagen worden. 

Samenvattend, voor oordelen over individuele docenten schieten online enquêtes te kort. Bovendien is het bekendmaken van oordelen, hoe slecht die ook mogen zijn, over tot personen herleidbare informatie in strijd met de geldende jurisprudentie; het is niet voor niets dat de Inspectie van het Onderwijs oordelen die te herleiden zijn tot individuele docenten niet naar buiten brengt. Kortom, de faculteit rijdt een scheve schaats door cursusevaluaties te verspreiden onder studenten. 

Geachte leden van de faculteitsraad bent u het met mij eens dat: 
1. De gegevens van cursusevaluaties door de relatief geringe respons onbetrouwbaar zijn, en 
2. daarom niet, dan wel met de allergrootste omzichtigheid, gebruikt moeten worden, en zeker niet in B & O-gesprekken, en
3. daarom niet openbaar gemaakt moeten worden op het niveau van de individuele docent?

Met hartelijke groet,

Huub van den Bergh

Advertentie