‘Laat studenten zien wat er met de cursusevaluatie gebeurt’

Op dit moment worden alle cursussen van de Universiteit Utrecht geëvalueerd met het systeem Caracal. De evaluaties zijn bedoeld om een beeld te krijgen van de door studenten gevolgde cursussen. Wat ging er goed, wat kan er beter? Caracal bevat vele gedetailleerde vragen over de cursus. Er zijn gesloten vragen waarbij een oordeel tussen 1 en 5 gevraagd wordt en er zijn open vragen waarin de studenten worden uitgenodigd hun mening over de cursus en de docent te geven. De evaluaties worden na elk blok afgenomen. Alle studenten krijgen dan een mail met het verzoek de lijst met tientallen vragen in te vullen. Dat doen ze anoniem. 

In het eerste deel zagen we dat er problemen zijn met deze aanpak. Zo is de deelname van studenten aan de evaluatie erg laag, gemiddeld rond de 10 tot 15 procent. Verder gebruiken studenten de evaluatie om zich kritisch te uiten over de docent in niet altijd fraaie bewoordingen. Lang niet altijd gaat het dan over de onderwijskwaliteiten, maar spelen andere zaken een rol, zoals de zwaarte van een cursus, de taalvaardigheid, de manier waarop de docent de leerstof weet over te brengen, de gender van de docent en politieke uitingen van de docent. 

Iedereen  is het er over eens dat cursusevaluaties belangrijk zijn. De vraag is alleen hoe het anders en beter kan. Op verschillende niveaus wordt daarmee geëxperimenteerd, zowel binnen het bestaande systeem als met andere vormen van evaluatie. “Er is meer behoefte aan flexibiliteit in de uitvoering”, zegt Renée Filius, hoofd van de afdeling Onderwijs. Op centraal niveau wordt gewerkt aan een notitie die daar ruimte aan geeft. En ook faculteiten zijn bezig om de cursusevaluaties zo aan te passen dat de problemen zoals die in het eerste deel staan beschreven aangepakt kunnen worden. 

Renée Filius zegt dat faculteiten de ruimte krijgen om hun cursusevaluaties op maat te maken. Wel is er in samenwerking met de faculteiten een notitie gemaakt met aanbevelingen. Zo moet de cursusevaluatie gebruikt worden voor het verbeteren van het onderwijs en mag het niet ingezet worden voor personeelsbeleid. Het is volgens de werkgroep niet zinvol om voor de hele universiteit standaard dezelfde vragen te bedenken. “Wij geven de faculteiten handvaten om de cursusevaluatie te verbeteren”, zegt Renée Filius. “Zo geven we aan dat niet elke cursus geëvalueerd hoeft te worden, dat er gekeken kan worden naar een kortere vragenlijst en dat het stimulerend kan zijn voor studenten om ook al te evalueren halverwege het blok. Dan zouden aanbevelingen direct meegenomen kunnen worden en dat is aantrekkelijk voor de studenten. Er hoeft ook geen minimum gesteld te worden aan deelname van de evaluaties, maar bij een lage respons is het vooral zinvol te kijken naar de suggesties bij de open vragen. Om te voorkomen dat kwetsbare opmerkingen voor docenten breed gedeeld worden, moet je kritisch kijken wie toegang heeft tot de open vragen.” 

Het idee is om de aanbevelingen vanuit deze nota later in Caracal te implementeren, zodat faculteiten makkelijker eigen keuzes kunnen maken. 

Evaluatieplan
Een van de manieren waarop de cursusevaluatie verbeterd kan worden, is wanneer faculteiten of opleidingen met een evaluatieplan komen. Daarin moet staan hoe je als opleiding de onderwijsevaluatie aanpakt.  Marlies van Beek, onderwijskundig adviseur en trainer bij de afdeling Onderwijsadvies & Training van de faculteit Sociale Wetenschappen “Het is bijvoorbeeld niet nodig om elk jaar elke cursus te evalueren. En het is goed om aan te geven wat er gebeurt met de gegevens. Hoe gaan docenten de informatie gebruiken? Op welke wijze zet de onderwijscoördinator of de opleidingscommissie de gegevens in om het onderwijs te verbeteren? En wat zijn de andere manieren waarop er naar de kwaliteit van de cursus gekeken wordt?”

Om de lage respons te verbeteren heeft Van Beek ook concrete voorstellen. “Geef bij de start van een college aan wat de evaluatieresultaten van de cursus de vorige keer waren en welke gevolgen dat heeft gehad voor de ontwikkeling van de cursus deze keer. Stimuleer de studenten aan het eind van het blok de cursusevaluatie in te vullen en geef ook aan wat er van de studenten verwacht wordt. Op die manier creëer je meer betrokkenheid van studenten en kan je voorkomen dat een student kwetsende opmerkingen maakt. Ik vind wel dat een cursusevaluatie anoniem ingevuld moet kunnen worden. Studenten moeten wel vrij hun mening kunnen geven.”

Claire Bruls, Psychologiestudent, vindt dit wel een goed idee. “Tijdens onze colleges werd niets verteld over de cursusevaluaties. Wij kregen die met een mail na afloop van de colleges. Het had mij als student gestimuleerd wanneer een docent bij de start van het college had verteld wat er met de evaluatie van de vorige keer is gebeurd.”

Thermometer
Bij de faculteit Bètawetenschappen experimenteren ze dit collegejaar met een andere opzet van de evaluatie. De Thermometer heet het project en daarin wordt de lange vragenlijst per vak teruggebracht tot maximaal vijf vragen. Door de drie gesloten en twee open vragen binnen de faculteit op elkaar af te stemmen, is een vergelijking bovendien makkelijker.  “Voor de studenten betekent het simpelweg dat ze er minder tijd aan kwijt zijn, waardoor we de respons natuurlijk hopen te verhogen. Door kort en bondig de belangrijkste elementen in een cursus te peilen, weet de docent snel wat verdere aandacht behoeft. De Thermometer geeft daarbij een eerste indicatie. Het functioneren van de docent zelf wordt in deze korte evaluatie niet meer expliciet bevraagd”, legt Susannah Standing van de Bètafaculteit uit. 

Wat wel hetzelfde blijft, is dat de student de evaluatie pas ontvangt na afloop van de cursus Standing: “De studenten de evaluatie tijdens een college in laten vullen is ideaal, maar omdat is gekozen om een vraag over de toetsing op te nemen, is dit soms lastig. We hebben docenten wel gevraagd tijdens het college te wijzen op het belang van het invullen van de evaluatie.” 

Minder kwetsende opmerkingen
Ook bij andere faculteiten wordt gedacht en gewerkt aan het korter maken van de vragenlijst. De faculteit Geesteswetenschappen heeft vanaf september 2022 het aantal open vragen beperkt. Doel van de faculteit was niet in de eerste plaats om de respons te verhogen, maar om het aantal kwetsende opmerkingen te verminderen. 

Eerder had de faculteit al een protocol opgesteld wat te doen bij kwetsende en intimiderende opmerkingen. Als de opmerking te herleiden zou zijn dan zou de onderwijsdirecteur contact met diegene opnemen. Meestal is het niet herleiden, omdat de vragenlijsten anoniem zijn ingevuld. In dat geval wordt daar in de cursusomgeving melding van gemaakt en aangegeven dat dit niet acceptabel is.

Ook bij Bètawetenschappen verwachten ze dat hun nieuwe opzet zal leiden tot minder kwetsende opmerkingen. “De focus bij de vragen ligt meer op de inhoud van de cursus dan op het functioneren van de docent”, zegt Standing.

De dialoog aangaan
Rector Henk Kummeling zou het goed vinden dat er meer accent komt te liggen op de rol van de studenten in het onderwijs. “Het moet niet een eenzijdige beoordeling zijn, maar meer een dialoog.”

Er zijn meer mensen die de cursus- en daarmee ook de docentevaluatie niet alleen willen laten afhangen van Caracal. Susannah Standing zegt dat de Bètafaculteit de Thermometer ziet als een van de mogelijke informatie over hoe de cursus door studenten ervaren is en hoe die verbeterd kan worden. “Wij moedigen de opleidingen aan om Caracal te zien als één van de mogelijke informatiestromen . De Thermometer moet een eerste indicatie geven van de cursus waarna je in dien dit nodig is verder onderzoek doet op grond van de uitkomsten”

Marije van Braak, universitair docent Communicatie & Informatiewetenschap ziet de Caracal-evaluaties als een verplichte oefening waar ze weinig bruikbare informatie uithaalt. “Uit de vragenlijsten haal je vaak tegenstrijdige informatie. De één vond het hoorcollege te traag, de ander klaagt dat het tempo zo hoog ligt. Wat moet je dan doen?” Zij gelooft meer in een andere opzet waarbij je het gesprek aangaat. 

Zij doceert Face-to-Face communicatie. In deze cursus is de evaluatie als gespreksvorm opgenomen in de cursusopzet. “Wij doen nu in dit vak een pilot waarbij studenten in tweetallen op basis van associaties met elkaar in gesprek gaan hoe ze de cursus hebben ervaren. Die associaties kan je triggeren door gebruik van kleuren of door associatiekaarten. Het gesprek nemen ze op en de weergave wordt met de docent gedeeld na de tentamens. Wel brengen de studenten tijdens het college een kort verslag uit met de voornaamste conclusies en kan een eerste gesprek ontstaan met de docent. Ik denk dat deze vorm van evaluatie rijker is. De docent krijgt concretere handvaten om een cursus te verbeteren en studenten reflecteren op hun eigen rol in het vak.”

Een ander alternatief voor cursusevaluaties is het werken met panelgesprekken. Een vertegenwoordiger van een jaargang haalt bij studiegenoten informatie op, maakt daar een samenvatting van en deelt dat met de docent of de onderwijscoördinator. Bij FSW wordt hiernaar gekeken. “Het is wel zaak dat je dan studentvertegenwoordigers hebt die getraind zijn om de goede informatie te verwerven. Dat is dus wel een investering”, zegt Marlies van Beek.

Eigen vragenlijst
Bij Psychologie hebben ze voor de werkgroepen van het eerste jaar een heel andere opzet bedacht. In de werkgroep zitten ongeveer twintig studenten. Zij krijgen een vaste begeleider in de vorm van een junior docent. “Met die docent bouw je als student een band op. Twee keer per jaar hebben we eigen gestandaardiseerde vragenlijst, los van Caracal, waarmee we de voortgang toetsen. Studenten krijgen zo’n vijftien vragen en kunnen met open vragen anoniem hun tips en tops geven. Hoe ervaren de studenten hun jaar en hoe is de samenwerking met de docent? Dat werkt goed en we hebben ook een hoge respons van de studenten”, vertelt Maarten van der Smagt, onderwijsdirecteur Psychologie en leidinggevende van de groep junior docenten. 

Peer review
Een methode die al in 2018 gemeld werd in het artikel over cursusevaluaties, is de peer review door andere docenten. De docent vraagt collega’s om te kijken tijdens de cursus en geeft feedback over de opbouw van de cursus en onderwijskwaliteiten van de docent. Ook deze methode wordt hier en daar al ingezet op de Universiteit Utrecht. 

Zo is het nog zoeken naar de juiste methode om cursussen te evalueren. “Dat is belangrijk en kan helpen het onderwijs te verbeteren”, zeggen studenten Claire Bruls en Teresa Pappalardo die in de Universiteitsraad meedenken over het onderwijs op de UU. “Maar voor studenten moet duidelijk zijn waarom ze het doen en wat er met hun informatie gebeurt.” 

Over dit verhaal
Dit is deel 2 van een onderzoeksverhaal over cursusevaluaties op de Universiteit Utrecht. Deel 1 verscheen in december 2023. Het artikel is mede mogelijk gemaakt door het Onderwijsfonds COCMA.