Met creatieve evaluatie krijg je meer nuance en rijkere feedback

Eindevaluaties van cursussen hebben haken en ogen – ze worden vaak minimaal ingevuld, de anonimiteit zorgt soms voor kwetsende of ongepaste input, en hoe docenten de evaluaties gebruiken blijft vaak mysterieus. Cursusevaluaties - zijn ze wel nuttig, voldoen ze wel aan hun doel, richten ze niet vooral schade aan? Recent brak student Ize van Gils een lans voor tussentijdse cursusevaluaties als waardevolle aanvulling op eindevaluaties. Is het tijd voor alternatieve eindevaluaties? Eerder schreef DUB al over andere vormen van cursusevaluaties. In dit artikel bespreken we een pilotproject rond een alternatieve eindevaluatievorm met kleuren, associatiekaarten en dialoog. Hoe pakte dat uit voor studenten, docenten en de opleiding?

De opzet
Het idee achter dit pilotproject begon met een eigen wens om gevarieerdere informatie op te halen bij onze studenten over hun ervaringen in de cursus. Bij de cursus Face-to-Face Communicatie van de opleiding Communicatie- & Informatiewetenschappen hebben we door de hele cursus heen verschillende creatieve werkvormen gebruikt. Dat wilden we doortrekken naar de cursusevaluatie. Ons vermoeden was dat een associatieve, open, dialogische vorm van evalueren rijkere informatie op zou leveren dan het dichtgetimmerde digitale Caracalformat, dat allerlei vrije reflecties beperkt, zoals een oordeel van de student over zijn eigen rol in de cursus.

Daarom hebben we tijdens de laatste werkgroepbijeenkomst de cursus geëvalueerd met brushpennen, acrylstiften, associatiekaarten en dialoog. De opzet voor dit experiment hebben we aan de ethische commissie van de faculteit (FETC) voorgelegd. Belangrijk daarbij was de garantie dat de evaluaties anoniem waren en dat ze geen invloed op beoordelingen zouden hebben. De FETC gaf ons goedkeuring en we ontvingen financiering in de vorm van een Scholarship of Teaching and Learning-project. 

Tijdens de afsluitende werkgroepbijeenkomst leidde elke werkgroepdocent het experiment in bij de eigen werkgroep. Studenten kregen 40 minuten tijd om vier cursusonderdelen te evalueren: de hoorcolleges, de werkcolleges, de werkgroepdocent en de cursus in het algemeen. Ze konden kiezen om hun associaties met die onderdelen vrij te tekenen met acrylstiften of brushpennen, of om Dixit-associatiekaarten bij de onderdelen te kiezen en te bespreken.

Na een korte pauze gingen de studenten in duo’s de gang op om elkaar over hun tekeningen of gekozen kaarten te vertellen. Dat gesprek (5-10 minuten) namen ze op met hun telefoon. Bij terugkomst in het lokaal uploadden ze zelf hun gesprek én een foto van hun tekeningen/kaarten in een SurfDrivemap. Die map was vanwege anonimiteit alleen toegankelijk voor de student-assistent in dit project. 

Om te voorkomen dat de studentevaluaties de beoordeling van opdrachten zou beïnvloeden, gaf de student-assistent de docenten pas nadat alle cijfers in Osiris waren ingevoerd toegang tot de map. Ondertussen ordende ze de data en transcribeerde ze de gesprekken via de automatische transcriptieservice Amberscript. Ongeveer een maand na afloop van de cursus bekeken de docenten van hun eigen werkgroepstudenten de ingeleverde foto’s van de tekeningen/kaarten. Die bespraken ze vervolgens met docenten en student-assistent in een focusgroepbijeenkomst onder leiding van onderwijsadviseur Esther van Dijk. Wat voor soort informatie heeft deze evalautievorm opgeleverd? Hoe verschilde die informatie met de uitkomsten van Caracal? Was de informatie waardevol? Wat waren de werkbare ingrediënten uit deze manier van evalueren?. Het doel was om inzicht te krijgen in hoe het experiment voor studenten en docenten uitpakte en gewaardeerd werd, en hoe de alternatieve evaluatie zich tot Caracalresultaten verhoudt.

Benodigdheden: tissues, brush pennen, acrylstiften en het spel Dixit. 

Wat leverde het op? 
Het experiment leverde allerlei waardevolle tekeningen/Dixit-kaartkeuzes rond de vier onderwerpen (hoorcollege, werkcollege, docent, de cursus als geheel) op. In de gesprekken die studenten met elkaar hadden over de tekeningen en associatieve kaarten lichtten ze hun tekeningen toe. Hierdoor leverde deze vorm van evalueren meer persoonlijke reflecties op, maar bleek ook dat niet alle studenten open staan voor deze werkwijze. We illustreren de voor- en nadelen van deze evaluatievorm hieronder met tekeningen en citaten.

De voordelen…
Ten eerste: door de associatieve en open aard van deze alternatieve methode worden studenten veel minder gestuurd door vooraf vastgestelde vragen. Daardoor konden ze vertellen wat voor hen belangrijk is. Dat leverde voor de docenten rijkere informatie op dan ze via Caracalevaluaties kregen. Een voorbeeld is deze tekening:

Toelichting bij de tekening:
“Ik had bij de werkcolleges, eigenlijk begon ik ook gewoon maar met tekenen en zat ik daarna een soort van nou ja, ik heb mezelf getekend die in bed een boek te lezen is en eigenlijk gewoon wil slapen, want ik vind de werkcolleges, vond ik gewoon altijd erg vroeg. Nou, was ik ook regelmatig te laat, maar ik vind het wel interessant. Ik ben nog wel een boek aan het lezen in bed.”  [transscriptie]

De toelichting van de student biedt meer nuance en duiding (in bed, maar wel boek lezen en dus niet direct ongemotiveerd) dan een typische Caracalevaluatie zoals “De werkcolleges waren te vroeg”.

Een tweede voordeel is de mogelijkheid tot dialoog. Door de face-to-face interactie tussen studenten tijdens de opnames krijgen bepaalde antwoorden meer nuance (zie citaat hierboven). Studenten vullen elkaar aan en stellen elkaar verhelderende vragen, zoals in onderstaande interactie: 

Interactie tussen student 1 en 2 in gesprek: 
Student 1: “(…) en ook al vind ik de stof saai, ik vond het niet heel erg om naar de werkcolleges te gaan, omdat het wel altijd gewoon leuk ingevuld werd zeg maar, dus daarom ook vrolijke kleurtjes.” 
Student 2: “Ja. Daar sluit ik me wel bij aan, ja, ik ook bloemen getekend, (…) want ze had ook altijd dat ze dan heel goed meedacht (…) en dat vond ik ook altijd wel fijn. Prob- zeg maar - ze creëerde wel een goeie…”
Student 1: “warme sfeer.”
[Transscriptie]

Ten derde bieden de gesprekken een kijkje in de ervaringswereld van studenten. Eén student gaf aan voetbal boven het hoorcollege te verkiezen: 

Toelichting student uit een gesprek:
“Ik heb een absentiebriefje omdat ik er gewoon vaak niet was, omdat ik mijn prioriteiten ergens anders had rond die tijd.”
[Transcriptie]

Studenten vertellen in de opnames vanuit hun eigen ervaring en geven daar vervolgens een bepaald oordeel aan - in tegenstelling tot Caracalevaluaties, waarbij wordt gevraagd om een oordeel te geven en de ervaringswereld eigenlijk onzichtbaar blijft. Dat geeft studenten minder de kans om hun eigen invulling aan een beoordeling te geven. Een voorbeeld:

Studenttoelichting uit een gesprek:
“De hoorcolleges heb ik vier sterren gegeven omdat ik het fijn- fijne lessen vond. Er werd heel duidelijk gesproken en ik vond de powerpointpresentaties heel nuttig. Zo wist ik echt precies wat ik moest leren, wat er belangrijk was. Het enige nadeel was dat het om zeven uur s avonds was afgelopen.”
[Transcriptie]

Een vierde voordeel is dat het binnen deze evaluatievorm makkelijker is voor docenten om inzicht te krijgen in hun manier van lesgeven en hoe die door studenten wordt ervaren. In plaats van alleen een cijfer te ontvangen voor didactische vaardigheden, krijgen docenten nu meer en gerichtere informatie. De methode kan daarom uiterst geschikt zijn voor docentprofessionalisering. In de focusgroep zei een deelnemende docent: 

Docent in focusgroep:
“Ja, ja, het mooiste compliment dat ik voor mezelf gelezen [heb] (…), dat is een term die ik al een aantal keren in Caracal ben tegenkomen afgelopen jaar, maar die nooit echt verklaard werd. En nu wel, en dat is de term veiligheid. En dat vind ik een heel mooi compliment, want dat is eigenlijk wel exact wat ik graag zou willen hebben. Dus het is een situatie waar je daar in een werkcollege zit en dat je de vrijheid hebt om dingen te zeggen, ook al zijn ze misschien fout. [Er is] één studente die dat denk ik in één, in één van die opmerkingen ook aangeeft (…).”
[Transcriptie]

Tot slot maakt deze vorm het mogelijk voor studenten om persoonlijk waardering uit te spreken voor de docent, bijna als een bedankcadeautje. Een student tekende bijvoorbeeld de thuisstad van de werkgroepdocent: 

Interactie tussen student 1 en 2 bij de tekening:
Student 2: “Wat heb je getekend?”
Student 1: “Dit is een stukje van de, een plein in [naam stad].”
Student 2: “En waarom heb je dat getekend?”
Student 1: “Nou zoals jullie misschien wel weten is [naam docent] [nationaliteit]. [Docent] komt uit [naam stad] als ik het niet goed… als ik me niet vergis. Dus dacht nou dat is toepasselijk.”
Student 2: “Vind het echt mooi gelukt.”
Student 1: “En ik ben er een keer geweest. Dus dacht nou leuk, hè, ja, leuke werkgroepdocent, hè, altijd vrolijk. Altijd helemaal happy, happy de pappy.”
Student 2: “Dit wilde je echt even voor [docent] tekenen natuurlijk.”
Student 1: “Ja, als een soort bedankje.”
[Transcriptie]

… en de nadelen
Er zitten echter ook keerzijden aan deze evaluatiemethode. Allereerst: deze creatieve werkvorm is niet voor iedereen weggelegd. Voor studenten bleek het soms moeilijk om ervaringen en gevoelens te tekenen, en getekende vormen op hun beurt weer in woorden te vertalen. Hoewel de Dixit-kaarten een goede oplossing waren voor studenten die niet wilden tekenen, is het kiezen van kaarten toch anders dan tekenen. Tekeningen zijn vaak vrije associaties op basis van metaforen; kaarten helpen studenten op weg met associëren. Tussen docenten waren ook verschillen. Bij een docent die sterk het facultatieve karakter van de evaluatieopdracht had benadrukt, bleef een groot deel van de inlevermappen leeg. Docenten die de evaluatie als een lesactiviteit presenteerden, zagen een aanmerkelijk hoger aantal tekeningen en opnames. Toch leidde ook in groepen met minder ingeleverde evaluaties de nabespreking van de opdracht tot een levendig, gedetailleerd groepsgesprek over de cursus. 

Een tweede nadeel is dat deze evaluatiemethode privacygevoeliger is dan Caracalevaluaties, aangezien duogesprekken tussen studenten persoonlijker en makkelijker herleidbaar zijn dan Caracalevaluaties. Er moet dus zorgvuldig met de data worden omgegaan. 

Ten derde: de opnames moeten (deels automatisch) getranscribeerd en geanalyseerd worden, anders is betekenisgeving lastig. Dat kost veel tijd. Een student-assistent is daardoor eigenlijk onmisbaar, maar kost geld. 

Een vierde kanttekening is dat de evaluatievorm wel veel vrije reflecties opleverde, maar bij studenten slechts beperkte reflectie wist uit te lokken op bijvoorbeeld hun eigen rol in het leerproces. De meeste studenten hielden zich vast aan de voorgestelde opzet en gingen in hun gesprek niet in op andere onderwerpen. Slechts een  enkeling reflecteerde op zijn eigen rol binnen de cursus. Mocht je als docent dus informatie willen hebben over bepaalde onderwerpen, dan is het van belang om hier specifiek naar te vragen – ook zo’n vrije vorm lokt dat niet vanzelf uit.

Tot slot vroeg dit experiment praktisch gezien een grote tijdsinvestering voor zowel studenten als docenten. Een voorbeeld: alleen een tekening is vaak niet voldoende om de inhoud van een gesprek te duiden. Bij onderstaande tekeningen is het bijvoorbeeld lastig om de bedoelingen van de student te interpreteren zonder de opname te beluisteren:

Studenttoelichting bij de onderstaande tekening:
“Ik vond het wel dat ze er altijd op zich snel doorheen ging. Je moest wel echt bijhouden, om zeg maar mee te typen, en rood ook, omdat, het was gewoon op zich wel duidelijk en het werd goed uitgelegd.”
[Transcriptie]

Niet voor grootschalige aanpak
Al met al levert de evaluatievorm veel waardevolle informatie op, maar kost het wel wat om die informatie te interpreteren en te verwerken. 

Deze manier van cursusevaluatie is niet geschikt om grootschalig uit te rollen vanwege de tijdsinvestering van alle betrokkenen. Toch zitten er werkzame ingrediënten in voor verschillende doelen: 

Zo kan het goed werken voor een docent die aan docentprofessionaliseringsactiviteit wil. Of kan het helpen om dichter bij de studenten te komen en te horen wat ze bedoelen met de opmerking ‘deze docent creëert een fijne sfeer’ (of iets anders) . 

Het kost wel tijd. Een alternatief is om alleen de associatiekaarten te gebruiken, bijvoorbeeld in relatie tot twee of drie vragen/thema’s die je zelf bedenkt. In kleine groepjes, waarbij studenten elkaar uitleggen waarom ze bepaalde kaarten gekozen hebben, zou dat in 10 á 15 minuten kunnen. Geen tijd of middelen voor anonieme transcriptie van de gesprekken? Vraag dan studenten een samenvatting van hun gesprek op te schrijven of digitaal in te voeren. 

Voor een minor- of opleidingscoördinator kan deze methode van evaluatie met de opgenomen gesprekken nuttige informatie op leveren die de tijdsinvestering de moeite waard maakt. 

Deze methode van evalueren werkt niet voor  de opleidingscommissie of -management. Zij zouden een vergelijking willen met een cursus van vorig jaar of met andere cursussen. Door de intensieve manier van dataverzameling en data-interpretatie is deze kwalitatieve vorm van evalueren niet geschikt voor snelle vergelijking. Het is kiezen tussen zogenaamd objectieve, vergelijkbare, maar weinigzeggende scores  of subjectieve, maar gedetailleerde en genuanceerde verhalen.

Wij merkten dat het voor studenten een mooie manier is om iets te vertellen over de cursus of de docent. Voorzie de tekening of associatiekaart wel van een toelichting, om de feedback interpretabel te maken. Deze docenten waardeerden deze input zeer en vonden het waardevol om te gebruiken voor de opzet van een volgende cursus. 

Wil je meer lezen:
De la Croix, A., & Veen, M. (2018). The reflective zombie: problematizing the conceptual framework of reflection in medical education. Perspectives on Medical Education, 7, 394-400.

Esarey, J., & Valdes, N. (2020). Unbiased, reliable, and valid student evaluations can still be unfair. Assessment & Evaluation in Higher Education, 45(8), 1106-1120

Fawns, T., Aitken, G., & Jones, D. (2021). Ecological teaching evaluation vs the datafication of quality: Understanding education with, and around, data. Postdigital Science and Education, 3(1), 65-82.

Van der Schoot, M. (2020, juni). Een onderwijsevaluatie past niet in een vragenlijst. Te lezen via https://www.scienceguide.nl/2020/06/een-onderwijsevaluatie-past-niet-in-een-vragenlijst/