Anoniem tentamineren verdient de voorkeur

Het is algemeen bekend dat elk mens, bewust of onbewust, bepaalde biases heeft: veronderstellingen waarmee we de wereld benaderen en begrijpen, en de handelingen van anderen proberen te voorspellen, anticiperen, en beoordelen. Ook al worden we in toenemende mate bewust van onze biases, niemand is er volledig vrij van. Bovendien is het al geruime tijd bekend dat bewustwording en zelfs de meest oprechte pogingen om biases te neutraliseren nooit geheel effectief zijn.

Bij open vragen of essays is er echter een onherroepelijke subjectieve component aanwezig in het beoordelingsproces

Ook docenten hebben biases, die op allerlei manier hun onderwijsactiviteiten beïnvloeden. Dat hoeft uiteraard niet altijd een probleem te zijn. Er kan een problematisch invloed ontstaan bij het beoordelen van toetsen, tentamens en essays. Wanneer een toets volledig ‘objectief’ is (zoals een meerkeuzevragen, of simpelweg goed of fout vragen), dan is het risico op biases bij de puntentoekenning vrijwel nihil. Bij open vragen of essays is er echter een onherroepelijke subjectieve component aanwezig in het beoordelingsproces, en bestaat het risico dat biases een invloed hebben op de beoordeling, en dus op het cijfer dat de student krijgt.

Gunstig als student een leuke of veelvoorkomende naam heeft

Er is onderzoek gedaan in hoeverre veronderstellingen inderdaad een rol spelen bij de beoordeling. In deze literatuur wordt verder gekeken dan naar de bekende biases op basis van het geslacht en de huidskleur van de persoon die beoordeeld wordt. De literatuur suggereert dat er ook een bias kan bestaan als een student

(1) een leuke of veelvoorkomende naam heeft;
(2) een hoog of juist laag cijfer heeft behaald op eerdere toetsmomenten – dit wordt het ‘halo-effect’ genoemd;
(3) een aantrekkelijk of onaantrekkelijk uiterlijk heeft;
(4) hard en bewust studeert of juist lui en gemakzuchtig is;
(5) al dan niet interesse toont in het onderwerp van een cursus;
(6) gedreven (of wanhopig) is om een hoog cijfer te halen;
(7) bij een hoog cijfer belangrijke doeleinden kan bereiken;
(8) intelligent spreekt en handelt of juist niet;
(9) een connectie heeft met de docent.

Deze factoren kunnen ook een omgekeerd effect hebben. Als een docent probeert het effect te vermijden en daarin te ver doorschiet – dit wordt het reverse effect genoemd.

Een meta-analyse uit 2016 (waarbij 13 experimenten uit de VS en 7 elders waarvan 1 uit Nederland) blijkt dat er inderdaad een significant effect is bij de beoordelingen. In negatieve zin werd er effect gevonden bij

(a) studenten uit specifieke ethnische groepen,
(b) studenten die eerder slecht hebben gepresteerd;
(c) minder aantrekkelijke studenten;
(d) studenten met negatieve educatieve labels (bijvoorbeeld dyslectie)

Deze uitkomsten komen overeen met resultaten van ander onderzoek naar de rol van biases. De heterogeniteit van de resultaten suggereert dat ook reverse biases een rol spelen. Het maakt hierbij niet uit of een beoordelaar meer of minder ervaring heeft met beoordelen. Wel suggereert het bestaande onderzoek dat het gebruik van een beoordelingsrubriek (waarbij de docenten volgens een vaste reeks van beoordelingscriteria de toets beoordelen) het effect van biases vermindert (maar niet wegneemt). Positieve effecten worden niet genoemd of gespecificeerd in deze analyse.

Cijfers tonen  niet aan dat iedere docent bevooroordeeld is, maar er bestaat wel een risico

Wat moeten we hiermee? Deze cijfers tonen natuurlijk niet aan dat iedere docent bevooroordeeld is en niet in staat zou zijn objectief te beoordelen. Het geeft wel reden te denken dat er een risico bestaat dat, in een organisatie zo groot als een universiteit, biases een rol spelen en onterecht studenten bevoordelen of benadelen.

Naast het gebruik van rubrieken, is een eenvoudige manier om biases te omzeilen de tentamens te anonimiseren. Alle bovengenoemde persoonsgebonden factoren zijn dan onbekend voor de beoordelaar, en dan kunnen ze dus ook geen rol van betekenis meer spelen. Deze strategie wordt sterk aanbevolen door verschillende onderzoekers, waaronder ook door de Nobelprijswinnaar Daniel Kahneman op basis van zijn onderzoek naar het nemen van beslissingen.

Eerder is er een appèl gedaan voor anoniem beoordelen door de studenten van Middlesex University, door Collegeboard.com, en vorig jaar door een groep hoogleraren uit Leuven. De reden is simpel: het is een effectief en goedkoop middel om de mogelijke effecten van naam, geslacht, kleur, talent, eerdere resultaten, en uiterlijk te voorkomen – en we hebben gegronde reden te denken dat deze effecten, in meer of mindere mate, bestaan. In het uitzonderlijke geval dat een docent toch redenen heeft om persoonsgebonden factoren mee te laten wegen, dan is dit nog altijd mogelijk (door het studentnummer op te zoeken) – maar dan doet een docent dit in ieder geval bewust.

We moeten de inzichten die voor anoniem tentamineren pleiten, serieus nemen

In alle andere gevallen kan een docent een onbewuste invloed van biases, in positieve en negatieve zin, voorkomen door middel van anoniem nakijken. Om die reden pleiten wij er dan ook voor om anoniem nakijken van schriftelijke tentamens de standaard te maken binnen de universiteit.

Wellicht zijn er collega’s die praktische bezwaren zullen aandragen. Wij kunnen ze geruststellen. Wij hebben, overtuigd door de argumenten uit de literatuur, zelf al een aantal jaar onze tentamens anoniem beoordeeld. Natuurlijk zijn er toetsen waarbij het lastig is (bijvoorbeeld een paper over een onderwerp dat de student zelf kiest, en waarvan de docent met de student de commentaar op een eerdere versie doorsprak). Maar onze ervaring met anoniem nakijken hebben ons gesterkt in onze overtuiging dat we de inzichten uit de wetenschappelijke literatuur die voor anoniem tentamineren pleiten, serieus moeten nemen. We zijn meermaals verrast door de cijfers die sommige studenten kregen bij anoniem tentamineren - zowel lagere cijfers dan we zouden verwachten bij studenten die zeer actief waren tijdens het college, maar ook hogere cijfers van introverte of onzekere studenten die echter zeer goede toetsen afleggen. Op basis van de wetenschappelijke literatuur over biases mogen we ervan uitgaan dat die lagere cijfers wellicht (onterecht) iets hoger geweest waren bij niet-anoniem tentamineren, en dat de hogere cijfers van de onzekere studenten wellicht (onterecht) iets lager geweest waren. Anoniem nakijken is dus eerlijker, en dat zijn we studenten verschuldigd.