'Kijk bij selectie naar de vaardigheden die echt nodig zijn voor een opleiding'

Universitair docent Sebastiaan Steenman van Bestuur- & Organisatiewetenschap promoveerde begin deze maand op een onderzoek naar selectie aan de poort. Hij keek naar de relatie tussen selectieprocedures en leerdoelen. Hiervoor bestudeerde hij onder meer de redenen waarom Nederland is afgestapt van loting, keek naar de voorspellende waarde van vwo-cijfers en nam hij de selectieprocedures onder de loep van de honderd beste instellingen op de wereldranglijst van universiteiten. Zijn conclusie: er wordt nog te veel naar de cijfers van de middelbare school gekeken, en te weinig naar andere vaardigheden die een toekomstige student (in aanleg) moet bezitten.

Bij de selectie van studiekiezers is het heel gebruikelijk om te kijken naar de cijfers van de middelbare school en naar hun motivatie. Hij verwijst hiervoor naar de masterscriptie van UU-alumna Yvonne Rouwhorst die onderzoek heeft gedaan naar selectieprocedures van Nederlandse universiteiten. De door haar onderzochte opleidingen maken vooral gebruik van cognitieve testen (79 procent) middelbare schoolcijfers (68 procent) en motivatiebrieven (63 procent). 

Steenman vindt het vreemd dat selectieve opleidingen niet of nauwelijks kijken naar vaardigheden die nodig zijn op de studie met succes af te ronden, zoals creativiteit en analytisch vermogen. Hij verwijst in zijn proefschrift naar Alice in Wonderland van Lewis Carroll. Nadat Alice in een konijnenhol was gevallen, staat ze voor een kleine deur die toegang biedt tot een mooie tuin. Ze past er alleen doorheen als ze krimpt. “Als de selectie goed is afgestemd op de opleiding, is klein zijn blijkbaar belangrijk voor de wereld achter die deur”, schrijft hij. Studiekiezers die aan de poort van een universitaire opleiding kloppen, moeten dus passen in de wereld daarachter. “Het gemiddelde van vwo-cijfers is daarvoor lang niet in alle gevallen een goede voorspeller.”

Compliment voor Utrecht
Voor de collega’s van de Universiteit Utrecht die zich bezighouden met selectie heeft Steenman goed nieuws. In vergelijking met vele universiteiten wereldwijd doet Utrecht het in zijn ogen niet slecht. “Bij het opstellen van de selectieprocedure is in elk geval gekeken naar de vaardigheden die nodig zijn voor de opleiding. Diergeneeskunde kijkt naar vwo-cijfers én heeft een toets kritisch redeneren. Daarmee kijk je niet alleen of de toekomstige student goed kan leren, maar ook of de student in aanleg andere vaardigheden heeft die voor het vak van bijvoorbeeld dierenarts belangrijk zijn. Bovendien onderzoekt de opleiding of deze procedure het gewenste effect heeft.”

De kersverse doctor is er niet rouwig om dat per studiejaar 2017 de loting bij Nederlandse opleidingen met een numerus fixus vervangen werd door selectie. Bij de gewogen loting werden studenten met een gemiddeld eindexamencijfer van een 8 of hoger zonder meer toegelaten. Daarna werd geloot, waarbij kandidaten met een hoger gemiddeld cijfer meer kans maakten. Hij staat ook achter de reden waarom toenmalig minister Bussemaker deze verandering invoerde. Bij selectie moet er een expliciete link zijn tussen de selectie en het studieprogramma, zei zij. Hierdoor wordt de geluksfactor uitgeschakeld.

Steenman: “Door middel van selectie kan een kandidaat zich onderscheiden op een manier die past bij de opleiding die hij wil volgen. Met het afschaffen van de loting is er een signaal afgegeven dat je studenten moet zoeken die specifiek passen bij de vaardigheden die nodig zijn voor de opleiding.” De selectiemethode heeft er volgens Steenman voor gezorgd dat er studenten zijn gesorteerd die goed zijn in het maken van toetsen zoals die van het vwo-examen. “Je krijgt daardoor op elkaar lijkende studenten binnen. En dat hoeft niet per se het type student te zijn die past bij de opleiding.”

Voorspellende waardes
Uit zijn onderzoek blijkt dat het gemiddelde cijfer van het vwo-examen voor 60 procent een goede voorspellende waarde heeft als je kijkt naar de tentamenuitslagen van het eerste jaar. Als je daar persoonskenmerken aan toevoegt kan dat percentage op 70 procent komen. “Kijk je naar latere jaren, dan neemt die voorspellende waarde af. Als je kijkt naar toetsen of papers die meer vragen van studenten dan het reproduceren van kennis of begrip, zoals het toepassen van begrippen of reflectie, dan zeggen vwo-cijfers heel veel minder.”

Logisch, stelt hij. “Een vwo-examen gaat vooral over het reproduceren en begrijpen van – complexe – begrippen die je moeten voorbereiden op een universitaire studie. Als studenten via loting binnenkomen, selecteer je studenten op deze vaardigheid.” Studiekiezers met lagere vwo-cijfers maken met een dergelijke selectie minder kans. “Terwijl ze misschien wel de vaardigheden hebben die voor de opleiding belangrijker kunnen zijn. “Studenten die creatiever of analytischer zijn, bijvoorbeeld. Op die vaardigheden is niet getoetst.”

Toets op een breed palet aan vaardigheden
De eerste stap van een opleiding die wil gaan selecteren, is dat goed gekeken wordt naar het onderwijsprogramma, zegt Steenman. “Als je bachelor bestaat uit het verzamelen van meer complexe kennis, dan is het vwo-cijfer een goede voorspeller. Je moet dan kijken naar het gemiddelde van alle cijfers en bijvoorbeeld niet specifiek naar wiskunde. Zijn andere vaardigheden belangrijk in het onderwijsprogramma bijvoorbeeld analytisch vermogen of creativiteit, dan moet je een test ontwikkelen die daarop toetst.”

Het laten schrijven van motivatiebrieven is geen goede manier, vindt hij. “Als je mensen vraagt een motivatiebrief te schrijven, veronderstel je dat kandidaten weten wat er in zo’n brief zou moeten staan. Waarschijnlijk selecteer je dan op studenten die ouders hebben die weten hoe ze een goede brief moeten schrijven. Een interview houden, zou beter zijn. Dat moet je dan wel heel goed structureren. Want stel dat je een interview hebt met een studiekiezer die je heel aardig vindt, dan ben je eerder geneigd hem een positieve beoordeling te geven. Maar kijk je vervolgens of hij aan de criteria voldoet, kan je tot een andere conclusie komen. Vandaar dat de procedure en het scherp definiëren van criteria heel belangrijk zijn.”

Op de juiste wijze selecteren met valide instrumenten heeft nog een ander voordeel, zegt Steenman. Als je studiekiezers beloont op een breder palet aan talenten dan zal er een meer diverse groep studenten je opleiding binnen stromen. Als studiekiezers weten dat er naar valide criteria wordt gekeken, zal selectie wellicht ook minder afschrikken. Uit eerdere onderzoeken blijkt namelijk dat jongens en studiekiezers met een niet-westerse migratieachtergrond zich minder vaak inschrijven voor selectieve opleidingen.

Diversiteit binnen de opleiding
Steenman heeft uit eerste hand ervaring met selectie bij USBO. “Wij stellen een serie heel gerichte vragen aan de studiekiezers. Zo moet de kandidaat weten waartoe Bestuurs- & Organisatiewetenschap opleidt. Mondelinge redeneervaardigheden zijn belangrijk voor onze opleiding, dus moet een studiekiezer mondeling vaardig zijn. Een gesprek is een goed instrument om dat te toetsen. Daarnaast moet het beeld dat je hebt van de opleiding in de basis kloppen met waar het programma over gaat, dat wordt getoetst in het vragenformulier.”

Hoewel Steenman constateert dat een goede vorm van selectie een meer diverse studentenpopulatie oplevert, kun je daar bij B&O je twijfels over hebben. De studentenpopulatie oogt op het eerste gezicht redelijk homogeen. "Dat komt niet door onze selectie. De populatie op de open dag komt al sterk overeen met de populatie in de opleiding. Toch hebben ook wij studenten met diverse achtergronden, en we hebben ook een redelijk aantal studenten van wie de ouders niet hebben gestudeerd. In onze analyse ligt de uitdaging voor andere vormen van diversiteit dan ook vooral in de werving, en in elk geval op dit moment niet in de selectie.”

Met dit probleem worstelt de hele universiteit en dat komt doordat ze voornamelijk werft onder vwo-leerlingen. “Dat is al een selectieve groep. Met je werving moet je al rekening houden met de school die je bezoekt. Als je bij een vwo-school bent waarvan de meeste leerlingen naar het hbo gaan, moet je je afvragen wat daaraan ten grondslag ligt. Sommigen kiezen voor het hbo omdat ze onbekend zijn met een universiteit. Dat is geen goede reden om niet voor de universiteit te kiezen. Daar ligt een taak voor universiteiten. Beter is het om de universiteit al in het basisonderwijs bekend te maken. Vooral natuurlijk op scholen waar maar enkele scholieren naar het vwo gaan.”