Oordelen Elseviers beauty contest niet gefundeerd

Tot vorig jaar vulde hoogleraar Frans van Waarden braaf de Elsevier-enquête in waarin hem gevraagd werd naar zijn oordeel over de Nederlandse universiteiten. Dit jaar gaf hij er de brui aan en schreef een kritische mail aan de redactie. Hoe kun je als wetenschapper gefundeerd oordelen over andere universiteiten? Zeker als de optie ‘weet niet’ of ‘geen mening’ ontbreekt. Uitspraken worden zo self-fulfilling prophesies.Hoera!  De nieuwe Elsevier is uit! Altijd weer spannend welke universiteit dit jaar de meeste puntjes scoort. Wie zich de top van de top mag noemen. Onze alma mater kan tevreden zijn. Ze kopt juichend op haar website: ‘Utrecht weer nr. 1 in hooglerarenoordeel!’ Het is als met de nieuwe Michelingids: Wie krijgt er weer sterren, wie de meeste sterretjes? Beide hebben gemeen dat ze pretenderen kwaliteit te certificeren. De Michelingids de beste hotels en restaurants. Elsevier de beste universiteiten.De Michelingids is onlangs flink door de mand gevallen. Het bleek dat men het niet zo nauw nam met nauwkeurige en anonieme informatieverzameling. Het Franse bedrijf kon zich te weinig inspecteurs veroorloven om bij elk in de gids genoemd restaurant jaarlijks een ‘mystery eater’ langs te sturen. Dus kregen er restaurants wel of geen ster onafhankelijk van of ze dat jaar ‘getest’ waren. Belangrijk was druk van de marketingafdeling op de redacteuren om nieuwe sterren te vergeven, omdat dat voor opwinding en dus aandacht in de pers zou zorgen (Volkskrant 12-09-2011). Mysterieus waren de testers ook niet. De weinigen – slechts drie voor de Benelux – waren al snel bekend in het wereldje en konden extra gefêteerd worden.Hoe staat het eigenlijk met de betrouwbaarheid van de sterrenwichelarij rond universitaire opleidingen? Ook daar is iets ‘fishy’ aan. Anders dan bij de Michelingids ligt dat bij de Elseviergids niet helemaal aan de redactie. Waar Michelin zelf de restaurantjes beoordeelt, laat Elsevier dat door praktijkdeskundigen doen. Dat spaart bovendien de kosten van de ‘mystery shoppers’ uit.  Allereerst zijn dat de studenten zelf. Dat zijn ervaringsdeskundigen die gevraagd worden voor een klanttevredenheidsonderzoek. Als afnemers mogen zij hun eigen opleiding, cursussen, docenten, gebouwen, computers, potloden, etc. beoordelen. Zij hebben tenminste enige empirische basis voor hun oordeel.KwaliteitsindicatorenAnders is dat bij de hoogleraren en UHDs. Zij beoordelen niet hun eigen opleiding – die mogelijkheid is begrijpelijkerwijs uitgesloten door de software – maar een werkelijkheid verder van huis, waar ze doorgaans geen directe persoonlijke ervaring mee en kennis van hebben: de opleidingen bij de buren. Maar ach, het zijn toch dames en heren die het weten kunnen? Ze vormen immers de ‘weten schap’? Waar het waterschap van water weet zal de wetenschap wel van weten weten, zal de redactie gedacht hebben.Maar hoeveel ‘weten schap’ zullen die hoogleraren van die andere opleidingen, die ze moeten beoordelen, doorgaans hebben? Bijvoorbeeld van harde kwaliteitsindicatoren zoals gangbare outputgegevens: percentage studenten dat binnen drie jaar afstudeert, hun gemiddeld eindcijfer (gpa), de status van de universiteit waar afgestudeerde bachelor studenten voor hun masterstudie of promotieonderzoek naar toe mogen, de banen die afgestudeerden vroeg of laat bezetten, hun gemiddeld salaris 5 of 10 jaar na hun afstuderen (standaard criterium waarmee Amerikaanse Business Schools hun reputatie meten). Daarnaast tellen ook input en throughput indicatoren, zoals selectiviteit (gemiddeld eindcijfer van de eerstejaars studenten op het middelbare school examen of een standaard test als de SAT), kwaliteit van docenten, structuur en systematiek van de opleiding, stimulerend werkklimaat, gebouwen en infrastructuur. Zie de vele Amerikaanse ‘Handbooks of Universities and Colleges’, die opleidingen in de VS op een groot aantal van dergelijke meer objectieve indicatoren scoren en vergelijken. Daar telt overigens zelfs het succes van het universitaire ‘football team’ als indicator voor de kwaliteit van de academie.Zouden de 2500 hoogleraren, die volgens Elsevier de enquête ingevuld hebben, dat allemaal weten over hun collega-opleidingen elders in het land? Het zou me hogelijk verbazen. Ik heb die kennis althans niet. Toch heb ik tot vorig jaar de enquête braaf ingevuld. Dit jaar heb ik er de brui aan gegeven. Wat de deur dicht deed is de onmogelijkheid om van je onkunde nederig kennis te geven. De keuze/optie ´weet niet´ of ´geen mening´ ontbreekt. Je moet wel één van de voorgeschreven antwoordmogelijkheden kiezen, anders kun je niet door naar de volgende vraag. Over de dictatuur van de software schrijvende onderzoekers gesproken. Ik heb ze per email van mijn bezwaren in kennis gesteld. Geen reactie. Daarom nu deze overwegingen maar in het universiteitsblad.Vage impressiesWaar baseren al die hooggeleerde collega’s hun oordelen dan op? Waarschijnlijk vooral  op vage impressies, beelden, reputaties. Gevoed door enige kennis omtrent collega’s elders: wat ze wetenschappelijk doen en gedaan hebben, hun publicaties, enz. Enige informatie over het wetenschappelijk werk van onze vakbroeders en -zusters hebben we doorgaans wel. Maar dat is nog geen informatie over de kwaliteit van het onderwijs elders. Voor de rest baseert men zich waarschijnlijk ook op heel ‘menselijke’ sociale informatiebronnen: incidentele ervaringen met ‘producten’ van die andere opleidingen, zoals van eigen aio’s die elders hun opleiding hebben gehad. Verder van horen zeggen en roddel. Het zou me ook niet verbazen als oordelen ook wel eens ingegeven worden door de behoefte een vriendendienst te leveren.Niet ondenkbaar is ook dat informatie uit eerdere Elsevier enquêtes een rol speelt. Als de collega’s Utrecht vorig jaar het beste bevonden bij aardwetenschap dan zal dat nog wel zo zijn, denkt wellicht menigeen. Zo zou Elsevier wel eens haar eigen werkelijkheid kunnen creëren.Self-fulfilling prophesiesUitspraken worden vaak self-fulfilling prophesies. Net zoals de waarde van een schilderij van Van Gogh of van een aandeel Albert Heijn deels een imaginair sociaal product is, kan ook de waarde van opleidingen sociaal gedefinieerd zijn. Als iedereen het vindt dan zal het wel zo zijn en wordt er navenant naar gehandeld, waardoor datgene wat gedacht wordt werkelijkheid kan worden. Als men denkt te weten dat anderen zullen denken dat aandeel X in waarde stijgt zal iedereen gaan kopen en de koers inderdaad omhoog gaan. Als werkgevers dankzij Elsevier menen dat afgestudeerden van opleiding X beter zijn, krijgen die betere en beter betaalde banen aangeboden en maken ze sneller carrière in wetenschap, samenleving, politiek en economie. Daardoor willen de beste middelbare scholieren daar studeren, kunnen de opleidingen de beste aankomende studenten selecteren, enz. Totdat er een keer een schandaal is of iemand roept ‘de keizer heeft geen kleren aan’. Dan kan een neerwaartse spiraal van inflatie inzetten zoals momenteel bij het HBO dreigt, ontketend door het InHolland schandaal.Als docenten proberen we onze studenten bij te brengen dat ze geen ongefundeerde meningen voor kennis in de klas en in hun papers horen te verkopen, maar dat deze ´evidence based´ dienen te zijn. Waarom daarom bij een volgende enquête de hoogleraren eerst geen  tentamentje over hun feitenkennis van opleidingen elders afgenomen? Pas wie die test doorstaan heeft mag zijn mening geven. Die mening zou ook nog eens gewogen kunnen worden aan de hand van dat tentamencijfer.

Opinie
on 04/10/2011

Tot vorig jaar vulde hoogleraar Frans van Waarden braaf de Elsevier-enquête in waarin hem gevraagd werd naar zijn oordeel over de Nederlandse universiteiten. Dit jaar gaf hij er de brui aan en schreef een kritische mail aan de redactie. Hoe kun je als wetenschapper gefundeerd oordelen over andere universiteiten? Zeker als de optie ‘weet niet’ of ‘geen mening’ ontbreekt. Uitspraken worden zo self-fulfilling prophesies.

Hoera!  De nieuwe Elsevier is uit! Altijd weer spannend welke universiteit dit jaar de meeste puntjes scoort. Wie zich de top van de top mag noemen. Onze alma mater kan tevreden zijn. Ze kopt juichend op haar website: ‘Utrecht weer nr. 1 in hooglerarenoordeel!’ Het is als met de nieuwe Michelingids: Wie krijgt er weer sterren, wie de meeste sterretjes? Beide hebben gemeen dat ze pretenderen kwaliteit te certificeren. De Michelingids de beste hotels en restaurants. Elsevier de beste universiteiten.

De Michelingids is onlangs flink door de mand gevallen. Het bleek dat men het niet zo nauw nam met nauwkeurige en anonieme informatieverzameling. Het Franse bedrijf kon zich te weinig inspecteurs veroorloven om bij elk in de gids genoemd restaurant jaarlijks een ‘mystery eater’ langs te sturen. Dus kregen er restaurants wel of geen ster onafhankelijk van of ze dat jaar ‘getest’ waren. Belangrijk was druk van de marketingafdeling op de redacteuren om nieuwe sterren te vergeven, omdat dat voor opwinding en dus aandacht in de pers zou zorgen (Volkskrant 12-09-2011). Mysterieus waren de testers ook niet. De weinigen – slechts drie voor de Benelux – waren al snel bekend in het wereldje en konden extra gefêteerd worden.

Hoe staat het eigenlijk met de betrouwbaarheid van de sterrenwichelarij rond universitaire opleidingen? Ook daar is iets ‘fishy’ aan. Anders dan bij de Michelingids ligt dat bij de Elseviergids niet helemaal aan de redactie. Waar Michelin zelf de restaurantjes beoordeelt, laat Elsevier dat door praktijkdeskundigen doen. Dat spaart bovendien de kosten van de ‘mystery shoppers’ uit.  

Allereerst zijn dat de studenten zelf. Dat zijn ervaringsdeskundigen die gevraagd worden voor een klanttevredenheidsonderzoek. Als afnemers mogen zij hun eigen opleiding, cursussen, docenten, gebouwen, computers, potloden, etc. beoordelen. Zij hebben tenminste enige empirische basis voor hun oordeel.

Kwaliteitsindicatoren

Anders is dat bij de hoogleraren en UHDs. Zij beoordelen niet hun eigen opleiding – die mogelijkheid is begrijpelijkerwijs uitgesloten door de software – maar een werkelijkheid verder van huis, waar ze doorgaans geen directe persoonlijke ervaring mee en kennis van hebben: de opleidingen bij de buren. Maar ach, het zijn toch dames en heren die het weten kunnen? Ze vormen immers de ‘weten schap’? Waar het waterschap van water weet zal de wetenschap wel van weten weten, zal de redactie gedacht hebben.

Maar hoeveel ‘weten schap’ zullen die hoogleraren van die andere opleidingen, die ze moeten beoordelen, doorgaans hebben? Bijvoorbeeld van harde kwaliteitsindicatoren zoals gangbare outputgegevens: percentage studenten dat binnen drie jaar afstudeert, hun gemiddeld eindcijfer (gpa), de status van de universiteit waar afgestudeerde bachelor studenten voor hun masterstudie of promotieonderzoek naar toe mogen, de banen die afgestudeerden vroeg of laat bezetten, hun gemiddeld salaris 5 of 10 jaar na hun afstuderen (standaard criterium waarmee Amerikaanse Business Schools hun reputatie meten). Daarnaast tellen ook input en throughput indicatoren, zoals selectiviteit (gemiddeld eindcijfer van de eerstejaars studenten op het middelbare school examen of een standaard test als de SAT), kwaliteit van docenten, structuur en systematiek van de opleiding, stimulerend werkklimaat, gebouwen en infrastructuur. Zie de vele Amerikaanse ‘Handbooks of Universities and Colleges’, die opleidingen in de VS op een groot aantal van dergelijke meer objectieve indicatoren scoren en vergelijken. Daar telt overigens zelfs het succes van het universitaire ‘football team’ als indicator voor de kwaliteit van de academie.

Zouden de 2500 hoogleraren, die volgens Elsevier de enquête ingevuld hebben, dat allemaal weten over hun collega-opleidingen elders in het land? Het zou me hogelijk verbazen. Ik heb die kennis althans niet. Toch heb ik tot vorig jaar de enquête braaf ingevuld. Dit jaar heb ik er de brui aan gegeven. Wat de deur dicht deed is de onmogelijkheid om van je onkunde nederig kennis te geven. De keuze/optie ´weet niet´ of ´geen mening´ ontbreekt. Je moet wel één van de voorgeschreven antwoordmogelijkheden kiezen, anders kun je niet door naar de volgende vraag. Over de dictatuur van de software schrijvende onderzoekers gesproken. Ik heb ze per email van mijn bezwaren in kennis gesteld. Geen reactie. Daarom nu deze overwegingen maar in het universiteitsblad.

Vage impressies

Waar baseren al die hooggeleerde collega’s hun oordelen dan op? Waarschijnlijk vooral  op vage impressies, beelden, reputaties. Gevoed door enige kennis omtrent collega’s elders: wat ze wetenschappelijk doen en gedaan hebben, hun publicaties, enz. Enige informatie over het wetenschappelijk werk van onze vakbroeders en -zusters hebben we doorgaans wel. Maar dat is nog geen informatie over de kwaliteit van het onderwijs elders. Voor de rest baseert men zich waarschijnlijk ook op heel ‘menselijke’ sociale informatiebronnen: incidentele ervaringen met ‘producten’ van die andere opleidingen, zoals van eigen aio’s die elders hun opleiding hebben gehad. Verder van horen zeggen en roddel. Het zou me ook niet verbazen als oordelen ook wel eens ingegeven worden door de behoefte een vriendendienst te leveren.

Niet ondenkbaar is ook dat informatie uit eerdere Elsevier enquêtes een rol speelt. Als de collega’s Utrecht vorig jaar het beste bevonden bij aardwetenschap dan zal dat nog wel zo zijn, denkt wellicht menigeen. Zo zou Elsevier wel eens haar eigen werkelijkheid kunnen creëren.

Self-fulfilling prophesies

Uitspraken worden vaak self-fulfilling prophesies. Net zoals de waarde van een schilderij van Van Gogh of van een aandeel Albert Heijn deels een imaginair sociaal product is, kan ook de waarde van opleidingen sociaal gedefinieerd zijn. Als iedereen het vindt dan zal het wel zo zijn en wordt er navenant naar gehandeld, waardoor datgene wat gedacht wordt werkelijkheid kan worden. Als men denkt te weten dat anderen zullen denken dat aandeel X in waarde stijgt zal iedereen gaan kopen en de koers inderdaad omhoog gaan. Als werkgevers dankzij Elsevier menen dat afgestudeerden van opleiding X beter zijn, krijgen die betere en beter betaalde banen aangeboden en maken ze sneller carrière in wetenschap, samenleving, politiek en economie. Daardoor willen de beste middelbare scholieren daar studeren, kunnen de opleidingen de beste aankomende studenten selecteren, enz. Totdat er een keer een schandaal is of iemand roept ‘de keizer heeft geen kleren aan’. Dan kan een neerwaartse spiraal van inflatie inzetten zoals momenteel bij het HBO dreigt, ontketend door het InHolland schandaal.

Als docenten proberen we onze studenten bij te brengen dat ze geen ongefundeerde meningen voor kennis in de klas en in hun papers horen te verkopen, maar dat deze ´evidence based´ dienen te zijn. Waarom daarom bij een volgende enquête de hoogleraren eerst geen  tentamentje over hun feitenkennis van opleidingen elders afgenomen? Pas wie die test doorstaan heeft mag zijn mening geven. Die mening zou ook nog eens gewogen kunnen worden aan de hand van dat tentamencijfer.

Tags: Ranking | elsevier

Advertentie