Beleidsmaker wint het van de wetenschapper

Wetenschappers zijn doorgaans voorzichtiger bij het trekken van conclusies dan beleidsmakers, constateert Wilma Vollebergh. Maar wat gebeurt er als de wetenschapper op de stoel van de beleidsmaker gaat zitten?    
Als beleidsmakers een nieuwe maatregel uitvaardigen, met een beoogd en doorgaans welomschreven doel, dan doen zij daarmee impliciete uitspraken over een oorzaak (maatregel)  - gevolg (uitkomst) relatie. Voor wie wetenschappelijk denkt, is die veronderstelde relatie vaak ver te zoeken en/of allerminst empirisch te onderbouwen. Regelmatig wordt door beleidsmakers ook gebruik gemaakt van inferieure onderzoeksgegevens, omdat zij nu eenmaal geen tijd en geld hebben om betere gegevens te krijgen.
Wetenschappers daarentegen die een uitspraak willen doen over een oorzaak-gevolg durven dat pas op basis van onderzoeksgegevens die op de strengste manier verkregen zijn. Bijvoorbeeld met dubbel geblindeerde gerandomiseerde trials, uitgewogen representatieve samples, gevalideerde en betrouwbare meetinstrumenten, voldoende lange follow up met geringe uitval, controle voor alternatieve verklaringen en nog zo wat. Het duurt jaren voor de uitkomst er is. Soms is de aanleiding van een onderzoek al achterhaald tegen de tijd dat de onderzoeksgegevens er zijn. Maar eerlijk is eerlijk, dan weet je ook wat.
Het wordt dus interessant als wetenschappers beleid gaan maken. Want wie wint het: de beleidsmaker of de wetenschapper? Laten we ons universitaire beleid over het  onderwijs eens bekijken voor een antwoord op die vraag. Al jaren worden wij bestookt met 'onderzoeksgegevens' die de kwaliteit van ons onderwijs zouden weergeven.
Als wij, de UU, laag scoren (uitkomst), dan komt dat omdat wij - de docenten - het slecht doen (oorzaak), is de boodschap. Als Elsevier weer komt met haar ranglijstjes, bijvoorbeeld. Maar wat zeggen die cijfers? Als hoogleraar/UHD word je gevraagd om een oordeel te geven over het onderwijs in je eigen discipline, maar aan andere  universiteiten. Daar weet je natuurlijk volstrekt onvoldoende van af. Bij de antwoordcategorieën in de enquête staat echter geen 'weet ik niet' en dus antwoorden de hooggeleerden alsof ze het wel weten. Wat dat oplevert is een aardig overzichtje van reputaties van collega's, dat meer zegt over de staat van dienst in het onderzoek (daar kennen de hooggeleerden elkaar vaak wel van) dan over het onderwijs van diens groep.
Hetzelfde geldt voor de NSE, die nationale enquête waarin studenten aangeven wat ze van hun onderwijs vinden. Respons percentages van 20 procent zijn hier niet ongebruikelijk (en worden vaak niet eens gemeld). De resultaten van zo'n 'onderzoek' zou je eens moeten durven opschrijven in een eenvoudig artikel over onderzoek naar attituden. Onze eigen evaluaties zijn veel informatiever, maar niet landelijk vergelijkbaar, en dus wordt elk jaar opnieuw weer gegrepen naar dit soort cijfers. En ondanks het belabberde karakter van deze cijfers worden deze ranglijstjes gebruikt voor het uitzetten van beleid, het feliciteren van de 'winnaars' en het kapittelen van de 'verliezers', en hoor je weinig klagen over de kwaliteit van de cijfers.
Voor mij is de conclusie onontkoombaar: de beleidsmaker wint het van de wetenschapper. Ook hier zijn uiteraard vele verklaringen voor te geven, maar als columnist hoef ik gelukkig alleen over een mening te beschikken, dus de uiteindelijke verklaring laat ik graag aan mijn lezers over.