Frustrerend dat niet de experts oordelen over Vici-aanvragen

Een commissie van hooggeleerden uit alle hoeken van de wetenschap bepaalt wie een Vici-subsidie krijgt en wie niet. Hoogleraar Marcel van den Hout vindt dat de eindbeoordeling door experts gedaan moet worden.
Om te schatten of een huis rond de drie ton of het dubbele moet opbrengen, hoef je geen beëdigd makelaar of taxateur te zijn. En een net afgestudeerde master kan goed schatten of een afstudeerthesis ongeveer een 8.5, of een krap zesje waard is.
Anders wordt het wanneer de spreiding beperkt is. Moet de vraagprijs van een huis 6.0 of 6.2 ton zijn? Wordt het thesis-cijfer een 8.2 of een 8.4? Hier kan een kind de was niet doen: hoe kleiner de variatie in kwaliteit, hoe groter de expertise die nodig is de kwaliteit te beoordelen. Terecht dan ook dat bij echt lastige kwaliteitsoordelen (bijvoorbeeld wie verdient goud bij het wereldkampioenschap kunstschaatsen?) de beste experts worden opgetrommeld. Feilbaar, natuurlijk, die experts, maar naar men mag aannemen minder feilbaar dan lieden met minder expertise.
NWO deelde weer een reeks Vici-subsidies uit, 1.5 miljoen voor de onderzoeker die in de prijzen viel. Veel geld. En erg lastig te beoordelen wie die Vici verdient. Nou ja, aan het begin van de rit, wanneer de onderzoeksvoorstellen binnenstromen, is het kaf nog wel van het koren te scheiden. Maar naarmate meer matige voorstellen afvallen wordt het lastiger. Aan het eind van de race, wanneer er van elke twee voorstellen een in de prijzen valt, is de beoordeling, onvermijdelijk onbetrouwbaar geworden en daarmee ook de noodzaak om die laatste beoordeling in handen te geven van experts: geleerden die van dit specialisme verstand hebben.
NWO ziet dat anders: Vici- voorstellen worden beoordeeld door experts. Natuurlijk. En die expertoordelen bepalen wie door kan, naar een volgende ronde. Maar wanneer het er echt om gaat spannen, in de slotfase, met ongeveer 50 procent kans, wordt het oordeel overgelaten aan een commissie van zo'n 15 hooggeleerden uit alle hoeken en gaten van de wetenschap. In meerderheid hebben ze geen benul van het onderzoeksterrein van de aanvrager. En zo kan het gebeuren dat nano-technologen een oordeel geven over de kwaliteit van theologisch of psychologisch onderzoek. En omgekeerd.
Dit gaat echt zo. Nou ja, in de eindjury zit altijd wel iemand of een duo uit een vak dat grenst aan dat van de aanvrager. En die personen wordt dan gevraagd extra goed te letten op dat aanpalende onderzoeksvoorstel en om de onkundige meerderheid van advies te dienen. Maar die adviserende collega’s zijn quasi-experts. Alsof je de gouden medaille voor Epke Zonderland laat afhangen van vechtsport-experts, kenners van het kunstschaatsen en gerenommeerde schanssspringers.
Dit is niet erg voor degenen die in de prijzen vielen, maar wel voor de pechvogels. Om matigheid van voortreffelijkheid te onderscheiden volstaan snuggere buitenstaanders. Om voortreffelijkheid van nog meer voortreffelijkheid te onderscheiden zijn experts nodig. NWO lapt dat principe aan de laars. En dat is besliskundig dom en frustrerend voor wie buiten de boot viel.
Marcel van den Hout, Hoogleraar Klinische Psychologie en Experimentele Psychopathologie, UU (geen Vici-aanvrager en wel, enkele jaren terug, lid vici beoordelingscommissie)

Opinie
on 05/03/2015

Een commissie van hooggeleerden uit alle hoeken van de wetenschap bepaalt wie een Vici-subsidie krijgt en wie niet. Hoogleraar Marcel van den Hout vindt dat de eindbeoordeling door experts gedaan moet worden.

Om te schatten of een huis rond de drie ton of het dubbele moet opbrengen, hoef je geen beëdigd makelaar of taxateur te zijn. En een net afgestudeerde master kan goed schatten of een afstudeerthesis ongeveer een 8.5, of een krap zesje waard is.

Anders wordt het wanneer de spreiding beperkt is. Moet de vraagprijs van een huis 6.0 of 6.2 ton zijn? Wordt het thesis-cijfer een 8.2 of een 8.4? Hier kan een kind de was niet doen: hoe kleiner de variatie in kwaliteit, hoe groter de expertise die nodig is de kwaliteit te beoordelen. Terecht dan ook dat bij echt lastige kwaliteitsoordelen (bijvoorbeeld wie verdient goud bij het wereldkampioenschap kunstschaatsen?) de beste experts worden opgetrommeld. Feilbaar, natuurlijk, die experts, maar naar men mag aannemen minder feilbaar dan lieden met minder expertise.

NWO deelde weer een reeks Vici-subsidies uit, 1.5 miljoen voor de onderzoeker die in de prijzen viel. Veel geld. En erg lastig te beoordelen wie die Vici verdient. Nou ja, aan het begin van de rit, wanneer de onderzoeksvoorstellen binnenstromen, is het kaf nog wel van het koren te scheiden. Maar naarmate meer matige voorstellen afvallen wordt het lastiger. Aan het eind van de race, wanneer er van elke twee voorstellen een in de prijzen valt, is de beoordeling, onvermijdelijk onbetrouwbaar geworden en daarmee ook de noodzaak om die laatste beoordeling in handen te geven van experts: geleerden die van dit specialisme verstand hebben.

NWO ziet dat anders: Vici- voorstellen worden beoordeeld door experts. Natuurlijk. En die expertoordelen bepalen wie door kan, naar een volgende ronde. Maar wanneer het er echt om gaat spannen, in de slotfase, met ongeveer 50 procent kans, wordt het oordeel overgelaten aan een commissie van zo'n 15 hooggeleerden uit alle hoeken en gaten van de wetenschap. In meerderheid hebben ze geen benul van het onderzoeksterrein van de aanvrager. En zo kan het gebeuren dat nano-technologen een oordeel geven over de kwaliteit van theologisch of psychologisch onderzoek. En omgekeerd.

Dit gaat echt zo. Nou ja, in de eindjury zit altijd wel iemand of een duo uit een vak dat grenst aan dat van de aanvrager. En die personen wordt dan gevraagd extra goed te letten op dat aanpalende onderzoeksvoorstel en om de onkundige meerderheid van advies te dienen. Maar die adviserende collega’s zijn quasi-experts. Alsof je de gouden medaille voor Epke Zonderland laat afhangen van vechtsport-experts, kenners van het kunstschaatsen en gerenommeerde schanssspringers.

Dit is niet erg voor degenen die in de prijzen vielen, maar wel voor de pechvogels. Om matigheid van voortreffelijkheid te onderscheiden volstaan snuggere buitenstaanders. Om voortreffelijkheid van nog meer voortreffelijkheid te onderscheiden zijn experts nodig. NWO lapt dat principe aan de laars. En dat is besliskundig dom en frustrerend voor wie buiten de boot viel.

Marcel van den Hout, Hoogleraar Klinische Psychologie en Experimentele Psychopathologie, UU (geen Vici-aanvrager en wel, enkele jaren terug, lid vici beoordelingscommissie)

Tags: psychologie | vici | nwo | wetenschappelijke carriere

Advertentie