'Wie niet aan topsport wil doen, moet maar naar het HBO'

Wetenschap bedrijven is aan topsport doen, vindtprof.dr. Ton van Raan. En dus spreekt het voor zich dat je deprestaties van onderzoekers - net als die van topsporters - meet.Op verzoek van het college van bestuur nam de Leidse citatentellervorig jaar de maat van de Utrechtse bèta-medici. "Mijn methodeis een betrouwbare graadmeter van kwaliteit."

De filosofie is simpel: Op een groot aantal wetenschapsgebiedenworden de resultaten van onderzoek gepubliceerd intijdschriftartikelen. In die artikelen wordt uiteraard ook verwezennaar eerdere publicaties over hetzelfde onderwerp. Aangenomen datde mate waarin die eerdere artikelen worden aangehaald iets zegtover hun relevantie, hebben we met het aantal citaties (dus niet:citaten) een betrouwbare graadmeter in handen voor dewetenschappelijke kwaliteit van de auteurs.

Het zal niemand verbazen dat de eerste citatie-analyses inAmerika het licht zagen. Maar de laatste jaren raakt hetwetenschappelijk tellen ook in ons land steeds meer in zwang.Pionier in dat opzicht is de Leidse 'bibliometricus' prof.dr. A.van Raan, die nu al verschillende jaren werkt aan de verfijning vanzijn methode. Twee jaar geleden kreeg hij van het Utrechtse collegevan bestuur de opdracht om het bèta-medische cluster door telichten. Vorige week was hij in Utrecht voor een toelichting.

"Wie niet publiceert, bestaat niet", was de provocerendebinnenkomer van Van Raan, die er geen twijfel over liet bestaan datwetenschappers af moeten van hun koudwatervrees voor cijfers.Wetenschap bedrijven is aan topsport doen en dat houdtonvermijdelijk in dat je je onderwerpt aan de steeds strengerwordende internationale beoordelingscriteria, aldus Van Raan. Endat mogen niet alleen onderzoekers maar ook bestuurderen zichaantrekken. "Het is een fatale strategie van universiteiten omwetenschappers te handhaven die niet aan die topsport mee willendoen. Die moeten maar een camping in Zuid-Frankrijk beginnen ofdocent worden aan het HBO."

Voor zijn methode maakt de Leidse onderzoeker gebruik vantijdschriften die zijn opgenomen in de Science Citation Index. Indat 'neurale netwerk van verwijzingen' verschijnen jaarlijksongeveer een miljoen artikelen die elk gemiddeld vijftienaanhalingen bevatten van eerdere artikelen. Die vijftien miljoencitaties vormen de basis voor een groot aantalstatistischebewerkingen waarmee Van Raan en zijn medewerkers een redelijkbetrouwbaar beeld denken te geven van de 'impact' en daarmee ookvan de wetenschappelijke kwaliteit van een onderzoeksgroep.

Centraal in hun aanpak staat een vergelijking binnen het eigenvakgebied. Absolute aantallen citaties zeggen niets, vindt VanRaan, omdat de publicatiepraktijk per vakgebied nu eenmaal sterkverschilt. Wil je iets zinnigs kunnen zeggen over eenonderzoeksgroep, dan moet je kijken hoe die groep het doet invergelijking met collega's op hetzelfde terrein. Ook moet je ervoorzorgen dat je groepen van redelijke omvang en met een voldoendeaantal publicaties met elkaar vergelijkt, willen de cijfers houtsnijden. Van Raan: "Je kunt met deze methode niets zeggen overéén enkel artikel. Bovendien moet het gaan om gebiedenwaar publiceren in tijdschriften de norm is. Waar dat niet zo is,zoals bijvoorbeeld in sommige alfa-richtingen, kun je debibliometrische methode gevoeglijk in de prullenmand gooien."

Niet iedereen is gecharmeerd van dit bureaucratische telwerk,zoals blijkt uit de permanente discussie in wetenschappelijketijdschriften. Hoofdpunt van kritiek is dat aantallen citatiesmisschien iets zeggen over productiviteit, maar zeker niet overkwaliteit. Daarvoor is het oordeel van deskundige vakgenotenonmisbaar, vinden de kritici, maar Van Raan is niet erg onder deindruk van hun argumenten.

Weliswaar begon hij zijn inleiding vorige week met dewaarschuwing dat zijn aanpak slechts als hulpmiddel moet wordengezien naast de meer beproefde methode van een beoordeling doorvakgenoten (peer review). Maar even later stelde hij dat debibliometrische methode de bevindingen van die vakgenoten indriekwart van de gevallen ondersteunt. En in het andere kwart?vroeg iemand zich af. "Dan blijken wij meestal gelijk te hebben",antwoordde Van Raan met een milde glimlach. "De peers hebben vaakonvoldoende overzicht over het hele veld." En met grotezelfverzekerdheid: "Als peers een groep goed vinden en wij niet,gaat het meestal om local heroes."

Het grote belang van zijn methode ziet Van Raan in deobjectiveerbaarheid van het oordeel. "Deze methode is in mijn ogenopener en daardoor democratischer dan een oordeel door vakgenoten.Zij biedt ook de mogelijkheid om politieke uitspraken tekritiseren. Neem Ritzen die altijd maar riep dat er in Nederland zoweinig aan inter-disciplinair onderzoek werd gedaan. Wij hebben numet cijfers kunnen laten zien dat dat echt onzin is."

Erik Hardeman

Top tien

De beste tien Utrechtse onderzoekscombinaties indebèta-medische sector volgens Van Raan. Het vetgedrukte getalgeeft aan hoeveel vaker dan gemiddeld in dat vakgebied eenUtrechtse publicatie werd geciteerd. Opmerkelijk is het vrijwelontbreken van bio-medische groepen in de Utrechtse top. Overigenskomen uitschieters (naar boven en naar beneden) minder vaak voornaarmate het aantal publicaties toeneemt. De hoge positie vanBiomembranen en Infectie en Immuniteit krijgt daardoor extracachet.

Keuze uit armoede

Een verklaard tegenstander van de methode-Van Raan is deUtrechtse bio-fysicus prof.dr. Wim van de Grind: "Mijn kernbezwaaris dat de methode-Van Raan wetenschap bedrijven reduceert totéén enkel aspect, namelijk publiceren. Het is alsof jeeen scholier met een breed vakkenpakket op één enkel vakbeoordeelt. Daarmee doe je goede mensen onrecht. Dat geldt ook voorgenieën die weinig publiceren, maar die na 25 jaar wel opeensmet een artikel op de proppen komen, waarmee de grondslag wordtgelegd voor een heel nieuw vakgebied. Die mensen zijn er, maarzouden door Van Raan al lang zijn afgeserveerd.

Het is niet voor niets dat er internationaal veel kritiekbestaat op de bibliometrische methode, maar ja, voor deadministrateurs van de wetenschap is dit natuurlijk een handigemanier om kwaliteit te meten. Het is een keuze uit armoede vanmensen die te beroerd zijn om inhoudelijk te kijken naar wat eenonderzoeker doet. Nu heeft ook de VSNU hem al in de arm genomenvoor de beoordeling van het Nederlandse onderzoek in denatuurkunde. Dat heeft er bijvoorbeeld toe geleid dat deGroningsehoogleraar Van Hateren met een magere zes is beoordeeld,terwijl hij nota bene net een Pionier-subsidie had binnengehaald.Ook wijzelf komen er niet goed vanaf, maar intussen heb ik hier weltwaalf promovendi van NWO rondlopen. Kennelijk zijn mijn 'peers'het dus niet erg eens met Van Raan.

Erik Hardeman