De normaalste H-index

Op de H-index kun je makkelijk kritiek hebben, zoals afscheid nemend decaan Willem Koops vrijdag deed. Columnist Frans Verstraten ziet wel de voordelen van deze performance-indicator.

Vrijdag jongstleden namen we afscheid van een van de meest markante decanen van onze universiteit, Willem Koops. Om verschillende redenen keek ik uit naar zijn afscheidsrede. Ik wist dat hij de laatste jaren ieder praatje voor de faculteit – en dat zijn er nogal wat - begon met een filosofisch citaat. Dat was dan de opmaat naar een wijze les die we dan gratis van onze nestor meekregen. Ik was dus benieuwd naar wat we dit keer voorgeschoteld zouden krijgen.

Zelfs een hoogleraar met een deel van zijn wortels in VU grond ontkomt niet aan evolutie en al luisterend naar Koops’ verhaal kreeg ik stellig de indruk dat de psycholoog tot een filosoof was gemuteerd. Waar psychologen vaak nog zoeken naar experimentele of logische evidentie, gaan sommige filosofen ervan uit dat het omschoffelen van ideeën tot hun kerntaak behoort en het aanreiken van alternatieven overgelaten moet worden aan anderen. Zo ook onze scheidende decaan.

Dit keer had hij zijn pijlen onder andere gericht op de H-index. In een maatschappij waar de term accountability niet meer weg te denken is, ook niet voor academici, is de wetenschap druk doende met zoeken naar performance indicatoren, al was het maar om de willekeur, bevoorrechten van bevriende collega’s en drang tot het uitoefenen van persoonlijke hobby’s van bestuurders, dus ook decanen, te beteugelen. Een daarvan is de H-index. Voor degenen die het niet weten; als je H-index hebt van bijvoorbeeld 15 dan betekent dit dat 15 van je publicaties elk minimaal 15 keer zijn geciteerd. Net als bij alle andere performance indicatoren is het niet zo moeilijk om eventuele tekortkomingen aan te wijzen. Zo kan je een H-index van 1 hebben als er 1 artikel van jouw hand 1 miljoen keer geciteerd is en je andere artikelen nooit. En zo kan iemand een H-index van 4 hebben als deze maar 4 publicaties heeft die elk 4 keer zijn geciteerd. Ergo, een vier keer zo hoge H-index met 16 citaten dan degene met 1 miljoen keer zijn of haar naam in de literatuurlijst. Maar dat zijn extreme uitzonderingen; in de regel functioneert deze performance indicator niet zo slecht. De H-index wordt vooral gebruikt om wetenschappers uit hetzelfde vakgebied met elkaar te vergelijken. Onder andere voor beurzen, benoemingen en bevorderingen. En dat gaat best aardig, juist omdat het maar een van de vele performance indicatoren is. De critici van de H-index vind je, en hoe kan het anders, onder de mensen waarvoor deze H-index niet goed uitpakt. Dus bij de mensen waarvan het werk niet of nauwelijks geciteerd wordt. Alle psychologen weten hoe dit proces in het hoofdje werkt.

Koops’ argument dat de H-index niet deugt omdat het ook gebruikt wordt om gebieden met elkaar te vergelijken lijkt op het eerste gezicht valide. Toch is dat verre van juist. Natuurlijk zijn er wetenschapsgebieden die een andere publicatiemores hebben. In sommige gebieden wordt enkel als enige auteur gepubliceerd; anderenpubliceren met de hele familie als auteur; weer anderen in boekvorm. Er zijn wetenschappers die 10 keer geciteerd worden op een onderwerp waar 1000 artikelen per jaar verschijnen, maar ook die 10 keer geciteerd worden terwijl er maar 10 artikelen op dat gebied per jaar verschijnen. In het eerste geval ben je simpelweg ruis en voor het laatste geval geldt dat kennelijk niemand om je werk heen kan, je bent dan een wereldtopper. Maar het is moeilijk om een index te maken op basis van het aantal citaten, gegeven het aantal keren dat je geciteerd had kunnen worden. Vergelijken over velden lijkt daarmee moeilijk.

Maar in de regel vergelijken we gebieden met grote verschillen in publicatiecultuur niet. Daarvoor is de H-index ook helemaal niet bedoeld. Het is een vakafhankelijke index. En uiteraard bestaan er ook binnen brede disciplines, zoals de psychologie, grote publicatieverschillen. Maar om daarom de H-index in het afvalemmertje te stoppen is niet wetenschappelijk. Beter is het om met een alternatief te komen en dat is nog niet eens zo moeilijk. Hier het menu:

1. Vraag je vakgenoten aan te geven welke de top specialistische tijdschriften zijn van hun vakgebied (dus niet algemene tijdschriften als Nature, Science, PNAS).
2. Stel van de genoemde tijdschriften een top 3 samen.
3. Neem van deze tijdschriften bijvoorbeeld random 10 personen uit het editorial board (die meestal toch wel de betere wetenschappers in een veld representeren. Als je tijd hebt mag je ook het hele board nemen).
4. Bereken de gemiddelde H-index van deze personen. Dat is dan de H-index die je deelveldniveau weerspiegelt.
5. Vervolgens vergelijk je dit met je eigen H-index en dan weet je hoe je er voor staat binnen je (deel)gebied.
6. Wil je weten hoe je ervoor staat in vergelijking tot leden van de andere deeldisciplines in je vakgebied, dan deel je jouw H-index door jouw deelveldgemiddelde. Dan vergelijk je dat met je collega die dezelfde exercitie (stap 1-5) heeft uitgevoerd voor zijn of haar deelveld. Je hebt dan een redelijke genormaliseerde  performance index. Niet zaligmakend, maar wel een goede indicatie.

Na de vergelijking lach je, je huilt of ligt er niet wakker van. Verdoe echter je tijd niet met het zoeken naar een reden waarom je er toch weer niet goed uitkomt, dat is namelijk triviaal; die reden is bekend.