De h-index is onbetrouwbaar

Veel rankings gebruiken de zogenaamde h-index om de kwaliteit van wetenschappers te meten. Deze index is volgens onderzoekers van het Leidse CWTS onbetrouwbaar.De h-index combineert het aantal publicaties met citaties. De index is hoger naarmate een onderzoeker meer publicaties heeft geschreven die voldoende vaak worden geciteerd. Een onderzoeker heeft een h‐index van bijvoorbeeld 12 als hij of zij 12 publicaties heeft die ieder minimaal 12 keer zijn geciteerd en als zijn of haar overige publicaties ieder niet meer dan 12 citaties hebben.De h‐index is in 2005 bedacht door de Amerikaanse natuurkundige Jorge Hirsch. De index heeft sindsdien snel aan populariteit gewonnen. De h‐index van een onderzoeker kan tegenwoordig eenvoudig worden opgezocht in publicatiedatabases zoals Web of Science en Scopus. Er is zelfs een speciaal computerprogramma ontwikkeld om de h‐index van een onderzoeker op basis van het veelgebruikte Google Scholar te bepalen.Ook wetenschappelijke zoekmachines maken gebruik van de h‐index. De h‐index wordt geregeld toegepast in onderzoeksevaluaties en benoemingsprocedures. Zo vraagt het formulier voor het  aanmelden van een nieuw kandidaatlid van de KNAW naar de h‐index. Ook is op basis van de h‐index een invloedrijke ranking van Nederlandse economen geproduceerd.Volgens CWTS‐onderzoekers Ludo Waltman en Nees Jan van Eck is de waarde van deze h-index inconsistent. Dat schrijven zij in een artikel dat wordt gepubliceerd in een komend nummer van de Journal of the American Society for Information Science and Technology, het belangrijkste tijdschrift in de informatiewetenschap.Als voorbeeld schrijven ze dat wanneer twee onderzoekers samen een aantal publicaties schrijven, kan het zijn dat de h‐index van de ene onderzoeker hier veel meer van profiteert dan de h‐index van de andere onderzoeker. Dit kan tot een fundamentele verandering in de beoordeling van de onderzoeksprestaties van de twee onderzoekers leiden. Wanneer onderzoeker Jansen oorspronkelijk beter werd beoordeeld dan onderzoeker Pietersen, kan het schrijven van een aantal gezamenlijke publicaties ertoe leiden dat onderzoeker Jansen opeens minder goed wordt beoordeeld dan onderzoeker Pietersen. Zonder dat daar een logische reden aan ten grondslag ligt, draait de h‐index de beoordeling van de twee onderzoekers dus om. Waltman en Van Eck concluderen hieruit dat de index inconsistente resultaten produceert.