Nian Cai Liu: van de lijst: …geen verstand van bibliometrie..
Er zijn er meer, zoals die van de Times Higher Education, maar die van Sjanghai wordt minstens zo veel geciteerd voor borstklopperij. Die ranglijst werd voor het eerst opgesteld in 2003 door de Jiaotong-universiteit in Sjanghai en rangschikt jaarlijks de 500 ‘beste’ universiteiten. Volgens de Franse krant Le Monde klopt er van die ranglijst geen bal, omdat criteria waarmee die gemaakt wordt niet deugen. Drie Franse onderzoekers noemde het klassement in 2009 een ranglijst zonder enige waarde.
Nederland had drie universiteiten in de top 100 (Utrecht, Groningen en Leiden) en de malheur voor de Fransen is waarschijnlijk dat ook zij niet verder komen dan drie universiteiten. De lijst wordt opgesteld aan de hand van zes criteria zoals het aantal winnaars van de Nobelprijs en de Fieldsmedaille (wiskunde) onder afgestudeerden en (oud-)hooglerarern en aantal publicaties en citaties. Dat alles gemiddeld per onderzoeker/lesgever.
Die criteria zijn bedoeld om de kwaliteit van het onderwijs te beoordelen. Het eerder genoemde Franse drietal (Jean-Charles Billaut, Denis Bouyssou en Philippe Vincke) hebben ernstige bedenkingen over de gehanteerde methodologie, die gebaseerd is op wankele pijlers. Zo wordt een onderzoeker geëerd met de Nobelprijs of de Fieldsmedaille (voor wiskundigen die geen Nobelprijs hebben) om resultaten die vaak jaren geleden zijn behaald. Bovendien telt die prestatie alleen maar op. Dat criterium zegt niets over het huidige onderwijs.
De lijst bevoordeelt Engelstalige landen, stelt Le Monde. Alleen Engelstalige publicaties tellen. Alles dat niet in het Engels geschreven is is verspild voor dit klassement. De Nobelprijspunten worden ook gedeeld als een onderzoeker op meer universiteiten heeft gewerkt. In de VS werken veel Aziatische, maar ook Europese onderzoekers, voor een niet onbelangrijk deel doordat de grotere daar over ruime onderzoeksfondsen kunnen beschikken. Ook de citatiecijfers waar de opstellers van de lijst zich baseren is discutabel. Bovendien worden alleen artikelen in (bepaalde) wetenschappelijke tijdschriften meegerekend. Boeken of presentaties op congressen tellen niet mee, terwijl dat in sommige vakgebieden een heel normale communicatievorm is.
Al in 2005 schreef de Nederlandse deskundige op het gebied van wetenschapsmeting Anthony van Raan grote geloofwaardigheidsproblemen had en dat de ranglijst niet gebruikt zou mogen worden om universiteiten te vergelijken. Het Franse drietal was in 2009 vernietigender: zonder enige waarde. Ondanks al die kritiek is er aan de berekeningswijze niets veranderd.
De samenstellers geven grif toe dat ze niet veel kaas hebben gegeten van bibliometrie. Zo is hoogleraar Nian Cai Liu, vertegenwoordiger van de groep, scheikundige gespecialiseerd in polymeren. De samenstellers houden zich echter vast aan de ‘objectieve, zorgvuldig gekozen criteria’ en de ‘internationaal erkende gegevens’, die iedereen kan controleren. De oorspronkelijke opzet van de ranglijst was om er achter te komen waardoor Chinese universiteiten verschilden van de beste internationale universiteiten, om vergelijksmateriaal te hebben. Kan je het hen kwalijk nemen dat de lijst bij schoolbesturen en politici populair is geworden. We houden van lijstjes.
Bron: Le Monde