Andrew Wakefield is in 2010 uit het Britse artsenregister geschrapt (afb: WikiMedia Commons)

Op het gevaar af de mening te onderschrijven/uit te dragen dat wetenschap ook maar een mening is meld ik toch maar dat onderzoek(st)ers hebben geconcludeerd dat wetenschapsartikelen die het minst betrouwbaar zijn de grootste kans hebben het meest geciteerd te worden. Concreter: artikelen waarvan het onderzoek niet kon worden gerepliceerd zouden maar liefst 153 keer vaker geciteerd worden.
Kijk, dat wetenschap mensenwerk is ben ik me maar al te bewust, maar dit klinkt me toch tamelijk ongelooflijk in de oren. Die 153 keer is geen kattendrek, zou ik zeggen. “We wisten al dat deskundigen kunnen voorspellen welke artikelen reproduceerbaar zullen zijn”, schrijven Marta Serra-Garcia en Uri Gneezy van de Rady-school van de universiteit van Californië in San Diego. “We vragen ons af waarom dat soort artikelen geaccepteerd worden voor publicatie?”
Het mogelijk antwoord is dat de beoordelaars een afweging maken. Naarmate artikelen interessanter zijn (lees afwijkender) hoe minder er wordt gekeken naar de reproduceerbaarheid. Dat zou ook die factor 153 verklaren. Gneezy stelt dat dat soort artikelen ook een grotere kans hebben door de (publieks)media behandeld te worden.

Het tweetal analyseerde de gegevens van drie belangrijke replicatieprojecten op het gebied van psychologie, economie en algemene natuurwetenschap (Nature en Science). In de psychologie wordt maar 39 van de 100 experimenten gerepliceerd (nagedaan met dezelfde uitkomsten), in de economie 61% van de achttien onderzoeken en in de algemene wetenschap 62% van de 21 studies.

300 keer

Vervolgens keken ze bij Google Scholar hoe vaak die gefnuikte onderzoeken werden geciteerd, zowel voor als na een replicatie van dat onderzoek. Opmerkelijk genoeg zat het grootste ‘gat’ bij de artikelen uit Science en Nature: niet reproduceerbare studies werden maar liefst 300 keer vaker geciteerd dan reproduceerbare! We hebben het dan overigens wel over maar acht artikelen. Het verhaal van het tweetal was misschien wat geloofwaardiger geworden als het aantal artikelen groter was geweest, maar dat is mijn (leken)mening.

Als gekeken werd naar de kenmerken van de nagedane onderzoeken – zoals aantal auteurs, m/v-verhouding of het onderzoeksveld – dan bleef de constatering overeind. Het blijkt ook dat de invloed van die ontwikkeling steeds pregnanter wordt. Dan maakt het ook niet uit of een onderzoek is geproduceerd of niet. Heel opmerkelijk is dat maar 12% van de citeerders na een gefnuikte reproductie daar melding van maakt bij het citaat.
De invloed van een onjuist artikel in een belangrijk tijdschrift kan enorm zijn. Zo heeft een artikel van Andrew Wakefield et. al. in the Lancet in 1998 over een verband tussen autisme en inenting tegen mazelen, waterpokken, rodehond en de bof ervoor gezorgd dat tienduizenden ouders hun kinderen niet lieten inenten. Dat artikel werd twaalf jaar later ingetrokken maar dat verband wordt nog steeds gelegd.
“We hopen dat deze analyse lezers aanmoedigt voorzichtig te zijn met interessante of opvallende zaken”, zegt Serra-Garcia. “Als wetenschappers zoiets citeren, dan hopen we dat ze controleren of dat ook gerepliceerd is en wat dat betekent.”

Bron: Science Daily