Vooral medisch onderzoek kan verwachtingen bij mensen wekken die, achteraf gezien, niet waargemaakt kunnen worden of zelfs helemaal onterecht waren, omdat het niet deugde. Dan heb ik het niet eens over fraude. Het komt nogal eens voor dat de onderzoekers door de bomen het bos niet zien of dat ze verkeerde conclusies trekken omdat ze statistisch maar matig onderlegd zijn. Als ik zes keer zes gooi met een dobbelsteen, hoe groot is dat kans dat ik de zevende keer weer zes gooi? Volgens een artikel van de BBC stijgt het aantal teruggetrokken medische artikelen in wetenschappelijke bladen sterk: van 30 in 2000 naar 400 in 2010, terwijl het aantal geschreven artikelen in die periode maar met 44% steeg. De cijfers zouden van het wetenschapsblad Nature komen.
Het blad British Medical Journal trok onlangs twee artikelen terug over de schadelijke bijeffecten van statines (cholesterolverlagers). Zo’n 18 tot 20% van de statineslikkers zou daar last van hebben. Er loopt nog een discussie over de echte getallen, maar dit onderzoek zou niet deugen. Het referentensysteem bij bladen (ook wel peer review genoemd, recensie van gelijken), waarbij de artikelen door deskundige collega’s worden gewogen voor plaatsing, had hier gefaald; niet voor het eerst en niet voor het laatst. Als een artikel wordt teruggetrokken, dan deugt er nogal wat niet aan. Voor onderzoekers zou terugtrekking een uiterst zware straf zijn, de zwaarste.
Toch moeten we ook niet overdrijven. Er zal aan heel wat artikelen wel wat schorten, maar als we het over de zware gevallen hebben (de teruggetrokken artikelen), dan gaat het om maar 0,35% van alle artikelen die er in een jaar gepubliceerd worden. Dat zijn er zo’n 1,4 miljoen. Ik ga er dan maar even van uit dat we het hier dan over alle wetenschappelijke artikelen bij elkaar hebben (0,35% van 1,4 miljoen is 4900 en niet de genoemde 400 uit de inleiding). Toch, schrijft de BBC-scribent, is het effect ervan groter dan op het eerste gezicht lijkt, omdat wetenschappers op elkaars werk steunen. Zo zou een frauduleus of anderszins ondeugdelijk artikel dat als stevige steun is gebruikt voor een overigens integer onderzoeksverslag wel eens het fundament onder dat onderzoek kunnen wegslaan (als je me nog kunt volgen). Ook recent is de afgang van de Japanse stamcelonderzoekster Haruko Obokata van het Japanse Riken-instituut in het nieuws geweest. Haar artikelen in Nature, ze schreef die overigens niet alleen, werden teruggetrokken. Ook beoordeeld door gelijken.
Wetenschappelijk onderzoek moet zijn te repliceren. Het vervelende is dat replicatie-onderzoek niet erg populair is. Bij verbazingwekkend onderzoek, zoals dat van Obokata, zijn er nog wel groepen te vinden die willen kijken of het ze ook lukt, maar het merendeel der onderzoeken blijft ongerepliceerd. Dat betekent dat de wetenschappelijke wereld zwaar leunt op het oordeel van gelijken. Niemand schijnt nog de resultaten van Obokata geëvenaard te hebben, namelijk gewone cellen met een zuur badje omtoveren tot embryonale stamcellen.
Damian Pattison directeur van het wetenschappelijke webtijdschrift PLOS One journal zegt dan ook dat het referentensysteem niet onfeilbaar is. “Het is erg moeilijk om helemaal te begrijpen wat er gaande is als je niet alle gegevens hebt. Er kunnen vele redenen zijn waarom een artikel een positieve beoordeling krijgt, terwijl dat later als onbetrouwbaar wordt afgeserveerd.”

Een aantal jaren geleden richtten wetenschappelijk uitgever Ivan Oransky samen met wetenschapsjournalist Adam Marcus Retraction Watch op, de ‘schandpaal’ voor de wetenschappelijke wereld, zou je kunnen zeggen. Een mooi initiatief, maar er is nog een hoop werk te doen voor beide publicisten gegeven de resultaten van het onderzoek van Danielle Fanelli, lid van de Italiaanse adviesraad onderzoeks- en bioethiek van de nationale Italiaanse onderzoeksraad. Volgens dat onderzoek, gepubliceerd in 2009 in PLOS One, zouden zo’n 2% van de ondervraagde onderzoekers hebben toegegeven minstens een keer met de onderzoeksresultaten geknoeid te hebben. Dat lijkt me eerlijk gezegd aan de zeer lage kant. Eenderde zou wel eens laakbare dingen hebben gedaan tot aan publicatie van gegevens die niet klopten (terwijl ze dat wisten) toe. 70% van de onderzoekers wist van ‘onregelmatig gedrag’ in deze van collega’s. Ik denk dat vrijwel iedereen wel eens de onderzoeksgegevens oppoetst.
Wat daar aan te doen valt? Het lijkt er op dat peer review een matig controlesysteem is, maar wie heeft wat beters? Moeten de namen van de referenten (de peers) bekend gemaakt worden? Ik zie de stammenstrijdjes al losbranden in wetenschapsland. Over één ding lijkt grote eensgezindheid te bestaan in de wetenschappelijke wereld, schrijft de BBC: die slippertjes zijn meestal een gevolg van menselijk falen en niet van opzettelijk frauduleus gedrag. Ook daar heb ik mijn twijfels over. Niets menselijks is de wetenschapper vreemd…

Bron: BBC (opmerkelijk: ook voor de BBC is het woord ‘data’ enkelvoud)