De Japanse stamcelonderzoekster Haruko Obokata presenteerde sensationale resultaten op het gebied van stamcellen, die al snel niet op waarheid bleken te berusten
Het lijkt wel of er een hausse is in slechte wetenschap. Onderzoekers vinden het moeilijk om elkaars resultaten te reproduceren en het aantal teruggetrokken artikelen zou snel groeien. Volgens sommigen hebben digitale media het vinden van fouten vergemakkelijkt. Recent onderzoek zou echter aannemelijk gemaakt hebben dat we slechte wetenschap bevorderen door onze perverse manier van belonen. Niet met opzet, uiteraard. De onderzoekers gebruikten bij hun werk een rekenmodel dat is gebaseerd op de evolutietheorie.
Het is lastig te bepalen of het grotere aantal terugtrekkingen wordt veroorzaakt doordat er meer foute studies zijn of doordat de ontdekkingskans groter is. Paul Smaldino en Richard McElreath van de universiteit van Californië in Davis vonden met hun ‘evolutionaire’ model dat in de hedendaagse wetenschap het gebruik van een slechte methodologie en misbruik van de statistiek krachtig wordt aangemoedigd en beloond. De natuurlijke selectie zou klungelwetenschap bevorderen.
Ze kwamen tot die conclusie door een systeem te modelleren van elkaar beconcurrerende wetenschappers. Alle wetenschappers waren zeer gewetensvol en speelden nooit vals, maar de manier van onderzoeken kon afwijken en veranderen afhankelijk van of ze geld kregen voor onderzoek en/of hun baan konden behouden.
Het tweetal bouwde ook drie veronderstellingen in hun model. Elke onderzoeker had de mogelijkheid een waar wetenschapspatroon te herkennen. Als een onderzoeker een groter vermogen had zo’n patroon te herkennen, dan was die ook vaker in staat valspositieve resultaten (verbanden die er in werkelijkheid niet zijn) te onderkennen, tenzij ze dat niet wilden zien. De derde veronderstelling was dat het ontdekken van valspositieve resultaten leidt tot betere onderzoeksmethodes, maar een lager productiviteit, omdat het meer tijd kost om deugdelijk onderzoek te doen.
Als beloning kregen de, hypothetische, onderzoekers in het rekenmodel geld en waardering voor een publicatie en die uitbetalingen werden hoger als hun vindingen nieuw waren (en dus geen replicaties). Dat zou de toestand van de hedendaagse wetenschap tekenen. De meeste onderzoekers willen niet vals spelen, maar ze moeten produceren om succesvol te zijn. Dat leidt tot het verdoezelen van valspositieve uitslagen en de fixatie op vernieuwend onderzoek (en niet op het herhalen van andermans werk). Volgens het tweetal leidt die evolutionaire druk tot minder gedegen wetenschap en het publiceren van valspositieve resultaten, tot slechte wetenschap, dus.
Evolutionaire druk
De afgelopen decennia is het aantal wetenschappelijke publicaties gigantisch toegenomen. Onderzoekers moeten concurreren voor geld en banen. Zo schijnen nieuw aangestelde biologen twee keer zo veel publiceren als tien jaar geleden.
Die situatie is nog eens verslechterd door het feit dat er veel meer mensen afstuderen en promoveren dan er vacatures zijn in de wetenschap. Dat verheftigt de strijd, hetgeen zou verklaren dat tussen 1974 en 2014 het gebruik van woorden als ‘innovatief’, ‘doorbraak’ en ‘nieuw’ in de samenvattingen van wetenschappelijke artikelen met tenminste 2500% is toegenomen. “Het is niet waarschijnlijk dat de individuele onderzoekers in de afgelopen veertig jaar 25 keer innovatiever zijn geworden.” Die ‘oorlogstaal’ weerspiegelt de toegenomen druk.
Het meten van de wetenschappelijke prestaties aan de hand van een publicatielijst is verkeerd in de bevordering van slechte wetenschap. Mensen die fouten zoeken in andermans werk worden niet erg gewaardeerd, terwijl dat toch een wezenlijk onderdeel van het wetenschapsbedrijf zou moeten zijn. ‘Nieuw’ onderzoek wordt gemiddeld 17 maal meer geciteerd dan replicatiepublicaties en dan vaak nog om die aan te halen als ondersteuning van het oorspronkelijke onderzoek.
Er is volgens het tweetal ook een simpele remedie: stop slechte wetenschap door die slechte prikkels weg te halen. Een manier zou zijn door de betrouwbaarheid van de onderzoeker mee te wegen bij zijn/haar beoordeling, in plaats van louter te kijken naar het aantal publicaties en de tijdschriften waar die artikelen in verschenen zijn.
Het probleem is natuurlijk hoe je die betrouwbaarheid meet als de onderzoeker nog niet op malversaties is betrapt. Mij lijkt het veel zinniger dan overheden veel meer geld uittrekken voor het repliceren van onderzoek, maar ik denk dat mijn voorstel weinig kans van slagen zal hebben, want de overheid bestaat voor een belangrijk deel uitgekozen politici en die worden in het algemeen ook voortgestuwd door scoringsdrift.
Bron: New Scientist