Haruko Obokata

Stel je voor dat je een wetenschapper bent. Je hebt het voor elkaar: je staat in een vooraanstaand wetenschappelijk tijdschrift zoals Nature of Science. Het artikel in dat tijdschrift heeft nogal wat losgemaakt in jouw vakgebied. Je aanzien in de wetenschapswereld, althans dat deel dat zich met jouw vak bezighoudt, is aanmerkelijk gestegen. Nu blijkt dat een van de artikelen waaruit je hebt geciteerd, dat een stevige stut onder jouw verhaal is geweest, wordt teruggetrokken. Wat doe je? Schrap je dat artikel? Wetenschappelijk artikelen die worden teruggetrokken om wat voor een reden dan ook (fraude, geknoei, broddelwerk, onreproduceerbaar) zijn niet zo maar opeens uit dat wereldje verdwenen. Wetenschap lijkt een mooi, schoon bedrijf met een zelfreinigend vermogen, maar daar zijn wel wat kanttekeningen bij te plaatsen. De Amerikaanse wetenschapsraadgever Jerome Samson van het adviesbedrijf Nielsen vindt dat we nu maar eens moeten beginnen met de Grote Schoonmaak.
Het gebeurt nog maar weinig dat de echte Nobelprijzen naar een wetenschapper gaan. Wetenschap leunt heftig op samenwerking. Er zijn geen geniale geleerden meer (ik ken ze tenminste niet) die in hun eentje Nobelprijswaardig werk afleveren. Wetenschap is een traag en steeds ingewikkelder proces geworden, waarbij vaak diverse vakgebieden samenwerken. Dat heeft ook voordelen. De onderzoekers die meedoen aan een studie, kunnen ook het cijfer- en papierwerk van hun medeonderzoekers controleren. De andere kant is dat onderzoek een knap ingewikkeld proces is geworden. In 2015 stond er in Physical Review Letters het verslag van een onderzoek waaraan ruim vijfduizend auteurs hadden deelgenomen. Dat is wel extreem maar het voorbeeld illustreert een trend.
Uiteraard putten onderzoekers ook uit eerder werk. Als een artikel wordt teruggetrokken, dan zou dat werk dat (mede) daarop gebaseerd is, wel eens op losse schroeven komen te staan. Hoe reageren de ‘getroffen’ onderzoekers (niet de van het teruggetrokken verhaal maar die hun werk daar mede op gebaseerd hebben)?

Zelden nieuws

Het terugtrekken van artikelen is zelden nieuws. Vaak publiceert de uitgever van het tijdschrift dat het artikel teruggetrokken is en voert dat ook door in de databanken. Er zijn uitzonderingen zoals het verhaal van Haruko Obokata dat met wat zuur uit gewone cellen stamcellen zouden kunnen worden verkregen. Haar artikel had  veel opzien gebaard, maar al snel was duidelijk dat de jonge Japanse onderzoekster niet helemaal volgens de wetenschappelijke normen had gewerkt ( om het vriendelijk te zeggen). Onderzoekers die haar, teruggetrokken, artikel hadden geciteerd zouden dan zelf in actie moeten komen, op het gevaar dat er van het artikel dan weinig overblijft. Ook zal niet iedere onderzoeker steeds bijhouden welke van de door hemhaar aangehaalde artikelen is teruggetrokken.

Gaandeweg wordt steeds duidelijker dat er aan dat zelfreinigende vermogen van de wetenschap wel het een en ander schort. De organisatie  Retraction Watch meldt elk jaar zo’n 600 nieuwe terugtrekkingen. Dat hoeft niet noodzakelijkerwijs het gevolg te zijn van knoeiwerk of fraude en vergeleken bij het aantal artikelen dat jaarlijks wordt gepubliceerd (2,5 miljoen in meer dan 35 000 wetenschappelijke tijdschriften) is dat getal een schijntje. Driehonderd van de zes- is teruggetrokken vanwege wetenschappelijk wangedrag.
De vraag is of er een manier te vinden is om de literatuur adekwaat op te schonen van teruggetrokken artikelen. Er is op het moment geen mechanisme om die terugtrekkingen snel door te voeren in de literatuur(verwijzingen). Maar het gaat niet alleen om teruggetrokken artikelen, maar ook om replicaties van reeds gedaan onderzoek of nieuwe vindingen. Darpa, de wetenschappelijke poot van het Amerikaanse ministerie van defensie, hoopt zo’n systeem in elkaar te kunnen schroeven.

Darpa

Darpa nodigt onderzoekers uit een geautomatiseerd systeem te ontwikkelen om betrouwbaarheidscijfers te geven aan onderzoeksresultaten. Er zijn p-waarden, impact-factoren, h-indices en altmetriek, maar Darpa zoekt iets dat een combinatie is van natuurlijke-taalverwerking, gevoelsanalyse, netwerkanalyses en kunstmatige intelligentie om snel de betrouwbaarheid, reproduceerbaarheid en ‘houdbaarheid’ van een artikel te kunnen doorgronden.
Dat is geen klein bier. Een stamcelartikel uit 2005 werd in 2010 667 keer aangehaald, de helft daarvan nadat de terugtrekking was bekend gemeaakt. Nu zeven jaar later wordt dat artikel nog steeds genoemd, zelfs een aantal keren in de laatste maanden. Waartoe dat allemaal geleid heeft weet niemand. Die 667 artikelen werden namelijk op hun beurt ook weer aangehaald.

Wetenschap is een krachtig middel, zo beëindigt Samson zijn betoog. Dat komt mede door de onderlinge verbanden, maar die onderlinge afhankelijkheid zorgt ook voor grote problemen als er iets scheef gaat. Dat hoeft niet zo te blijven. We moeten er boven op zitten, vindt Samson, met de terugtrekkingen en met de beoordeling van wetenschappelijke arbeid. Ik help het hem hopen.

Bron: Wired