Statistiek veel meta-analyses deugt van geen kant

Statistiek meta-analyses vaak beneden peil

Pijnlijke misser… (afb: census.gov)

Statistiek is en blijft een groot probleem. De wetenschap kan niet zonder, maar uit nogal wat onderzoek blijkt dat onderzoekers daar vaak slecht mee uit de voeten kunnen, waardoor conclusies worden getrokken die niet getrokken mogen worden. Statisticus Brady West van de universiteit van Michigan is met medeonderzoekers eens gaan kijken hoe dat zit bij meta-analyses (een onderzoek van verschillende samenhangende studies) en zij hadden geen vrolijke boodschap: erg deugde niet zo erg veel van. Als je weet dat het hier om gezondheidsonderzoek gaat dan word je nog een beetje droeviger. Lees verder

Hoe betrouwbaar is de uitkomst van medisch onderzoek?

Betrouwbaar medisch onderzoekVooral medisch onderzoek kan verwachtingen bij mensen wekken die, achteraf gezien, niet waargemaakt kunnen worden of zelfs helemaal onterecht waren, omdat het niet deugde. Dan heb ik het niet eens over fraude. Het komt nogal eens voor dat de onderzoekers door de bomen het bos niet zien of dat ze verkeerde conclusies trekken omdat ze statistisch maar matig onderlegd zijn. Als ik zes keer zes gooi met een dobbelsteen, hoe groot is dat kans dat ik de zevende keer weer zes gooi? Volgens een artikel van de BBC stijgt het aantal teruggetrokken medische artikelen in wetenschappelijke bladen sterk: van 30 in 2000 naar 400 in 2010, terwijl het aantal geschreven artikelen in die periode maar met 44% steeg. De cijfers zouden van het wetenschapsblad Nature komen. Lees verder

Klimaatverandering bijna zeker uit menselijke koker

Rajendra Pachauri, hoofd IPCC.

Rajendra Pachauri, hoofd IPCC.

Volgens Rajendra Pachauri, hoofd van het klimaatforum van de Verenigde Naties IPCC, wordt het steeds zekerder dat de door de mens veroorzaakte broeikasgassen de aarde opwarmen. Eind deze week zal het nieuwe rapport, of eigenlijk is het een reeks, in Stockholm openbaar worden gemaakt. Nu wordt daar nog achter gesloten deuren tussen wetenschappers en politici over gebakkeleid. Lees verder

Keurmerk voor wetenschap

Het Californische instituut Science Exchange wil, volgens een artikel in het Duitse weekblad De Spiegel, uitkomsten van wetenschappelijk onderzoek keurmerken. Het open wetenschappelijke webblad PlosOne is medeinitiatiefnemer. De onderzoekers moeten zelf voor dit keurmerkonderzoek betalen.
Een raar initiatief, want wetenschappers staan op het standpunt dat de wetenschap zelf die foute onderzoeksresultaten of verkeerde gevolgtrekkingen uit onderzoeken corrigeert. Dat dat natuurlijk niet (helemaal) waar is moge blijken uit de toch nogal eens boven water komende malversaties van soms zelfs zeer gerenommeerde wetenschappers. Daarbij kun je er verzekerd van zijn dat het nog erger is. Daar moet natuurlijk bij worden opgemerkt dat opzettelijke verfraaiing van onderzoekgegevens en zelfs het verzinnen daarvan wat anders is dan daar klungelig mee omgaan. Voor heel wat onderzoekers is statistiek, bijvoorbeeld, een zwarte doos… Zou een gedegen opleiding in de statistiek niet al een groot deel van het probleem (onkunde) ondervangen?

Stapelgek

Fraude is van alle wetenschappen Ik ben die hele Diederik Stapel vergeten, die psycholoog die zijn onderzoeksresultaten bij elkaar fabuleerde bij die namaakuniversiteit in Tilburg (de KUT). Iedereen is geschokt, maar waarom dan toch? Het is een wedstrijd naar, laten we zeggen, de top van de Alp d’Huez. Op de weg naar boven wordt gesjoemeld of rechtuit vals gespeeld. Dat gebeurt in de wielrennerij, dat gebeurt overal waar mensen op de top proberen te komen, dus ook in de wetenschap. Uit de commentaren links en rechts kreeg ik de indruk dat fraude in de wetenschap vooral een alfa- of gamma-aangelegenheid zou zijn. Natuurwetenschappen zouden daar veel minder last van hebben. Fabeltjes. Ik weet niet of er meer of minder gefraudeerd wordt in de natuurwetenschappen, maar gefraudeerd wordt er volop. Ooit heb ik daar een verhaal over geschreven en Frank van Kolfschoten heeft daar maar liefst twee boeken aan gewijd. Oud-hoogleraar André Köbben heeft in eental publicaties over dit thema, onder meer de “Onwelkome boodschap”, aannemelijk gemaakt dat niet alleen eerzucht kan leiden tot fraude. Ook opdrachtgevers vinden soms de uitkomsten van een onderzoek niet plezant. Dat kunnen ook universiteitsbestuurders zijn. Bijna alle wetenschappers laten wel eens wat onwelgevallige resultaten weg. De weg naar fraude gaat langzaam omhoog…