Andrew Gelman, statisticus en psycholoog: …falen moet mogelijk zijn…

Sociale wetenschappen hebben het moeilijk. Anders dan natuurwetenschappers is het bij sociaalwetenschappelijk onderzoek, daar schaar ik economie ook onder, lastig zo niet onmogelijk een heel wildenbomenbos aan variabelen in de hand te houden. Uitspraken op dit terrein zouden dan ook altijd met veel slagen om de arm mogen worden gedaan, maar zo’n sociale wetenschapper moet ook eten (= onderzoek doen) en wil de wereld, om te beginnen de wetenschappelijke, wel laten weten welke opzienbarende zaken hij/zij nu weer heeft ontdekt. Dan krijg je onderzoekresultaten als studenten gaan langzamer lopen als ze met ouderdom gerelateerde woorden horen, de verkiezingen worden beïnvloed door sportwedstrijden en overgewicht is besmettelijk. Volgens Andrew Gelman van de Columbia-universiteit, statisticus en socioloog, allemaal studies die in gerenommeerde bladen zouden zijn verschenen. Dus maar kappen met die onmogelijke sociale wetenschappen? Gelman vindt dat we eerst moeten leren in het zand te bijten alvorens te gloriëren. Ik heb zo mijn twijfels, grote twijfels.

Een probleem bij veel sociologisch en ook psychologisch onderzoek is dat de onderzoeksgroep te klein is en vaak is samengesteld uit een allesbehalve representatieve doelgroep (vaak studenten, want die zijn toch bij de hand). Bij sociaal wetenschappelijk onderzoek is cijfertjesneuken onontkoombaar en daar zijn veel wetenschappers, ook buiten de sociale wetenschappen, erg slecht in. Het is dan ook vaak geen boos opzet dat ze, met die cijfers fröbelend, tot statistisch significante resultaten komen. Onlangs heeft het reproduceerbaarheidsproject, een samenwerkingsverband van onderzoekspsychologen, maar weer eens laten zien dat er nog wel wat mankeert aan veel psychologisch (overigens is ook op dat verhaal weer kritiek gekomen). Zo kan gemakkelijk het beeld ontstaan dat er maar wat afgeknoeid wordt bij het sociaal wetenschappelijk onderzoek en misschien wel bij al het wetenschappelijk onderzoek.

Knoeiboel

Gelman gaat in zijn opinieartikel meteen maar over op de oplossingen voor de ‘knoeiboel’ in het sociaalwetenschappelijk onderzoek. De artikelen zouden gerecenseerd moeten worden na verschijning en vooral zou het overdoen van onderzoek een prominenter podium moeten krijgen. In het natuurwetenschappelijk onderzoek lijkt die replicatie vrij effectief te zijn. Opzienbarende onderzoeken, zoals bij de koude kernfusie of de wonderbaarlijke STAP-cellen, werden al vrij snel naar het rijk der fabelen verwezen, nadat op talrijke plaatsen die proeven werden overgedaan. Belangrijk is, vindt Gelman, dat de wetenschappers de gelegenheid moeten krijgen de mist in te gaan zonder dat ze worden neergesabeld. In een omgeving waar, bij wijze van spreken, de doodstraf staat op falen kweek je naäpers en risicomijders. Volgens Gelman lijkt de wetenschap op zo’n omgeving.
Als onderzoeker ben je afhankelijk van je wetenschappelijke bazen en van geldschieters. Die verwachten publicaties en wetenschappelijk succes, maar wat je krijgt, volgens de hoogleraar, is de jacht op triviale ‘klappers’ (hoe staat dat in verband met risico mijden en naäpen?). Wat wordt gepresenteerd als een vers-van-de-lever-denken blijkt vaak bij nader beschouwing niets meer dan leeg getheoretiseer gepaard aan statistisch knoeiwerk, waarbij uit ruis significante meetresultaten te bakken zijn. Aldus Gelman.

Vaak, gaat Gelman verder, worden de statistische fouten niet opgemerkt, want niet onderzocht en als dat gebeurt dan willen de gerepliceerde onderzoekers niet toegeven en/of stellen dat er fouten zijn gemaakt met de replicaties. Het is onmogelijk fouten toe te geven. Statistiek is lastig en het is geen zonde daarin fouten te maken, stelt Gelman. Dat niet willen toegeven is een fout. Dan ben je gedoemd in kringetjes te blijven rondlopen. De echte helden van de wetenschap zijn niet de techneuten die een experiment uitvoerde bij 50 proefpersonen en daar statistische significantie uit peuren, een boekcontract en een tv-optreden, maar die mensen die weigeren Ja voor een antwoord te nemen, die hun theorieën over grote problemen stevig toetsen en die kunnen toegeven dat ze gefaald hebben. Dat kan je alleen als je weet hoe dat voelt, besluit Gelman.

Romantische kijk

Ik vrees voor hem dat zijn aanbevelingen niet zullen worden overgenomen. Geldschieters en hoogleraren zijn niet geïnteresseerd in het herhalen van andermans onderzoek en het is al sinds mensenheugenis zo dat wiens brood men eet diens woord men spreekt.
Gelman heeft een wat romantische kijk op het wetenschapbedrijf. Hoe denkt hij van de huidige situatie naar zijn ideaalbeeld te komen? Onderzoekers die falen zijn niet lang onderzoeker, dus…. Wat zullen geldschieters en hoogleraren zeggen als de onderzoeker faalt en het onderzoeksgeld ‘weg’ is?

Bron: Wired