Brian Nosek, leider reproduceerbaarheidsproject
Wetenschap is nog geen wetenschap als dat in een befaamd wetenschappelijk tijdschrift is gepubliceerd, maar pas als andere onderzoekers die experimenten kunnen herhalen en tot dezelfde conclusie moeten/kunnen komen. Reproduceerbaarheid is de laatste jaren een ‘heet’ thema en het blijkt nogal eens dat er nogal wat onderzoek wordt gepubliceerd in (ook) vooraanstaande tijdschriften, die, op zijn zachtst gezegd, niet helemaal kunnen kloppen. Na psychologie en economie werden nu sociaalwetenschappelijke studies onder de loep gelegd door een groep wetenschappers onder aanvoering van Brian Nosek van de universiteit van Virginië en verbonden aan het Centrum voor Open Wetenschap in Charlottesville (COS). Van de 21 studies waarvan tussen 2010 en 2015 een verslag was verschenen in Science en Nature, bleek 62% de herhaling te doorstaan. Dat lijkt mooi, maar het betekent nog steeds dat ruim eenderde van de, vooraf beoordeelde, artikelen op dit terrein niet (helemaal) deugt. Dat is overigens een stuk beter dan de psychologen het er vanaf hebben gebracht (al lijkt het dat Nosek en de zijnen nu wat milder hebben geoordeeld).
Het zou de eerste keer zijn dat onderzoeken werden herhaald waarvan eerder in toptijdschriften verslag is gedaan. “Daar met een vergrootglas naar kijken is heel belangrijk”, zegt Sarahanne Field, die metaonderzoek (onderzoek van onderzoek) studeert in Groningen. “We denken altijd dat de kwaliteit van daarin gepubliceerd onderzoek het allerbeste is, maar als dat niet gereproduceerd kan worden moeten we dat idee eens heroverwegen.”
De reproduceerders kozen van elke studie de voornaamste bevinding en probeerden die te reproduceren volgens het door de (oorspronkelijke) auteurs gebruikte onderzoeksprotocol. Ze vergrootten ook de monstergrootte (het aantal proefpersonen) met liefst een factor vijf om een zo betrouwbaar mogelijk uitkomst te krijgen.
Voor 13 van de 21 onderzoeken werd een statistisch relevant effect gemeten dat in overeenstemming was met de oorspronkelijke studie, maar dat effect was meestal kleiner dan in de eerste studie was gevonden: gemiddeld maar liefst 50%. Dan hebben we het over studies over het verband tussen analytisch denken en religieuze skepsis of dat schrijven over examenvrees het resultaat van het examen (of proefwerk) zou verbeteren.
Media-aandacht
Volgend Nosek krijgt dat soort onderzoek veel media-aandacht. Dat examenonderzoek kan volgens hem veel effect hebben op de manier waar je daarmee omgaat, maar dat effect hebben de reproduceerders niet gezien. Hij denkt dat de grotere effecten die in de oorspronkelijke studies werden waargenomen te maken zouden kunnen hebben met een te klein aantal proefpersonen (de monstergrootte).
Misschien zou dat ook te maken kunnen hebben met de voorkeur van tijdschriften voor publicaties over grote effecten, denkt psycholoog David Rand van MIT in Cambridge (VS). Rand stelt ook dat onreproduceerbaarheid van een onderzoek niet meteen betekent dat dat onderzoek niet deugt. De ‘reproductie’ kan ook wel niet in orde zijn. Overigens hadden de reproduceerders ook een parallel ‘gokcircuit’ opgezet, waarin per artikel 80 wetenschappers moesten schatten hoe het met de reproduceerbaarheid zou zijn gesteld. Ze bleken daar vrij goed kijk op te hebben.
Verbetering
Onderzoekers zouden zelf wel wat kunnen doen aan het verbeteren van de reproduceerbaarheid van hun onderzoek. Zo zouden ze duidelijk moeten zijn over hun onderzoeksgegevens en hun procedures, evenals over hun doelen en hypotheses bij het aanmelden van experimenten. Nosek: “Onderzoekers nemen reproduceerbaarheid serieus en zoeken wegen om de geloofwaardigheid en transparantie van hun bevindingen te verbeteren.” Onderzoekers zouden ook verplicht kunnen worden hun eigen onderzoek te herhalen/repliceren, stelt Rand.
Ook de tijdschriften kunnen wel wat betekenen op dit terrein. Zo zouden ze eisen kunnen stellen aan het delen van onderzoekgegevens en aan de statistische vaardigheden van de onderzoekers. Ook zouden ze de transparantie kunnen bevorderen.
Bron: Nature