Criticus van het replicatieproject Timothy Wilson (afb: NYT)

Psychologen en vooral psychologische onderzoekers, daar lusten de harde wetenschappers en hun beta-aanhang wel pap van. Knoeiers zijn het die op basis van lullige onderzoekjes met gebrekkig statistisch inzicht knoeiresultaten afleveren, als ze die al niet verzinnen. Vorig jaar verscheen er een verslag van een onderzoeksproject dat zou hebben uitgewezen dat een groot deel van psychologisch onderzoek niet was te reproduceren. Die onderzoekers krijgen nu op hun beurt zelf weer billenkoek. De critici zouden zelf statistisch in de fout zijn gegaan waardoor hun conclusie op losse schroeven is komen te staan. De reproduceerbaarheid in het psychologisch onderzoek is zelfs vrij hoog, beweren vier onderzoekers.
De bekritiseerde critici gaven zelf ook weer commentaar, waarin ze stellen dat hun vier critici zelf wat dingen verkeerd geïnterpreteerd hebben. Over de reproduceerbaarheid van psychologisch onderzoek kun je optimistisch of pessimistisch zijn, maar geen van de standpunten is gegarandeerd, vinden ze. Ze betogen ook dat nauwkeurige replicaties welhaast onmogelijk zijn, anders dan in de (natuur)wetenschap.
Criticus Timothy Wilson van de universiteit van Virginia, een van de vier, blijft er bij dat er verkeerde conclusies zijn getrokken. “Het is fout te generaliseren op basis van iets wat zo slecht gedaan is en we denken dat dat zo is.”  Brian  Nosek, een collega van Wilson in Virginia, was de coördinator van het oorspronkelijke replicatieproject dat verscheidene jaren in beslag heeft genomen. Hij is het uiteraard oneens met de kritiek dat dat project in hoge mate bevooroordeeld was. “Ze veronderstellen iets op basis van selectieve interpretaties en het negeren van gegevens die in strijd zijn met hun visie.”

Een van de kritiekpunten bij het replicatieproject was (en is) hoe nauwkeurig het oorspronkelijke experiment is nagedaan. Kleine veranderingen in de opzet kunnen er toe leiden dat een onderzoek al of niet repliceerbaar (b)lijkt. Om die kritiek voor te zijn hebben de onderzoekers die aan het project deelnamen, vooraf contact gezocht met de oorspronkelijke onderzoekers. Onafhankelijke derden hebben vervolgens het replicatieresultaat beoordeeld. Volgens het viertal rond Wilson zouden 31 auteurs van de oorspronkelijke experimenten de opzet van de replicatie niet expliciet hebben goedgekeurd. Zo zou een proef die oorspronkelijk is gedaan aan de Stanford-universiteit zijn gerepliceerd in Amsterdam. Een grof schandaal, natuurlijk. Wel ‘goedgekeurde’ replicatieonderzoeken zouden vier keer vaker reproduceerbaar blijken dan niet goedgekeurde. Nosek stelt dat elf experimenten zullen worden overgedaan waarbij twijfel is gerezen aan de opzet van de replicatie. Er zal nog wel lang welles/nietes worden geroepen in psychologenland.

Bron: New York Times