Edward Leamer begon zich in de jaren 80 druk te maken over het ‘bedrog’ in het economisch onderzoek (afb: UCLA)
Het is toch opmerkelijk dat een vak met zo’n armoedige status als economie toch zo veel invloed heeft op ons dagelijks leven. Keer op keer beweren politici en andere praatjesmakers dat dit of dat op economische gronden noodzakelijk is, terwijl die gronden vaak nogal drassig zijn. Luis in de pels van die wetenschapsarme economen is nota bene een Griek, geboren in een land waar economisch zo’n beetje alles misloopt wat er mis kan gaan: Hristos Doucouliagos. Al sedert de jaren 90 gaat hij te keer tegen de armoedige wetenschappelijke status van de staathuishoudkunde met zijn vooroordelen, ondermaatse onderzoek en statistisch geklungel. Destijds wilde men dat niet horen, nu toont hij maar weer eens, mijns inziens ten overvloede, aan dat er nogal wat mis is met veel economisch onderzoek. Er schijnt langzaam iets te veranderen.
Hij bekeek met medicus John Iaonnidis van de Stanford-universiteit en Tom Stanley van het Amerikaanse Hendrixcollege 6700 meta-analyses van ruim 67 000 meta-anlyses van economische voorspellingen.
De helft was statistisch ondermaats waardoor onmogelijk het effect kon worden onderbouwd dat de meta-onderzoekers zeiden te hebben waargenomen. De meeste onderzoeken die statistisch wel in orde waren overschatten het bestudeerde effect. Kom maar eens met zo’n rapport thuis. Ioannidis constateerde al in 2005 dat het meeste economische onderzoek niet deugde
Dat wil niet zeggen dat de economen tot nu toe alleen maar hebben geslapen. In 1983 gaf Edward Leamer, een econoom van de universiteit van Californië in Los Angeles, een lezing met als titel: Haal het bedrog uit de econometrie (in het Engels is het iets leuker: ‘con’ is bedrog/bedriegen). Onderzoekers zouden gegevens verzamelen door waarneming en die in een (reken)model vatten. In de praktijk betekende dat volgens Leamer dat ze het model uitzochten dat het best bij hun gegevens paste, bewerend dat ze daar steeds mee hadden gewerkt. Zo komt het vooroordeel binnen, was Leamers diagnose.
Ongeveer te zelfder tijd werd de econoom Colin Camerer, werkzaam bij Caltech, scheef aangekeken omdat hij interesse had voor de reproduceerbaarheid van onderzoeksresultaten. Onder dezelfde omstandigheden zouden er toch (ongeveer) dezelfde uitkomst uit moeten rollen? “In een van mijn eerste artikelen, in de jaren 80, stonden alle gegevens en instructies netjes opgesomd. Nu zou dat op het web staan. Ik was wat belerend tegenover de redacteur. ‘Zo werkt dat in de wetenschap’, zei ik.” Dat betekent waarnemen, een hypothese opstellen, experimenteren en gegevens verzamelen en het nog een keer doen. Gaandeweg, zegt Camerer, zijn de dingen verbeterd.
Vieze lucht
Gaandeweg drong de vieze lucht van bedorven onderzoek ook door tot de burelen van de redacties van (een paar) economische tijdschriften. We praten nu over het begin van dit decennium. De gegevens werden opgevraagd, het vooraf vastgelegde onderzoeksplan met onder veel meer de te onderzoeken hypotheses enz. Dat betekent nog niet meteen dat onderzoek reproduceerbaar is. Camerer: “Als je een kookboek neemt dan zal het resultaat niet meteen hetzelfde zijn als dat van een volleerde kok, zelfs als je vlak bij de kok woont en je spullen in dezelfde winkels haalt.”
In 2015 probeerde economen in (Amerikaanse) overheidsdienst 67 onderzoeken te repliceren, waarbij ze de gegevens en de code van de oorspronkelijke auteurs gebruikten. Dat lukte maar in 22 gevallen, zonder dat ze de auteurs moesten bellen. Bij een poging van Camerer om 18 onderzoeken te repliceren die in twee topbladen waren gepubliceerd, bleken die statistisch in orde om een bepaald effect mee te onderschrijven. Elf keer kreeg hij een resultaat dat in dezelfde richting wees als het oorspronkelijke onderzoek.
Cijfers verkregen uit experimenten zijn belangrijker geworden dan empirisch of waarnemend onderzoek. Er wordt ook niet vreemd meer gekeken als je auteurs zegt hun onderzoek te gaan repliceren. Camerer: “Iedereen was vrij behulpzaam.”
Spaarzaam
Het is dan weer vrij vervelend dat maar een paar bladen deze praktijken van openheid, controleerbaarheid en reproduceerbaarheid hebben omarmd, anders dan bij andere sociale onderzoeksvelden. Dat betekent dat veel gepubliceerd economisch onderzoek nog steeds moeilijk te vertrouwen is en wie heeft er nog vertrouwen in de economische onderzoekers die niet in staat zijn een grote financiële crisis te voorspellen of kunnen zeggen welke belasting- of inkomensmaatregelen het best zullen uitpakken?
Volgens Ioannidis is het economisch onderzoek nou ook weer niet zo slecht. Zwakke statistiek en overdrijven van de effecten zie je volgens hem ook op andere onderzoeksgebieden zoals neurowetenschap. Hij, zelf geen econoom maar medicus, heeft niet geprobeerd economisch onderzoek de grond in boren. “Ik hoop dat ik geen vooroordelen had. Mij maakte het niet uit wat er uit zou komen.”
Misschien komt het op een dag goed, maar voorlopig houd ik het er nog steeds op dat economie geen wetenschap is, maar een bezigheid en vooralsnog een niet al te nuttige…
Bron: Wired</em>