Adam Russell is antropoloog en programmaleider van Darpa, de wetenschappelijke organisatie van het Amerikaanse ministerie van defensie. Hij is op zoek naar een betrouwbare methode om de zin van de onzin in de gammawetenschappen te scheiden. Als je een idee hebt mag je contact met hem opnemen.

Wetenschap is, als het goed gedaan wordt, niet ook een mening. Het probleem is echter dat er in de wetenschap nogal vaak geknoeid wordt en dat er onder het kopje ‘wetenschap’ veel kul wordt verkocht. Wat dat betreft, en ik zeg het als bèta enigszins besmuikt, is het vooral in de gammawetenschap (onder meer sociologie en psychologie) wel erg vaak ‘bal’ .
Russell wil niet meedoen met het spelletje om cynisch te doen over het wetenschapsbedrijf, dus gebruikt ook geen termen als de kuldetector of woorden met gelijke betekenis. “Ik geloof heilig in echte wetenschap. Het is niet zo dat we niks van de wereld weten.” Volgens hem is wetenschap nog steeds de beste manier om achter zaken te komen, maar hij wil weten of er een manier is om te bepalen hoe betrouwbaar de onderzoeksresultaten zijn.

“Als je een aantal sociologen vraagt hoe organisaties werken, dan krijg je niet alleen twintig antwoorden, maar ook antwoorden die niet met elkaar vergelijkbaar zijn”, zegt Duncan Watts, een socioloog, werkzaam bij Microsoft, die scherpe kritiek heeft geleverd op de praktijk van de sociale wetenschappen. “Je leest een artikel en nog een. Er worden dezelfde woorden gebruikt in de titel, maar verschillende analyse-eenheden, theorieën en totaal verschillende oorzakelijkheden. Als je de literatuur hebt doorgespit heb je geen enkel idee wat je moet denken. Dan gaat het niet om reproduceerbaarheid. De beweringen kloppen gewoon niet.”
Darpa heeft een overkoepelend programma ‘Volgende generatie sociale wetenschappen’, opgezet in 2016 om economie, sociologie, antropologie enz. te gebruiken om dingen beter te begrijpen: van terrorisme tot de verspreiding van ideeën en propaganda. Darpa heeft problemen het kaf van het koren te scheiden. “Op nieuwe terreinen zie je normen ontstaan en dat is een goed teken dat daar iets gebeurt”, zegt Russell. “Dergelijke normen heb je niet in de sociale wetenschappen.”

Darpa wil aan het opzetten van die normen beginnen, maar dat moet meer zijn dan reproduceerbaarheid. Het gaat over meta-analyses, statistische technieken, invloedfactoren en andere instrumenten van de wetenschap. Het mooist zou een automatisch of in ieder geval halfautomatisch systeem zijn met taalverwerking, automatische meta-analyses, algoritmes die de statistiek beproeven enz. enz. Een machine die uiteindelijk een rood of een groen licht geeft.

Ver vandaan

“Daar zijn we nog ver vandaan”, zegt Matthew Salganik van Princeton. “Het zou al aardig zijn als we waarschuwingslampjes hadden voor artikelen in een beperkt aantal tijdschriften.”
De allereerste moeilijkheid is al dat er geen norm bestaat voor geloofwaardigheid. Brian Nosek van de universiteit van Virginia stelt dat veel mensen beweren manieren te hebben wetenschap op waarde te schatten. “Al die ideeën zeggen wat over geloofwaardigheid, dus laten we ze om te beginnen vergelijken.”

Ook wetenschappen buiten de gammatak hebben hun reproduceerbaarheidsproblemen, maar sociale wetenschappen hebben daarbij nog een eigen kennisgerelateerd probleem. Het probleem van Darpa zou misschien niet eens de antwoorden kunnen zijn, maar de vragen in de sociale wetenschappen. In betawetenschappen kun je de antwoorden wat eenvoudiger verifiëren dan in de gammawetenschappen. Welk filter haalt het best de zooi uit je berichten? Dat is redelijk simpel te verifiëren. In de sociale wetenschappen zijn de vragen vaak anders. Die gaan vaker over vragen of er iets gebeurd is. Dat gaat verder dan statistische betekenis.

Hoe komen we daar ooit uit? Russell heeft nog geen idee hoeveel ideeën hij gaat ondersteunen. Die kunnen nog tot half augustus worden ingediend. Ik ben reuze benieuwd of dat ook maar iets oplevert. Ondertussen is het wel teleurstellend om te bedenken dat al die gammawetenschappers jaren aan de gang zijn zonder dat ze maar schaduw van een toetsingssysteem in elkaar geschroefd hebben, of been ik, verstokte beta, wat al te cynisch/somber?

Bron: Wired