Wetenschappelijk onderzoek vaak niet-reproduceerbaar..!

Luister naar dit artikel

De wetenschap heeft met een crisis ‘reproduceerbaarheid’ te maken, waarbij meer dan twee derde van de onderzoekers hebben geprobeerd de experimenten van hun collega’s te herhalen, maar jammerlijk faalden. Dit is frustrerend voor clinici en ontwikkelaars van medicijnen, die op een stevige basis van preklinisch onderzoek voort willen bouwen. Vanaf zijn laboratorium aan de Universiteit van Virginia’s Centre for Open Science (centrum voor open wetenschappelijk onderzoek) staat immunoloog Dr. Tim Errington aan het hoofd van het Reproducibility Project (reproduceerbaarheid project) dat probeert de bevindingen van vijf belangrijke kankeronderzoeken te herhalen.

Het idee is om een handvol experimenten te nemen en te proberen het exact zelfde ding te doen om te kijken of we dezelfde resultaten krijgen. Je zou (onterecht) kunnen denken dat het heel gemakkelijk zou moeten zijn. Experimenten worden verondersteld herhaalbaar te zijn. Auteurs zouden het zelf moeten doen, vóórdat ze publiceren en je zou alleen de methode in de publicatie moeten kunnen lezen en precies de instructies volgen.

Helaas, niets is verder van de waarheid.
Na jarenlang nauwgezet onderzoek te hebben gedaan (het project startte in 2011) kon de ploeg van Tim Errington de bevindingen bij slechts van twee van de oorspronkelijke vijf studies bevestigen. Twee andere herhaalde experimenten bleken geen uitsluitsel geven. De vijfde mislukte volledig. “Het is zeer verontrustend, omdat herhaling een waarmerk van wetenschappelijke integriteit hoort te zijn”, aldus Errington. Twijfels over de betrouwbaarheid van gepubliceerde resultaten in wetenschappelijke literatuur zijn de laatste tijd enorm toegenomen. Volgens een onderzoek in het wekelijkse wetenschappelijk tijdschrift Nature hebben meer dan 70 procent van de onderzoekers vergeefs geprobeerd om experimenten van collega wetenschappers te reproduceren.

Marcus Munafo is zo iemand; professor biologische psychologie aan de Universiteit van Bristol. Maar hij gaf zijn carrière in de wetenschap bijna op toen hij als PhD student probeerde een leerboek-studie over angst te reproduceren en dat niet lukte. Munafo hierover: “Ik had een vertrouwenscrisis. Ik dacht, misschien ligt het wel aan mij, misschien heb ik het experiment niet goed nagedaan, misschien ben ik niet uit het juiste hout gesneden en moet ik geen wetenschapper worden.”

Maar het probleem lag niet bij Marcus zélf, zo bleek later, maar had te maken met de manier waarop de inhoud van de wetenschappelijke literatuur ‘opgeruimd’ bleek om een robuuster en duidelijker resultaat te kunnen presenteren. “Wat we lezen in de gepubliceerde literatuur is een aangepaste versie van wat er in het echt is gebeurd. Er wordt een rooskleurig beeld gepresenteerd. De resultaten die worden gepubliceerd zijn vaak de meest interessante, de meest spannende, in het oog springende, onverwachte resultaten. Ik noem het riskante, hoog-rendement resultaten.”

Niet per se frauduleus, maar wel verontrustend..
Volgens Dame Ottoline Leyser, directeur van het Sainsbury Laboratorium aan de Universiteit van Cambridge, zijn de problemen met reproduceerbaarheid niet perse frauduleus. “Het heeft te maken met een cultuur die effect boven inhoud stelt, flitsende bevindingen belangrijker vindt dan het saaie werk, waaruit het merendeel van de wetenschap nu eenmaal bestaat.” Volgens haar heeft het te maken met de financierende instanties die grote klappers willen maken; met de peer-review-tijdschriften die opwindende doorbraken willen publiceren; met de instituten en universiteiten die succes meten in het aantal gewonnen beurzen, gepubliceerde onderzoeken en met de ambitie van de onderzoekers zelf.

“Iedereen moet een deel van de schuld op zich nemen”, stelt zij. “De manier waarop het systeem nu is ingesteld geeft geen optimale resultaten.” Het wetenschappelijk tijdschrift Nature onderneemt nu stappen om het probleem te verhelpen. Er is voor auteurs een reproduceerbaarheid controlelijst geïntroduceerd, ter verbetering van de betrouwbaarheid en nauwkeurigheid. Ritu Dhand, de redactionele directeur bij Nature, hierover: “Replicatie is iets waarover wetenschappers moeten nadenken, vóórdat ze hun uitkomsten opschrijven. Het is een groot probleem, maar het is iets wat uitgevers niet alleen kunnen aanpakken. Het zal een multidisciplinaire aanpak vergen van onderzoekers, financiers, instituten en publicisten.”

Neurowetenschapper professor Malcolm Macleod uit Edinburgh hierover: “Maar we moeten nog grotere stappen nemen. Het probleem van de herhaalbaarheid raakt de kern van het wetenschappelijke proces.” In de nieuwste editie van Nature schetst Macleod een nieuwe aanpak voor dierproeven. Een onafhankelijke, statistisch strenge bevestiging van de hypothese is nodig, vóórdat er gepubliceerd wordt. “Zonder herhaalde bevindingen weten we niet of de opgeschreven feiten kloppen met wat er werkelijk gebeurt.”

Als we niet weten of gepubliceerde wetenschappelijke literatuur op los zand is gebouwd of op waarheid, verspillen we zowel tijd als geld. “Het kan zijn dat we veel verder zouden zijn geweest op het gebied van de ontwikkeling van nieuwe medicijnen en behandelingen. Het is een betreurenswaardige situatie, maar ik ben bang dat het de situatie is waarin we ons bevinden.”

Bron: WantToKnow.nl