Pas op: de onderzoeker zegt dat de meeste wetenschappelijke studies onjuist zijn

Een paar jaar geleden namen twee onderzoekers de meest gebruikte ingrediënten van 50 in een kookboek en bestudeerden hoeveel in verband werden gebracht met een kankerrisico of -baten, op basis van een verscheidenheid aan studies die in wetenschappelijke tijdschriften zijn gepubliceerd.

Het resultaat? Veertig van de 50, inclusief zout, bloem, peterselie en suiker. "Is alles wat we eten geassocieerd met kanker?" vroegen de onderzoekers zich af in een artikel uit 2013 op basis van hun bevindingen.

Hun onderzoek raakte een bekend maar hardnekkig probleem in de onderzoekswereld: te weinig studies hebben voldoende steekproeven om algemene conclusies te ondersteunen.

Maar de druk op onderzoekers, de concurrentie tussen tijdschriften en de onverzadigbare honger van de media naar nieuwe studies die revolutionaire doorbraken aankondigen, hebben ertoe geleid dat dergelijke artikelen nog steeds worden gepubliceerd.

"De meeste artikelen die worden gepubliceerd, zelfs in serieuze tijdschriften, zijn behoorlijk slordig", zegt John Ioannidis, hoogleraar geneeskunde aan de Stanford University, die gespecialiseerd is in de studie van wetenschappelijke studies.

Deze gezworen vijand van slecht onderzoek publiceerde in 2005 een veel geciteerd artikel met de titel: "Why Most Published Research Findings Are False."

Sindsdien is er volgens hem slechts beperkte vooruitgang geboekt.

Sommige tijdschriften staan ​​er nu op dat auteurs hun onderzoeksprotocol vooraf registreren en hun onbewerkte gegevens verstrekken, waardoor het voor onderzoekers moeilijker wordt om bevindingen te manipuleren om tot een bepaalde conclusie te komen. Het laat ook toe dat anderen hun studies verifiëren of repliceren.

Omdat wanneer studies worden gerepliceerd, ze zelden met dezelfde resultaten komen. Slechts een derde van de 100-onderzoeken die in drie toptijdschriften over psychologie zijn gepubliceerd, kon met succes worden gerepliceerd in een grote 2015-test.

Geneeskunde, epidemiologie, populatiewetenschappen en voedingsstudies doen het niet beter, zei Ioannidis, wanneer pogingen worden gedaan om ze te repliceren.

"In de biomedische wetenschap en daarbuiten, worden wetenschappers niet voldoende getraind in statistiek en methodologie", zei Ioannidis.

Te veel studies zijn uitsluitend gebaseerd op enkele individuen, waardoor het moeilijk is om bredere conclusies te trekken omdat de steekproeven zo weinig hoop hebben representatief te zijn.

"Dieet is een van de meest verschrikkelijke gebieden van biomedisch onderzoek", voegde professor Ioannidis toe - en niet alleen vanwege belangenconflicten met verschillende voedingsindustrieën.

"Het meten van het dieet is buitengewoon moeilijk", benadrukte hij. Hoe kunnen we precies kwantificeren wat mensen eten?

In dit veld gaan onderzoekers vaak op zoek naar correlaties binnen enorme databases, zonder een beginhypothese te zijn.

Zelfs als de methodiek goed is, waarbij de gouden standaard een studie is waarbij deelnemers willekeurig worden gekozen, kan de uitvoering tekortschieten.

Een beroemd 2013-onderzoek naar de voordelen van het mediterrane dieet tegen hartziekten moest in juni worden ingetrokken door de meest prestigieuze medische tijdschriften, het New England Journal of Medicine, omdat niet alle deelnemers willekeurig werden geworven; de resultaten zijn naar beneden bijgesteld.

Dus wat moeten we wegnemen van de stroom van studies die elke dag wordt gepubliceerd?

Ioannidis beveelt aan de volgende vragen te stellen: is dit iets dat slechts eenmaal of in meerdere onderzoeken is gezien? Is het een kleine of een grote studie? Is dit een gerandomiseerd experiment? Wie heeft het gefinancierd? Zijn de onderzoekers transparant?

Deze voorzorgsmaatregelen zijn van fundamenteel belang in de geneeskunde, waar slechte studies hebben bijgedragen aan de toepassing van behandelingen die in het beste geval niet effectief en in het slechtste geval schadelijk zijn.

In hun boek 'Ending Medical Reversal' geven Vinayak Prasad en Adam Cifu angstaanjagende voorbeelden van praktijken die zijn aangenomen op basis van onderzoeken die later ongeldig werden, zoals het openen van een hersenslagader met stents om het risico op een nieuwe beroerte te verkleinen.

Het was pas na 10 jaar dat een robuuste, gerandomiseerde studie aantoonde dat de praktijk daadwerkelijk het risico op een beroerte verhoogde.

De oplossing ligt in de collectieve aanscherping van normen door alle spelers in de onderzoekswereld, niet alleen tijdschriften, maar ook universiteiten, openbare financieringsinstanties. Maar deze instellingen werken allemaal in competitieve omgevingen.

Lees hier het hele verhaal ...