Hvordan Outcome Switching ødelegger medisinsk forskning

Når forskere begynner på en klinisk studie i medisin, er de ment å forhåndsidentifisere resultatene som interesserer dem mest. Ideen, som helsejournalist Julia Belluz skrev i fjor, "Er at forskere ikke bare vil publisere positive eller gunstigere resultater som dukker opp under studien, mens de ignorerer eller skjuler viktige resultater som ikke helt viser seg som de håpet."

Det er tydelig at medisin og publikum er avhengige av data og bevis som vi må kunne stole på. Avgjørelser om liv eller død kan ikke hvile på resultater i publisert forskning som verken ble redegjort for eller som bare ikke skjedde.

Men som Belluz bemerket, avsløringer i fjor om nå beryktet “Study 329” av Paxil—Som hadde beskrevet det populære antidepressiva som "godt tolerert og effektiv" for barn når data i rettssaken indikerte det motsatte - har belyst et urolig, utbredt problem. Slike avsløringer har også blitt midtpunktet i arbeidet med å gjenopprette vitenskapelig integritet til medisinske studier ved å rette opp data som kan lure leger og publikum.

Takket være denne innsatsen kan vi nå begynne å måle nøyaktig hvor mye feilrapportering som foregår. Tidligere denne uken British Medical Journal publiserte en studie som indikerte at nesten en tredjedel av forhåndsbeskrevne utfall i forskningsprotokoller ikke hadde blitt rapportert i innsendte artikler, inkludert i artikler tidsskriftet fortsatte å publisere. Den andre studien, pågående og utført av medisinske forskere ved Oxford as Prosjekt Sammenlign: Sporing av byttet resultat i kliniske studier, bringer fram enda mer skadelige resultater, inkludert om publisering av data i tidsskrifter som er så innflytelsesrike som The Lancet og BMJ.

Av de 67 kliniske studiene som hittil er undersøkt av Prosjekt Sammenlign, under ledelse av Ben Goldacre var det bare ni som hadde rapportert om resultatene sine perfekt. De resterende 58 - den store andelen - viste ofte alvorlige mengder resultatbytte, ikke-rapportering eller lydløs fiksering: totalt 301 utfall er ikke rapportert. I samme serie med forsøk hadde 357 nye resultater stille blitt lagt til.

Forskerne klarte å identifisere disse utelatelsene og post-hoc-justeringene ved å telle ”hvor mange av resultatene forhånds spesifisert i protokollen eller registeret ble aldri rapportert. " De flagget også hvor mange nye utfall som var stille la til.

I gjennomsnitt fant de at hver studie "rapporterte bare 62% av de spesifiserte resultatene." I mellomtiden, og også i gjennomsnitt, hadde hver studie "lydløst lagt til 5,3 nye utfall."

Likevel av de 58 oppfølgingsbrevene som ble sendt til medisinske tidsskrifter, der de advarte om feil i disse dataene, ble bare 6 publisert (et tall siden oppdatert til 15). 16 av brevene ble avvist direkte, og 31 til hadde ikke blitt publisert etter fire uker.

I BMJ studere, forskerne hadde forsket på universitetene i Liverpool, Oxford og Queen's, Belfast, og fokuserte på 311 prøvemanuskripter mottatt av tidsskriftet mellom september 2013 og juni 2014, hvorav enogtyve var senere publisert. De fant at “27% av de forhåndsbestemte resultatene i protokollen ikke ble rapportert i det innsendte papir og 11% av rapporterte utfall ble ikke forhåndsspesifisert. ” I utvalget av 21 forsøk avvist av BMJ, dessuten “19% av forhåndsbestemte utfall gikk uten rapportering, og 14% av rapporterte utfall ble ikke forhåndsbestemt.”

Det samme gjør forskerne på Prosjekt Sammenlign, forfatterne av BMJ studie anbefaler å gi mandat "prospektiv registrering av en prøve" av den og andre ledende tidsskrifter. De oppfordrer også til at forskere blir pålagt å laste opp protokollene sine når de sender inn prøveeartikler for vurdering.

Hvis du gjør det, vil det øke åpenheten og redusere risikoen for partiskhet, forvrengning og feilrapportering. Likevel de pågående avsløringene av Prosjekt Sammenlign antyder at for øyeblikket bare en håndfull medisinske tidsskrifter ser ut til å ha noe imot at de kliniske studiene som danner ryggraden i artiklene deres rapporterer i gjennomsnitt bare 62% av de spesifiserte resultatene, mens de lydløst legger til så mange som 5,3 nye utfall.

På grunn av disse studiene synes bekymring for skjevhet og utilstrekkelig gjennomsiktighet i medisinsk forskning å være godt begrunnet. Hvis resultatene fra begge studiene kan kopieres på tvers av medisin, som Prosjekt Sammenlign tar sikte på å oppdage, omfanget av problemet kan vise seg å være skremmende og stort.

christopherlane.org Følg meg på Twitter @christophlane

referanser

Slade E., H. Drysdale, B. Goldacre. "Avvik mellom forutbestemte og rapporterte utfall." BMJ 11. november 2015. http://www.bmj.com/content/351/bmj.h5627/rr-12

Weston, J., K. Dwan, D. Altman, M. Clarke, C. Gamble, S. Schroter, P. Williamson og J. Kirkham. "Mulighetsstudie for å undersøke avviksrater i forutbestemte og rapporterte utfall i artikler sendt til BMJ. ” BMJ Open 2016; 6: 4 e010075 doi: 10.1136 / bmjopen-2015-010075; http://bmjopen.bmj.com/content/6/4/e010075