Samma data, olika svar? Ny studie i Nature mäter skillnaderna

Studien har tittat närmare på hur mycket ett resultat beror på den enskilda person som råkar analysera datan.

ImageJohnér Bildbyrå AB

En aktuell studie i Nature har satt en siffra på något som den publicerade vetenskapliga litteraturen vanligtvis lämnar därhän: hur mycket ett resultat beror på den enskilda person som råkar analysera datan.

I 100 studier inom samhälls- och beteendevetenskap som analyserades på nytt av 457 oberoende forskare låg endast en tredjedel av de nya uppskattningarna av  effektstorlek nära originalen. Marcus Kubsch, nyligen utsedd till universitetslektor vid Institutionen för naturvetenskapernas och matematikens didaktik, NMD, vid Umeå universitet, bidrog med tre av dessa omanalyser.

Projektet, kallat Multi100, och lett av Balázs Aczél och Barnabás Szaszi vid Eötvös Loránd-universitetet i Budapest, Ungern, gav vart och ett av 100 publicerade påståenden till minst fem oberoende analytiker. Varje analytiker fick tillgång till data och påståenden, men inga instruktioner om hur de skulle testas. Frågan var enkel: om kompetenta forskare får göra egna, välgrundade val kring hur samma data ska analyseras – kommer de fram till samma svar? 

En tredjedel av resultaten, tre fjärdedelar av slutsatserna

Oftast blir resultaten olika – åtminstone när det gäller de exakta siffrorna. I drygt en tredjedel av fallen låg de nya beräkningarna nära originalet, och med ett större spann ökade det till drygt hälften.

Marcus Kubsch, universitetslektor vid Institutionen för naturvetenskapernas och matematikens didaktik.

ImageHans Karlsson

Däremot var slutsatserna mer samstämmiga: i nästan tre av fyra fall drog forskarna samma övergripande slutsats som i originalstudien. Skillnaderna kunde inte förklaras av analytikernas statistiska expertis, och större datamängder gjorde inte resultaten mer enhetliga.

Det innebär inte att den publicerade litteraturen generellt är felaktig, utan att en enskild analysväg genom ett dataset inte räcker för att avgöra en fråga. Författarna bakom studien rekommenderar därför att resultat med stor betydelse kompletteras med strukturerade robusthetsrapporter eller analyser utförda av flera oberoende forskare.

En fråga som föregått projektet

Marcus Kubsch arbetade med tre av de 100 datamängderna, byggde sina egna analyser utifrån påståendena och rådata, och skickade in kod och resultat till projektledningen. Hans intresse för ämnet föregår faktiskt artikeln. Som masterstudent läste han John Ioannidis Why most published research findings are false, och argumenten följde honom därefter. Som doktorand upptäckte han, medan han analyserade data i ett annat projekt, ett dolt fel i ett R‑skript som hade lett till förhöjda effektstorlekar. 

– När man väl har sett ett sådant fel börjar man undra hur ofta samma sak händer utan att upptäckas, säger han. Multi100 är den systematiska versionen av den frågan.

Arbetet har följt honom geografiskt. Han påbörjade omanalyserna som forskargruppsledare i Berlin efter sin doktorsexamen, fortsatte med dem som biträdande forskare i Kiel och såg artikeln publiceras kort efter att han tillträtt sin tjänst vid Umeå universitet i maj 2026. 

En global insats

Multi100 är en del av programmet Systematizing Confidence in Open Research and Evidence (SCORE), som finansieras av DARPA och samordnas av Center for Open Science. Den bredare SCORE-satsningen omfattade 865 forskare inom samhälls- och beteendevetenskap. 

– Flera hundra personer på alla kontinenter var villiga att lägga ned verklig arbetstid på ett problem där den enda belöningen är en tydligare bild av hur vetenskap faktiskt fungerar, säger Kubsch. Det säger något både om forskningsfältet och om resultaten.