Mi történik, ha több száz kutató ugyanazt az adatot elemzi?

Meglepő tanulsággal szolgált egy, a Nature-ben most megjelent nemzetközi kutatás: közel ötszáz elemző ugyanazt az adatállományt vizsgálva gyakran eltérő következtetésekre jutott. A tanulmány szerint az eredményeket jelentősen befolyásolják az elemzés során hozott módszertani döntések.

Forrás: Shutterstock

Az elmúlt évtizedben a társadalom- és viselkedéstudományokban komoly reformok indultak annak érdekében, hogy a kutatások átláthatóbbá, megismételhetőbbé és megbízhatóbbá váljanak. Az előregisztráció, a regisztrált közlemények, a replikációs vizsgálatok vagy az elemzések reprodukálhatóságának ellenőrzése mind azt szolgálják, hogy csökkenjen a véletlen vagy torz eredmények aránya. Egy fontos kérdés azonban eddig ritkán került a figyelem középpontjába:

mennyire függenek a kutatási eredmények attól, hogy az adatokat pontosan hogyan elemzik?

A tudományos gyakorlatban egy adatállományt általában egyetlen kutató vagy kutatócsoport dolgoz fel, és a publikáció egyetlen elemzési út eredményeit mutatja be. A lektorálás ugyan ellenőrzi a módszertani elfogadhatóságot, de ritkán derül ki, hogy más, szintén védhető statisztikai döntések esetén milyen eredmények születtek volna.

Pedig egy empirikus kutatás során számos döntési pont adódik: hogyan tisztítják az adatokat, miként definiálják a változókat, milyen statisztikai modellt vagy szoftvert használnak, és milyen keretben értelmezik az eredményeket. Ezek együtt adják az úgynevezett elemzési variabilitást – vagyis azt a rugalmasságot, amely alapvetően befolyásolhatja a végső következtetéseket.

Ezt a jelenséget vizsgálta egy nagyszabású nemzetközi együttműködés Aczél Balázs és Szászi Barnabás (ELTE és Corvinus Egyetem) vezetésével.

A projektben 457 független elemző összesen 504 újraelemzést végzett el 100, véletlenszerűen kiválasztott, korábban publikált tanulmány adatain. Az elemzők

ugyanazt az adatállományt és ugyanazt a kulcsfontosságú kutatási kérdést kapták meg, de teljes szabadságuk volt abban, hogyan végzik el az elemzést.

„Az eredmények nagyban különböztek. Bár az újraelemzések többsége nagy vonalakban megerősítette az eredeti tanulmányok fő állításait, a hatásméretek, a statisztikai becslések és a bizonytalanság mértéke gyakran érdemben eltért. Az eseteknek mindössze körülbelül egyharmadában jutott minden elemző pontosan ugyanarra a következtetésre, mint az eredeti szerzők” – mondja Aczél Balázs.

„Az eltérések nem az elemzők felkészületlenségéből fakadtak – teszi hozzá Szászi Barnabás. – A tapasztalt, statisztikában jártas kutatók ugyanolyan gyakran jutottak eltérő eredményekre, mint mások. Ugyanakkor a megfigyeléses vizsgálatok kevésbé bizonyultak robusztusnak, mint a kísérleti tanulmányok, ami arra utal, hogy a komplexebb adatstruktúrák nagyobb elemzési szabadságot – és ezzel nagyobb bizonytalanságot – engednek meg.”

A szerzők hangsúlyozzák: eredményeik nem a korábbi kutatások hitelességét kérdőjelezik meg. Épp ellenkezőleg. Arra hívják fel a figyelmet, hogy egyetlen elemzés bemutatása gyakran nem tükrözi a valós empirikus bizonytalanságot, és az elemzési variabilitás figyelmen kívül hagyása indokolatlan magabiztossághoz vezethet.

A tanulmány ezért a több elemzőt bevonó és a „multiverse” típusú elemzések szélesebb körű alkalmazását javasolja, különösen a tudományos vagy társadalmi szempontból kiemelten fontos kérdések esetében. Ezek a megközelítések nem egyetlen „igaz” választ keresnek, hanem láthatóvá teszik, mennyire stabilak – vagy éppen törékenyek – a tudományos következtetések.