Mi történik, ha több száz kutató ugyanazt az adatot elemzi?

Meglepő tanulsággal szolgált egy, a Nature-ben most megjelent nemzetközi kutatás: közel ötszáz elemző ugyanazt az adatállományt vizsgálva gyakran eltérő következtetésekre jutott. A tanulmány szerint az eredményeket jelentősen befolyásolják az elemzés során hozott módszertani döntések.

Forrás: Shutterstock

„Az eltérések nem az elemzők felkészületlenségéből fakadtak – teszi hozzá Szászi Barnabás. – A tapasztalt, statisztikában jártas kutatók ugyanolyan gyakran jutottak eltérő eredményekre, mint mások. Ugyanakkor a megfigyeléses vizsgálatok kevésbé bizonyultak robusztusnak, mint a kísérleti tanulmányok, ami arra utal, hogy a komplexebb adatstruktúrák nagyobb elemzési szabadságot – és ezzel nagyobb bizonytalanságot – engednek meg.”

A szerzők hangsúlyozzák: eredményeik nem a korábbi kutatások hitelességét kérdőjelezik meg. Épp ellenkezőleg. Arra hívják fel a figyelmet, hogy egyetlen elemzés bemutatása gyakran nem tükrözi a valós empirikus bizonytalanságot, és az elemzési variabilitás figyelmen kívül hagyása indokolatlan magabiztossághoz vezethet.

A tanulmány ezért a több elemzőt bevonó és a „multiverse” típusú elemzések szélesebb körű alkalmazását javasolja, különösen a tudományos vagy társadalmi szempontból kiemelten fontos kérdések esetében. Ezek a megközelítések nem egyetlen „igaz” választ keresnek, hanem láthatóvá teszik, mennyire stabilak – vagy éppen törékenyek – a tudományos következtetések.