Hadd szóljon az adat? Nem, nem mindig

Frank L. Schmidt, az Iowai Egyetem elismert professzora és kutatója a Pszichológiai Tudomány Egyesület szombati 20. konferenciáján tartott előadást arról, hogy a tudományos adatok hazudhatnak. Igen, ez így van, empirikus adatok - még azok is, amelyeket elismert, szakértői lapokban publikáltak - rendszeresen nem mondanak igazat.

Schmidt előadásának nagy látogatottsága volt a chicagói Sheraton Hotel and Towers egyik legnagyobb dísztermében, ahol a kongresszust tartják. Bár egyenetlen előadás, Schmidt főbb szempontjai találkoztak.

Az egyik az, hogy valószínűleg több adatkészlet naiv értelmezése a leghelyesebb - Occam borotvája („általában a legegyszerűbb megoldás a legjobb válasz”). Schmidt állítása szerint a jó kutatások megkeresik az összetett adatok mögött álló egyszerű struktúrát.

Összegezte, hogy két fő oka lehet annak, hogy az adatok „hazudhatnak” a kutatásban - mintavételi hibák és mérési hibák.

Schmidt legnagyobb kritikája a pszichológiai tudomány fétisére irányult szignifikancia teszteléssel - például statisztikai szignifikancia. Azt kívánja, hogy a pszichológia távol álljon a statisztikai szignifikancia iránti függőségétől és elbűvölésétől, mert ez egy gyenge, elfogult intézkedés, amely alapvetően keveset mond az alapul szolgáló adatokról vagy hipotézisről.

Schmidt hat mítoszt írt le a környező jelentőségű tesztelésről. Az egyik mítosz az volt, hogy a jó p érték a szignifikancia mutatója, amikor valójában csak a vizsgálat teljesítményszintjét jelzi. A másik az volt, hogy ha nem találtak szignifikanciát, az azt jelentette, hogy nem találtak kapcsolatot a változók között (valójában egyszerűen azt jelentheti, hogy a vizsgálatnak nincs elegendő ereje).

Schmidt megoldásai egyszerűek - ehelyett jelentse a hatásméreteket (pontbecsléseket) és a konfidencia intervallumokat, és a szignifikancia tesztelését teljesen hangsúlyozza.

Véget vetett a pszichológiai kutatások metaanalíziseinek új hangsúlyozásának, külön felhívva a folyóiratot Pszichológiai Értesítő. Egy még nem publikált tanulmányban ő és más kutatók megvizsgálták az összes, a Pszichológiai Értesítő 1978-2006-tól - összesen 199 tanulmány.

A kutatók megállapították, hogy ezen vizsgált tanulmányok 65% -a „fix effektusok” modellt használt metaanalízisük során. Schmidt azt állította, hogy a fix hatású modellekben az adatkapcsolatokat alábecsülik (akár 50% -kal), és hogy a kutatók túlbecsülik, hogy mennyire pontosak (milyen kevés hiba van ebben a becslésben). Ehelyett Schmidt a „véletlenszerű effektusok” modelleket részesíti előnyben, amelyek jobban figyelembe veszik ezeket a variációkat.

Megjegyezte azt is, hogy a megvizsgált tanulmányok 90% -ában nem történt korrekció a mérési hibákra vonatkozóan - az egyik fő oka annak, hogy megemlíti, hogy az adatok „hazudhatnak” a pszichológiai kutatásokban.

Ezen elemzés alapján Schmidt azt sugallja, hogy a szakértők által áttekintett folyóiratokban közzétett nagyon sok metaanalízis helytelen vagy hibás következtetéseket von le.

Sajnos ez a helyzet valószínűleg nem változik hamarosan. Míg sok pszichológiai folyóirat szigorúbb szabványokat fogadott el a kutatások publikálására, amelyek jobban megfelelnek Schmidt javaslatainak, sokan még mindig nem szándékoznak változtatni.

Az átlagember számára ez azt jelenti, hogy nem lehet megbízni minden publikált tanulmányban, csak azért, mert megjelenik egy lektorált folyóiratban, amelyet azután a médiában sajtóközlemény útján „tényként” nyilvánosságra hoznak. Az ilyen tények alakíthatók, változékonyak és hibásak. Csak az ilyen tanulmányok alapos elolvasása és elemzése révén érthetjük meg az általuk bemutatott adatok értékét.