Mit jelent a reprodukálhatóság hiánya a pszichológiai kutatásokban?
Egy ideális világban azt gondolhatja, hogy a tanulmányok 75 vagy akár 80 százalékának megfelelő sorrendben hasonló eredményeket kellett volna reprodukálni, igaz? Mert az új tanulmányokat egyszerűen más populáción hajtották végre olyan kutatók, akik gondosan követték az eredeti kutatók módszereit. A legtöbb esetben a kutatók közvetlen kapcsolatban álltak és együttműködtek az eredeti kutatókkal is.
De egy lelet egy tucat különböző módon forog, mióta a múlt héten megjelent Tudomány folyóirat, a Projekt nem volt közel 75 százalékhoz. A replikációk csupán 36 százaléka hozott jelentős eredményt - szemben az eredeti 100 vizsgálat 97 százalékával.
Mit jelent ez a pszichológia szempontjából?
Annak ellenére, hogy néhányan megpróbálták megpörgetni ezt a megállapítást, hogy az nem váratlan vagy „nem is olyan rossz, mint lehetett”, ez nem tesz jót a pszichológiai tudomány számára. Minden hónapban több száz új pszichológiai tanulmány jelent meg. Ez a megállapítás dióhéjban azt jelenti, hogy ezeknek a tanulmányoknak a többségében nem lehet megbízni. Valójában hamisak.
Tól től Az Atlanti-óceán lefedettség:
"A siker aránya alacsonyabb, mint gondoltam volna" - mondja John Ioannidis a Stanford Egyetemről, akinek klasszikus elméleti munkája Miért hamis a legtöbb publikált kutatási eredmény villámhárító volt a reprodukálhatóság mozgására.
„Rosszul érzem magam, amikor azt láttam, hogy jóslataim igazolódtak. Bárcsak bebizonyították volna, hogy tévedtek. ”
Az új kutatás másik rossz megállapítása, hogy a mért hatásméretek általában 50 százalékkal kisebbek voltak, mint amit az eredeti kutatók találtak. Ez azt jelenti, hogy még akkor is, amikor az eredményeket az új kutatók reprodukálták, a vizsgált változók hatása közel sem volt olyan fontos, mint eredetileg gondolták.
A gyenge reprodukálhatóság okai a pszichológiai kutatásokban
Ennek a gyenge pszichológiai kutatásnak egy tucat különböző oka van. Mielőtt azonban néhányukat áttekintenénk, ez a valóságos víz hideg csobbanása, ha egyetlen tanulmány eredményeit vesszük és általánosítjuk őket. Vagy még ennél is rosszabb, ha valaminek hinni akkor igaz, ha azt egynél több tanulmány még nem igazolta.
Ha egy vizsgálat nem kettős-vak - mivel ezek többsége nem így volt - a kutatók saját elfogultsága finoman befolyásolhatja az adatok gyűjtését vagy elemzését. Ha egy kutató csak 8 vagy 18 hónapot töltött csak adatgyűjtéssel, hogy ne találjon szignifikáns eredményt, elmehet egy adathalász expedícióra, hogy megtaláljon valamilyen más adatkapcsolatot, amelyet közzétehet. 1 A kutatók azután megváltoztatják eredeti hipotéziseiket, hogy azok illeszkedjenek az adatok valójában talált (mivel a legtöbb kutató még mindig nem regisztrálja előzetes kutatását egy nyomkövető szolgáltatáshoz - bár ez lassan változik).
Mások szerint talán a „meglepetés” egy másik magyarázat - hogy a folyóiratok manapság a meglepő eredmények közzétételére összpontosítanak, mivel népszerűbbek és érdekesebbek az olvasók számára. Ha hozzáadjuk a regresszió lehetőségét az átlaghoz - hogy a változók első méréskor a legszélsőségesebbek lehetnek, de másodszor vagy harmadszor mérve kevésbé szélsőségesek -, az a javaslat, hogy ez a két tényező együttesen ösztönzi a természetéből adódóan nehéz tanulmányok közzétételét szaporodni.
Mit jelent a pszichológiai tudomány számára?
Az emberi természet végtelenül összetett. A pszichológiai tudomány megpróbálja az emberi viselkedést és érzelmeket apró darabokra bontani, hogy jobban megértse az egészet. Ha azonban a kutatás nem képes reprodukálni a tanulmányok mögött álló tudományt, azt sugallja, hogy abban sem lehet megbízni, amit a terület évente publikál.
Azonban a legtöbb tudomány reprodukálhatósági statisztikáját sem ismerjük, mivel más területeken még soha nem próbáltak hasonlót a Reprodukálhatóság Projekthez. Lehet, hogy ez egy olyan hiba, amelyet a legtöbb tudomány elszenvedett, vagy olyan hiba, amely a társadalomtudományokra jobban hat, mint más tudományokra.
De rövid távon ez hangsúlyoz valamit, amit mindig is mondtam - a pszichológiai tudomány megállapítása nem olyan, amire felakaszthatja a kalapját, amíg egy másik kutató nem reprodukálja. A reprodukálható eredményekről azt mondják, hogy "robusztusak", ezért megbízhatóak.
Keressen ilyesfajta információkat, amikor új tanulmány alapján értékeli vagy olvassa el a cikkeket. Bár nem olyan szexi, mint egy új, „meglepő” eredmény, a kutatás, amely igazolja vagy megkérdőjelezi azt, amit már úgy gondolunk, tudjuk, ugyanolyan fontos.
További információkért…
Atlanti-óceán: Mennyire megbízhatóak a pszichológiai tanulmányok?
A Guardian: A tanulmány komor ítéletet mond a pszichológiai kísérleti eredmények érvényességéről
Mindhacks: Ne nevezzük visszatérésnek
Referencia
Nyílt tudományos együttműködés. (2015). A pszichológiai tudomány reprodukálhatóságának megbecsülése. Tudomány, 28.
Reprodukálhatósági projekt: Pszichológia - a nyers adatok
Lábjegyzetek:
- Egyébként ennyi idő, pénz és erőfeszítés elpazarolt, mert kevés kutató tud vagy akar semmilyen eredményt közzétenni. [↩]
- És valóban megkérdőjelezi a szerzők által a megállapításaik alkalmazhatóságával kapcsolatban tett általános általánosításokat, amelyeket a legújabb pszichológiai tanulmányok szinte minden vita szakaszában megtalálunk. [↩]
.jpg)
