Hoppá! Végül sincs „replikálhatósági válság” a pszichológiai tudományban

Ha van egy kutatási projekted - az Open Science Collaboration (Open Science Collaboration - OSC) -, amely 270 áttöréstudományon dolgozó tudóst foglal magába, remélheted, hogy az alapok egy részét helyesnek találják. Mint egy véletlenszerű vizsgálat megtervezése, amely módszertanilag megalapozott és ki tud állni társaik ellenőrzése előtt.

De úgy tűnik, hogy a 44 kutató által 2015 augusztusában közzétett, úttörő cikk "A pszichológiai tudomány reprodukálhatóságának becslése" (Nosek et al., 2015) jelentős hibákat tartalmazott. Egy új cikk azt sugallja, hogy valójában nincs „replikálhatósági krízis” a pszichológiában.

Négy kutató a Harvard Egyetemről és a Virginia Egyetemről (Gilbert et al., 2016) publikálta eredményeit Tudomány (pszichológiai replikációs webhelyük az összes adatot és anyagot tartalmazza). Úgy gondolják, hogy az eredeti tanulmányban három fő statisztikai hibát találtak, amelyek komolyan megkérdőjelezik annak eredményeit. Az új kutatók azt állítják: "Valójában a bizonyítékok összhangban állnak az ellenkező következtetéssel - hogy a pszichológiai tudomány reprodukálhatósága meglehetősen magas, és valójában statisztikailag nem különböztethető meg 100% -tól."

Hoppá.

Az eredeti tanulmány (Nosek et al., 2015) három magas rangú pszichológiai folyóiratban próbálta megismételni a 2008-ban megjelent tanulmányokban közölt 100 kísérlet eredményeit. A tanulmány első kritikája az, hogy ez nem a pszichológiai tanulmányok randomizált kiválasztása volt. Ehelyett a Nosek csoport csak három folyóiratra korlátozta a pszichológia csekély két tudományágát reprezentáló folyóiratra, elhagyva az olyan főbb területeket, mint a fejlődési és a klinikai pszichológia. Ezután Nosek és mtsai. önkényes szabályok és kritériumok komplex halmazát alkalmazta, amely valójában kizárta a vizsgálatok több mint 77 százalékát az általuk vizsgált három folyóiratból.

Az elfogult mintával kezdődő kutatásoknak problémái vannak. Azzal, hogy nem véletlenszerű mintával kezdtük, a kutatók már segítettek megalapozni a kiábrándító eredményeiket.

Változtassuk meg (jelentősen) az általunk megismételt tanulmányokat

Még rosszabb, mint egy elfogult, nem randomizált mintával kezdeni, az volt, hogy a kutatók miként hajtották végre a replikációkat. Először a kutatók „meghatározott csapatokat hívtak meg bizonyos vizsgálatok megismétlésére, vagy megengedték a csapatoknak, hogy kiválasszák azokat a tanulmányokat, amelyeket megismételni kívánnak” Ahelyett, hogy véletlenszerűen hozzárendelték volna a kutatókat a replikálandó vizsgálatokhoz, hagyták, hogy a kutatók választhassanak - minden kutató elfogultságát behozva, hogy esetleg olyan tanulmányokat válasszanak, amelyekről a legkevésbé valószínűnek tartják a replikációt.

Az új tanulmányok néha jelentősen eltértek a régi tanulmányoktól, amelyeket megpróbáltak megismételni. Íme csak egy (legalább egy tucat) példa arra, hogy a replikált vizsgálat miként vezetett be jelentős szövődményeket:

Egy másik tanulmányban a Stanford Egyetem fehér hallgatói megnéztek egy videót, amelyen négy másik Stanford-hallgató egyetemük felvételi politikáját vitatta meg (Crosby, Monin és Richardson, 2008). A megbeszélők közül három fehér volt, egy pedig fekete. A megbeszélés során az egyik fehér hallgató sértő megjegyzéseket tett az igenlő cselekedetekkel kapcsolatban, és a kutatók megállapították, hogy a megfigyelők lényegesen tovább nézték a fekete diákot, amikor azt hitték, hogy hallja a többiek észrevételeit, mint amikor nem. Bár a replikációs vizsgálat résztvevői az Amszterdami Egyetem hallgatói voltak, ugyanazt a videót nézték meg, amikor a Stanford hallgatói (angolul!) Beszéltek a Stanford felvételi politikájáról.

Vajon egy amszterdami egyetem hallgatói valóban meg tudják-e érteni, mi is az a megerősítő fellépés Amerikában, tekintettel az amerikai és az amszterdami társadalom közötti jelentős kulturális különbségekre? Megdöbbentő módon a replikációt végző kutatók szerint a tanulmányok „gyakorlatilag azonosak” voltak (és természetesen elfogultak ezt mondani, mivel azok tanulmány). Mégis, az eredeti kutatók, felismerve a két populáció jelentős kulturális különbségeit, nem támogatták az új replikációs tanulmányt.

Gilbert és munkatársai nem csak a replikációs vizsgálatokban találták meg ezt a fajta problémát. Különösnek tűnik, hogy Nosek et al. úgy érezte, hogy ezek a fajta következetlenségek nem befolyásolják a tanulmány minőségét (vagy a „hűséget”, ahogy a kutatók nevezik). Mindazonáltal nyilvánvalóan ezek jelentős minőségi különbségek, amelyek minden bizonnyal befolyásolják a tanulmány megismételhetőségét.

Több erőre van szükségünk!

Egy tanulmány állhat vagy ráeshet a tervére. És egy kutatási tanulmány kulcsfontosságú része az erő. A replikációs tanulmány olyan tervet használt, amely valószínűleg a kezdetektől fogva kudarcra van ítélve. Az alacsony fogyasztású tervek nem képesek olyan hatásméretet felvenni, mint a nagyobb teljesítményű tanulmányok. Azzal, hogy alacsony fogyasztású tervezés mellett döntöttek, Nosek és munkatársai gyakorlatilag biztosították negatív eredményeiket, mielőtt egyetlen adatpontot gyűjtöttek volna.

Nosek és munkatársai néhány szalmaszálas érvet vezettek be a tervezés választása mellett, amelyet Gilbert és mtsai. válaszukban egyenként lelőtték. Gilbert és munkatársai következtetése?

Összefoglalva: a [replikációs kutatók] által felvetett egyik érv sem vitatja azt a tényt, hogy az [új tanulmány] szerzői alacsony teljesítményű konstrukciót alkalmaztak, és hogy (amint azt az ML2014 adatokra vonatkozó elemzéseink bizonyítják) ez valószínűleg bruttó az adatokban a valós replikációs ráta alábecsülése.

Más pszichológiai kutatók hasonló replikációs kísérletet hajtottak végre még 2014-ben (Klein et al., 2014). Nagy teljesítményű tervezéssel azt találták, hogy az általuk vizsgált pszichológiai tanulmányok többsége megismétlődött - 13 kísérletből 11-et ismételtek. Nosek és mtsai alacsonyabb teljesítményű kialakításának hatásának tesztelésére Gilbert és mtsai. becslései szerint a 2014-es vizsgálat replikációs aránya 85 százalékról 34 százalékra csökkent. Jelentős és sokatmondó különbség.

Tehát mit tudunk valójában a pszichológiai tudomány reprodukálhatóságáról?

Több, mint gondoltuk. Figyelembe véve Gilbert és mtsai kritikáját és az eredeti kutatók mohó válaszát, valószínűbbnek tűnik, hogy a Nosek és mtsai. tanulmány kritikusan hibás volt.

Úgy tűnik, hogy a pszichológiai tudomány reprodukálhatóbb, mint gondoltuk - jó hír mind a tudomány, mind a pszichológia számára.

Hivatkozások

Gilbert, D., King, G., Pettigrew, S. & Wilson, T. (2016). Hozzászólás a ’Pszichológiai tudomány reprodukálhatóságának becsléséhez’. Tudomány, 351, 1037a-1037b.

Gilbert és mtsai. (2016). Válasz a „Pszichológiai tudomány reprodukálhatóságának becslése” című technikai megjegyzésünkre adott válaszra.

Klein, RA, Ratliff, M Vianello, RB Adams Jr, Š Bahník, MJ Bernstein és mtsai. (2014). Változások vizsgálata a replikálhatóság terén: „Sok labor” replikációs projekt. Szociálpszichológia, 45, 142-152

Nosek és mtsai. & Nyílt Tudomány Együttműködés. (2015). A pszichológiai tudomány reprodukálhatóságának megbecsülése. Science, 349. o. DOI: 10.1126 / science.aac4716

Nosek és mtsai. (2016). Válasz a „Pszichológiai tudomány reprodukálhatóságának becslése” című megjegyzésre. Tudomány, 351, 1037. DOI: 10.1126 / science.aad9163