A Tudomány halott? Egyszóval: Nem
De amit Lehrer nem vett észre, az az, hogy a legtöbb kutató már ismeri az általa leírt hibákat, és szorgalmasan törekszik a kérdések hatásának minimalizálására.
A tudományos módszer nem szakadt meg. Amit Lehrer leír, az egyszerűen a munka tudománya - és a munka.
A legjobb választ erre az esszére a ScienceBlogs író, PZ Myers adja, a Science nem halt meg. Ebben a cáfolatban Myers rámutat a tudomány elsődleges problémáira, amikor nem tudja megismételni a korábbi megállapításokat:
- Regresszió az átlaghoz: Az adatpontok számának növekedésével az átlagértékek visszaállnak a valódi középértékre ... és mivel a kezdeti munkát gyakran ígéretes korai eredmények alapján végzik, több adatra számítunk véletlenszerűen. jelentős korai eredmény.
- A fájlfiók hatása: A nem jelentős eredményeket nehéz közzétenni, és végül egy szekrénybe kerülnek. Ennek eredményeként azonban az ellentétes eredmények érdekesebbé és közzétehetőbbé válnak.
- A nyomozó elfogultsága: Nehéz fenntartani a tudományos elfogulatlanságot. Mindannyian szeretnénk, ha hipotéziseink érvényesülnének, ezért hajlamosak vagyunk tudatosan vagy öntudatlanul kiválasztani a nézeteinknek kedvező eredményeket.
- Kereskedelmi elfogultság: A gyógyszergyárak pénzt akarnak keresni. Pénzt kereshetnek a placebóból, ha van rá némi statisztikai támogatás; minden bizonnyal elfogultság van a statisztikai outlierek haszonszerzés céljából történő felhasználása felé.
- Populációs variancia: A populáció jól meghatározott részcsoportjában elért sikerek kissé kúszáshoz vezethetnek: ha a gyógyszer jól definiált tünetekkel segíti ezt a csoportot, akkor talán ezt a marginalis tünetekkel küzdő másik csoportot is ki kell próbálnunk. És nem ... de ezeket a számokat továbbra is felhasználjuk az általános hatékonyság becsléséhez.
- Egyszerű esély: Ezt nehéz megtalálni az emberek között, azt tapasztaltam. De ha valami jelentős p = 0,05 szinten, az még mindig azt jelenti, hogy egy teljesen haszontalan gyógyszerrel végzett 20 kísérletből 1 mégis jelentős hatást mutat.
- Statisztikai horgászat: Utálom ezt, és folyamatosan látom. A tervezett kísérlet nem mutatott ki szignifikáns eredményt, ezért az adatokat átgondolják, és bármilyen jelentős összefüggést megragadnak és közzétesznek, mintha azt szándékozták volna. Lásd az előző magyarázatot. Ha az adatkészlet elég összetett, akkor valahol mindig talál összefüggést, pusztán véletlenül.
Az 1. szám sok olyan problémát magyaráz meg, amelyet ma a tudományban tapasztalunk, különösen a pszichológiai tudományt. Ismeri a legtöbb kísérletet, amelyben olvasott Pszichológiai Tudomány, a Pszichológiai Tudomány Egyesület kiemelt kiadványa? Szarok. N = 20 kísérletről van szó, amelyeket kicsi, homogén mintákon végeztek, főleg kaukázusi főiskolai hallgatóktól a középnyugati egyetemeken. Legtöbbjüket soha nem replikálják, és még mindig kevesebben replikálódnak olyan mintaméreteken, amelyek valószínűleg azt bizonyítanák, hogy az eredeti eredmények nem mások, mint egy statisztikai adat.
A kutatók ezt már tudják, de egészen más szabálykönyv alapján élnek, mint te vagy én. Megélhetésük függ attól, hogy folytatják-e a jó, publikálható kutatásokat. Ha abbahagyják ennek a kutatásnak a végrehajtását (vagy nem tudják közzétenni szakértői folyóiratban), akkor nagyobb a veszélye annak, hogy elveszítik munkájukat. A tudományos életben „publikál vagy elpusztul” néven ismert, és nagyon is valódi motiváció minden kutatás közzétételére, még akkor is, ha tudja, hogy az eredmények valószínűleg nem lesznek megismételhetők. Lásd a fenti 3. számot.
Végül annyit látok a 7. számból az általam áttekintett kutatási tanulmányokban, hogy szinte kínos. A tudományos módszer csak akkor működik jól és megbízhatóan, ha előzetesen megfogalmazza a hipotéziseket, az alanyokat arra bocsátja, hogy összegyűjtse az adatait, majd elemezze ezeket az adatokat a kezdett hipotéziseknek megfelelően. Ha úgy dönt, hogy elkezdi megváltoztatni a hipotézist, hogy megfeleljen az adatoknak, vagy olyan statisztikai teszteket futtat, amelyekre nem számított, akkor megrontja eredményeit. Olyan halászati expedíción indul, amelyet minden kutató elvégzett. De csak azért, mert mindenki megtette, ez azt jelenti, hogy jó vagy etikus magatartás.
A probléma az, hogy a kutatás időigényes és gyakran költséges. Ha csak 100 alanyot futott le egy próba során, és nem talált semmi jelentőséget (a hipotézisek szerint), akkor nem valószínű, hogy közzéteszi ezt a tanulmányt, hanem csak hónapokat (vagy akár éveket) pazarolt a szakmai életéből és X dollárt mindig korlátozott kutatási költségvetése.
Ha nem látja, hogy ez hogyan eredményezheti az optimálisnál alacsonyabb kutatási eredmények közzétételét, akkor kissé vak lehet az alapvető emberi pszichológiára és motivációra. Mivel a kutatók nem szuperemberek - ugyanazokkal a hibákkal, elfogultságokkal és motivációkkal rendelkeznek, mint bárki más. A tudományos módszer - ha szigorúan követik - állítólag ezt magyarázza. A probléma az, hogy senki sem figyeli a kutatókat annak biztosítása érdekében, hogy kövessék, és erre nincs semmi ösztönző.
Ezzel a megfigyeléssel fejezem be, ismét PZ Myers részéről,
Ennyi a felhajtás valóban azt mondja, hogy [-] a hipotézisek néha tévesnek bizonyulnak, és néha, ha a hipotézis alátámasztása gyenge bizonyítékokra vagy egy komplex adatsor erősen levezetett értelmezésére épül, hosszú időbe telhet a helyes válasz. Így? Ez nem a tudomány kudarca, hacsak nem valamilyen módon azonnali kielégülésre vagy minden dédelgetett gondolat megerősítésére számítasz.
Ámen.
Más vélemények a Lehrer-esszéről
A tudomány nem halt meg - PZ Myers
A tudományos hibák dicséretéül - George Musser
Az emberekkel van-e probléma a tudományos módszerrel? - Charlie Petit
Az igazság, amelyben kételkedni fogunk: A „hanyatlás hatása” azt jelenti, hogy minden tudomány „igaz”? - John Horgan
A titokzatos hanyatlás hatása - Jonah Lehrer
