Milyen kutatásban tudsz hinni?
Aki olvas A pszichológia világa rendszeresen már sok ipar által finanszírozott tanulmányban tud a problémákról. De ez a cikk azt sugallja, hogy a szakértői véleményezéssel kapcsolatos problémák sokkal mélyebbek, mint az egyszerű profit-torzítás. A tudósok sok-sok szempontból elfogultak (nemcsak pénzbeli haszonszerzés céljából). És ez az elfogultság óhatatlanul megmutatkozik az általuk végzett munkában - a tudományos kutatásban.
Ez nem egy új dob, amit meg kell vernem - Beszéltem a kutatók elfogultságáról 2007-ben és arról, hogy a kutatók hogyan terveznek tanulmányokat konkrét eredmények megtalálására (ebben a példában olyan kutatók vettek részt, akik öngyilkossági módszerekkel foglalkozó weboldalakat találtak, amikor „öngyilkossági módszereket” kerestek - várjon rá) ”(A Google-ben). Megjegyeztük, hogy gyakorlatilag minden tanulmány olyan folyóiratokban, mint pl Pszichológiai tudomány szinte kizárólag egyetlen egyetemen összegyűjtött főiskolai hallgatókra támaszkodhatnak - ez a jelentős korlátozás magukban a tanulmányokban ritkán szerepel.
Azonban itt van az igazi aggasztó szempont - az ilyen elfogult tanulmányok mindenféle folyóiratban megjelennek. A JAMA, a NEJM és a BMJ nem mentes az orvostudományi és pszichológiai tanulmányok publikálásától. A folyóirat „tiszteletben tartására” úgy gondolunk, mint a kapuőr szerepének valamiféle jelére - arra, hogy a legrangosabb folyóiratokban megjelenő tanulmányoknak alapvetően megalapozottaknak kell lenniük.
De ez egyszerűen nem igaz. A császár nem csak meztelen - alattvalói elrejtették ruháit, hogy tovább tudják tartani saját karrierjüket.
Az elfogult tanulmányok publikálása először 2004-ben került a figyelem középpontjába, amikor a GlaxoSmithKline-ot állami főügyészek beperelték a Paxil-ra vonatkozó kutatási adatok elrejtése miatt. Azóta több tucat tanulmány látott napvilágot, és azóta más tanulmányok is megjelentek, amelyek azt mutatják, hogy a gyógyszergyárak úgy tűnik, hogy rendszeresen elrejtették a releváns kutatási adatokat. Ezek az adatok általában azt mutatják, hogy a vizsgált gyógyszer a cukortablettához képest nem volt hatékony bármilyen rendellenesség kezelésében. (Az olyan blogok, mint a Klinikai Pszichológia és Pszichiátria: Közelebb nézés és a Carlat Pszichiátria Blog további részleteket tartalmaznak ezekről a vizsgálatokról.)
De mi a helyzet az egyéb elfogultságokkal? Csak olyan tanulmányok érdekelnek bennünket, ahol az elfogultság annyira nyilvánvaló, vagy nem kellene aggódnunk bármilyen elfogultság miatt, amely befolyásolhatja az eredmények megbízhatóságát?
A válasz természetesen az elfogultság minden formája érdekel minket. Bármi, ami befolyásolhatja a vizsgálat végeredményeit, azt jelenti, hogy a tanulmány következtetései kérdésesek lehetnek.
John Ioannidis, az Ioanninai Egyetem professzora az orvosi kutatásban érdeklődött ez iránt a kérdés iránt. Összeállított tehát egy kutatókból és statisztikusokból álló szakértői csoportot, hogy mélyebbre ásson és lássa, mennyire rossz a probléma. Amit talált, nem lepte meg a kutatókat, de a laikusok többségének meglepő lesz -
Zavartan kezdte keresni a tanulmányok tévedésének konkrét módjait. Nem sokkal később felfedezte, hogy az elkövetett hibák köre megdöbbentő: milyen kérdéseket vetnek fel a kutatók, miként állítják fel a vizsgálatokat, mely betegeket vették fel a vizsgálatokhoz, milyen méréseket végeztek, és hogyan elemezték az adatokat , hogy miként mutatták be eredményeiket, hogy az egyes tanulmányok hogyan jelentek meg az orvosi folyóiratokban. […]
"A tanulmányok elfogultak voltak" - mondja. „Néha nyíltan elfogultak voltak. Néha nehéz volt meglátni az elfogultságot, de ott volt. A kutatók elindultak tanulmányaikba, és bizonyos eredményeket akartak - és íme, meg is kapták őket. Úgy gondoljuk, hogy a tudományos folyamat objektív, szigorú, sőt kíméletlen az elválasztás során, ami igaz, és csupán azt akarjuk, hogy igazak legyünk, de valójában könnyű manipulálni az eredményeket, akár akaratlanul, akár öntudatlanul.
"A folyamat minden lépésében van hely az eredmények elferdítésére, az erősebb igények előterjesztésének vagy a megkötni való kiválasztásának módja" - mondja Ioannidis. "Van egy intellektuális összeférhetetlenség, amely arra kényszeríti a kutatókat, hogy találják meg azt, ami a legvalószínűbb a finanszírozásukhoz."
Ioannadis egy komplex matematikai modellt állított össze, amely az összes változó alapján megjósolta volna, hogy mekkora kutatás lehet hibás. Modellje azt jósolta, hogy „a nem randomizált vizsgálatok (messze a legelterjedtebb típus [- főleg a pszichológiai kutatások során]) 80 százaléka [] tévesnek bizonyul, csakúgy, mint az állítólag arany-standard randomizált vizsgálatok 25 százaléka, és a platina-standard nagy randomizált vizsgálatok 10 százaléka. "
Aztán 49 modellen tesztelte ezt a modellt, amelyek az elmúlt 13 évben az orvosi kutatás legelismertebb kutatási eredményeit tárták fel. Ezek a legtöbbet idézett orvosi folyóiratokban voltak, és maguk is a legtöbbet idézett cikkek voltak.
A 49 cikkből 45 azt állította, hogy hatékony beavatkozásokat fedezett fel. Ezen állítások közül 34-et újból teszteltek, és ezek közül 14-nek, vagyis 41 százaléknak meggyőzően bebizonyosodott, hogy téves vagy jelentősen eltúlzott. Ha az orvostudomány legelismertebb kutatásának egyharmada és fele között megbízhatatlannak bizonyult, a probléma terjedelme és hatása tagadhatatlan volt. […]
A 45 szuperhivatkozott tanulmány közül, amelyekre Ioannidis összpontosított, 11-et soha nem teszteltek újra. Talán ennél is rosszabb, hogy Ioannidis úgy találta, hogy egy kutatási hiba kiküszöbölésekor is évekig vagy akár évtizedekig fennáll. Három kiemelkedő egészségügyi tanulmányt vizsgált meg az 1980-as és 1990-es évekből, amelyeket később alaposan megcáfoltak, és felfedezte, hogy a kutatók az eredeti eredményeket továbbra is helyesebben, mint hibásan emlegették - egy esetben legalább 12 évig az eredmények hiteltelenítése után .
Ennyit a tudósokról, akik újra tesztelik mások közzétett eredményeit - ez az egyetlen végleges módszer az elfogultság leküzdésére. Hogyan lehetne az elmúlt 13 év leggyakrabban idézett orvosi tanulmányainak közel 25 százalékát soha nem tesztelni? Meghökkentő.
A legtöbbünk számára az az előrelépés, hogy szinte senki sem tudja megmondani, hogy egy adott kutatás valóban pozitív, újszerű és erőteljes eredményeket mutat-e. Az új kutatások kontextusba helyezése hosszú és nehéz feladat anélkül, hogy a tanulmány - és a tanulmány összes előfutára - részletes elemzésébe belemennénk. Továbbá Ioannidis modellje azt sugallja, hogy a pszichológiai kutatások túlnyomó része - talán annak akár 80 százaléka - valószínűleg téves. Itt tényleg nincs ezüst bélés.
Kivéve talán azt, hogy olyan kutatócsoportok dolgoznak, mint Ioannidis, és azon dolgoznak, hogy megmutassák, hogy az elfogultság miként is beszivároghat akár az „arany standard” kutatásba is.
A változás itt nagyban függ attól, hogy az egyes kutatók megismerik-e ezeket az elfogultságokat, és sokkal többet dolgoznak annak biztosításában, hogy tanulmányaik nélkülözzék őket. De ha egy kapuőr nem ellenőrzi a tanulmány tervét vagy statisztikai módszereit, kevés ösztönzés adódik a változtatásra. A kutatók pénzügyi és szakmai ösztönzései a tudományos és szakmai helyzetük megőrzése érdekében a hagyományosan meglévő publikációk folytatásához továbbra is megoldhatatlanul erősek.
A teljes cikk megéri az idejét: Hazugságok, Átkozott hazugságok és Orvostudomány
Bár nem ideális, itt van néhány évvel ezelőtti primerünk arról, hogyan lehet felderíteni a megkérdőjelezhető kutatásokat - jó-e a kutatás?
.jpg)
