A 4. kutatási módszertan megértése: Peer Review folyamat

A szakértői értékelési folyamat során egy cikket egy folyóirat elé terjesztenek, amelyet több lektor is értékel. (A bírálók gyakran olyan személyek, akiknek lenyűgöző munkakörülményei vannak az érdeklődésre számot tartó területen, vagyis abban a konkrét területen, amelyre a cikk kitér.) A kritika után a bírálók elküldik gondolataikat a szerkesztőnek. Ezután a lektorok kommentárjai alapján a szerkesztő eldönti, hogy kiadja-e a cikket, javaslatot tesz-e további változtatásokra, amelyek publikációhoz vezethetnek, vagy elutasítja a cikket.

A szakértői értékelés elsődleges célja annak biztosítása, hogy a publikált cikkek érvényesek és elfogulatlanok legyenek.

Egyetlen vak és kettős vak vélemények

Az egyszeres vak kritikákban a szerzők nem tudják, kik a bírálók. Kettős vak értékelések során a szerzők nem tudják, kik a lektorok, és a lektorok sem tudják a szerzők kilétét. Sok területen az egyszeres vak felülvizsgálat a szokásos, máshol a kettős vak felülvizsgálat előnyben részesített.

„A szakértői felülvizsgálat az egyik módja (a replikáció egy másik), a tudomány intézményesíti az objektivitás és a nyilvános kritika attitűdjét. Az ötletek és a kísérletezés egy csiszolási folyamaton megy keresztül, amelyben más kritikus elmék elé kerülnek értékelésre. Azok a gondolatok, amelyek túlélik ezt a kritikus folyamatot, elkezdtek megfelelni a nyilvános ellenőrizhetőség kritériumának ”(Stanovich, 2007, 12. o.).

Peer Review kritikák

A szakértői értékelési folyamat nem tévedhetetlen. A kritikák a következők:

• A bírálók nehezen tudnak tisztán objektívek maradni saját képzettségük, tapasztalataik és elõzetes elképzeléseik miatt
• A folyamat lassú
• A kritikusok rámutatnak, hogy számos példa van a lektorált folyóiratokban publikált hibás kutatásokra, amelyek azt mutatják, hogy a szakértői értékelési folyamat gyakran sikertelen a rossz tudomány kiszűrésében.
• A bírálók általában nagyon kritikusak a saját nézeteikkel ellentmondó cikkekkel szemben, míg kevésbé kritikusak a személyes nézeteiket alátámasztó cikkek iránt (ez a példa a „myside torzításra”).
• Jól ismert, bevált tudósokat vesznek fel recenzensként

Következtetés

A szakértői értékelési folyamat nem tökéletes, de ez a legjobb óvintézkedés a szeméttudomány ellen. A tudományos adatok értékének értékelésekor a szakértői folyóiratban való közzététel ellenőrzése mellett fontos figyelembe venni: finanszírozási forrásokat, a vizsgálat megismétlődését, a tanulmány tervezését, a minta nagyságát és az ellentétes érdekeket (tervezés a részleteket és kritikákat a későbbi cikkekben tárgyaljuk).

A tudományos adatok hivatkozásakor gyakran előfordul, hogy az egyének népszerű tudományos folyóiratokra és könyvekre hivatkoznak. Legyen különösen óvatos, ha tudományos forrásait ezekből a forrásokból szerzi be.

Természetesen van néhány jó tudományos információ, amely népszerű tudományos publikációkban jelent meg. De ha a szerzők nem tudnak hivatkozni tudományos állításaikra, és / vagy állításaik ellentmondanak a szakértői tudományos folyóiratokban találhatóaknak, ne tulajdonítsanak nagy súlyt annak, amit mondanak.

Hivatkozások

Stanovich, K. (2007). Hogyan kell egyenesen gondolkodni a pszichológiáról, 8. kiadás. Boston, MA: Pearson.