Mechanikus török a pszichológiai kutatások megmentésére?
Ez valódi probléma, mert amint azt még 2010 augusztusában megjegyeztem, szó szerint több ezer pszichológiai tanulmány létezik, amelyek nem máson alapulnak, mint egy csomó főiskolai hallgatók egyetlen egyetemen az Egyesült Államokban, míg az egyetemre járó fiatal felnőttek valóban segít megérteni az emberi viselkedés egyes aspektusait, nem csak feltételezheti, hogy az ezekben a tanulmányokban megfigyelt viselkedés a 60 éves nőkre és férfiakra is vonatkozik.
Lépjen be az Amazon.com Mechanical Turk szolgáltatásába. Segíthet-e a technológia annak a problémának a megoldásában, hogy elegendő embert találjanak, amelyek jobban képviselik a lakosságot, és ezt költséghatékony módon?
Először is segíthet megérteni, mi is a Mechanical Turk. Ez egy online piactér, amely lehetővé teszi az eladók számára, hogy emberi munkaerőt vásároljanak olcsón, valamilyen online feladat elvégzésére. "A webhely nagy, változatos munkaerővel büszkélkedhet, amely több mint 100 000 felhasználóból áll, több mint 100 országból, akik naponta tízezer feladatot látnak el" - jegyzik meg a kutatók. Ezek a dolgozók darabonként fizetnek egyes feladatokért, néha 1 centig. A feladatok változatosak, és bármit megtehetnek a hibákat kereső weboldal böngészésétől a felmérések kitöltéséig.
Igen, felmérések kitöltése. Sok pszichológiai kutatás azon alapul, hogy az emberek kitöltik a felméréseket. Nem lenne jó, ha rávennénk azokat az embereket - olyanokat, akik nem voltak egyetemisták -, hogy ezt felmérésenként kevesebb mint 10 dollárért tegyék meg ... Mondjuk, 10 cent?
Buhrmester és mtsai. (2011) azt a célt tűzte ki, hogy az ilyen mechanikus török emberek kitöltsék a felméréseket oly módon, hogy azok összhangban álljanak azokkal az emberekkel, akiket esetleg valami hasonló személyes cselekedetre kér.
Először a kutatók 3 006 Mechanical Turk résztvevő demográfiai adatait vizsgálták meg, és összehasonlították őket egy nagy internetes mintával, amelyet nem a Mechanical Turk kapott. Megállapították, hogy a Mechanical Turk (MTurk) résztvevõk különbözõbbek voltak, mint az internetes minta és a szokásos egyetemisták populációs mintája.
Ezután különböző áron (2, 10 és 50 cent) ellenőrizték a különböző időtartamú (5, 10 és 30 percig tartó) felmérések kitöltését. Amit találtak, az nem lehet meglepő annak, aki az MTurk-ot használta:
Ezek az elemzések azt sugallják, hogy a résztvevőket gyorsan és olcsón lehet toborozni. A részvételi arány érzékeny a kompenzációs összegekre és az időbeli kötelezettségvállalásokra, de eredményeink azt mutatják, hogy tisztességes méretű mintákat lehet gyűjteni az MTurk-on keresztül csupán dollárért. Még akkor is, ha csupán 2 centet ajánlunk fel egy 30 perces feladatra, 25 résztvevőt halmoztunk fel (körülbelül 5 órás kiküldetés alatt). Sőt, a kártalanítás csak kissé (pl. 50 centre) emelésével kevesebb, mint 2 óra postázási idő alatt ugyanannyi résztvevőt tudtunk megszerezni.
Mire jó azonban az olcsó munkaerő, ha nem jó minőségű és nem felel meg a pszichometriai követelményeknek, amelyekre a pszichológia kutatóinak szüksége van?
A kutatók megállapították, hogy a legalacsonyabb, 2 centes kompenzációs szint mellett sem úgy tűnik, hogy a fizetési szintek befolyásolják az adatok minőségét. A kutatók filléreket fizethetnek a felmérések befejezéséért, és megbízhatóan visszaküldik a jó minőségű adatokat.
A kutatók kiszámolták az átlagos alfa-megbízhatósági pontszámokat az összes kompenzációs szinten az általuk online szervezett hat személyiségkérdőív alapján. Megállapították, hogy az MTurk alfa pontszámai a hagyományos minta alfáinak kétszázadán belülre esnek. Kipróbálták a teszt-újratesztelés megbízhatósági mutatóit is, és 60% -os újratesztelési arány mellett találták az átlag r = 0,88 értéket. Ezek mind nagyon jó számok, és kedvezően hasonlíthatók össze a hagyományos módszerekkel.
Ennek a kutatási tanulmánynak az eredménye azt sugallja, hogy a Mechanical Turk megbízható alternatíva a főiskolai lakosság felmérési adatok megszerzéséhez - és még jobb alternatíva lehet, mint a hagyományos internetes felmérések. Csak fillérekért az emberek még hosszú kérdőíveket is kitöltenek annak érdekében, hogy másoknak segítséget nyújtsanak projektjeikben és kutatásaikban. Míg további kutatásokra van szükség ezen megállapítások megerősítéséhez, úgy tűnik, hogy az MTurk piac, amelyre a pszichológia kutatóinak több figyelmet kell fordítaniuk a következő tanulmányuk elkészítése során.
Referencia
Buhrmester, M., Kwang, T., és Gosling, S.D. (2011). Az Amazon mechanikus törökje: olcsó, mégis jó minőségű adatok új forrása? Pszichológiai tudomány perspektívái, 6. (1), 3-5.
Ez a cikk tartalmaz linkeket az Amazon.com-ra, ahol egy kis jutalékot fizetnek a Psych Central-nak, ha könyvet vásárolnak. Köszönjük a Psych Central támogatását!
