Rossz tudomány: MyType iPad kutatás

Utálok sajtót adni egy olyan "kutatócégnek", amely a saját "kutatási" jelentésükben nem ismeri az első dolgot a statisztikákról vagy az alapvető módszertanról. Gondolom, ez történik, ha összegyűjt egy csomó embert, akik többnyire technikusok, nem statisztikusok vagy társadalomtudósok.

Az elmúlt héten a MyType, egy Facebook személyiségalkalmazás, amely felveszi adatait, majd összesített jelentéseket ad el a kvízükre adott válaszai alapján, közzétett egy jelentést az iPadről. Azt javasolták, hogy az iPad-tulajdonosok és azok, akik ilyet akarnak vásárolni, „önző elitek”, míg azokat, akik iPad-kritikusok voltak, „független geek” -ként jellemezték.

Már elmondhatja, hogy ez nem éppen tudományos elemzés lesz, igaz?

Első lépés a MyType jelentése az eredményekről. A tényleges jelentés nem tartalmazza a tényleges statisztikai teszteket, a statisztikai szignifikanciát (p értékeket) és az egyes vizsgált csoportok alanyainak számát. Tudja, hogy az alap típusú adatok, amelyeket más kutatók keresnek, hogy értékeljék a bemutatott eredményeket. Ezen alapvető információk nélkül ez a fajta „kutatás” nem jobb, mint az egyetemi tanulmány a Pszichológia 101 osztályuk számára.

John Hall néven egy személy felhívta őket a megjegyzések részben, ekkor kezdtek átfogóan nyilatkozni a p értékekről (de megint nincsenek konkrétumok, az egyes elemzéseket lebontják, amire a piaci vagy tudományos elvárásokra számíthat kutatás). Dr. F megpróbálta oktatni a MyType embereit az alapvető statisztikai elméletről, mivel nyilvánvalóan nem sokat tudnak arról, hogyan lehet egy jó kutatást megtervezni.

A megjegyzések részben az is egyértelmű, hogy valaki szerkeszti a megjegyzéseket, hogy eltávolítsa azokat a dolgokat, amelyeket később megbántak. John Hall idézi látszólag Tim Koelkebecket, aki azt állítja, hogy mivel informatikai diplomával rendelkezik (nyilván alapképzéssel rendelkezik), ez valahogy minősíti őt a kutatás tervezésében és módszertanában, valamint a statisztikában. Páratlan.

De a legnagyobb ajándék, hogy ez nem egy komoly kutatási tanulmány, azok a jelzők, amelyeket a két embercsoport leírására választottak. Minden csoport leírására önkényes személyiségjegyeket vettek fel. Ugyanolyan könnyen elmondhatták volna, hogy az iPad-en kívüli tulajdonosok idegbetegek, bizonytalanok, büszkék és gondatlanok. Ez vajon a nem iPad tulajdonosok jogos jellemzése? Természetesen nem, csak ezt mutatja apró, elfogult adatkészletük. Tekintettel arra, hogy ez még a szagteszten sem megy át, a legtöbb kutató szünetet tartott, hogy vajon rossz úton haladnak-e.

Saját adataik alapján jellemezhették, hogy az iPad kritikusai intoleránsak, nem szeretik a szeretetet és a barátságot, agresszív és cinikus tinédzserek. Hű, nincs meglepetés - ki kellene ugratnia, hogy a nem vagy az életkor torzítja-e ezeket az eredményeket (és alternatív magyarázatot kell kínálnia a megjegyzett tulajdonságokra). A „kutatók” az iPad tulajdonosokat családorientált, okos, nagy teljesítményű felnőtteknek is nevezhetnék, akik ötletesek és kifinomultak.

De nem tették. Megpróbáltak összegyűjteni egy csomó eltérő vonást fülbemászó marketingmondatokká, hogy híreket készítsenek - olyan frázisok, amelyek nem voltak különösebben pontosak, és nem is tudományosan különösen érvényesek. Ez nem akadályozta meg több tucat olyan legitim, mainstream hírtelevíziót, mint a CNET, a ZDNet, sőt a Wired sem, hogy anélkül számoljon be az eredményekről, hogy szemöldökét vonná a tudományos szigor vagy módszer hiánya miatt.