A párt-iskolai rangsor elfogult, önmegvalósító jóslat?

A Princetoni Szemle éves „Best of…” főiskolai listákat tesz közzé az egyes főiskolák hallgatóinak most végzett online felmérése alapján. A felmérés folyamatát a következőképpen írják le:

A Princeton Review felmérés 80 kérdést tesz fel a hallgatóknak iskolájuk oktatóiról / adminisztrációjáról, a campus életéről, a hallgatói létszámról és magukról. A kiadvány ranglistáján szereplő Tallies a könyvben szereplő 366 iskolában (2006-ban és / vagy az azt megelőző két tanévben) 120 000 hallgató (campusonként körülbelül 325) felmérésén alapszik.

Mindez jól és jól hangzik, amíg el nem olvassa az apró betűs részt:

Felmérésünk inkább kvalitatív és anekdotikus, mint mennyiségi. Annak elkerülése érdekében, hogy az adott főiskola számára nincs jelentőségű írás, minden iskolában elküldjük adminisztratív kapcsolattartóinknak a közzétenni szándékozott profil másolatát, bőséges lehetőséget adva arra, hogy javításokkal, megjegyzésekkel és / vagy egyenes válaszokkal válaszoljunk. kifogások. Minden esetben, amikor módosítási kérelmet kapunk, gondosan megtesszük az iskola javaslatait az összegyűjtött diákfelmérési adatokkal szemben, és indokolt esetben megfelelő változtatásokat hajtunk végre.

Az a legmeggyőzőbb számunkra, hogy mennyire reprezentatívak a felmérésünk eredményei: Arra kérjük a hallgatókat, akik a felmérést elvégzik - miután befejezték -, hogy nézzék át az iskolánkról az előző évben közzétett információkat, és értékeljék a pontosságukat, érvényesség. Évről évre magas pontszámokat értünk el: Idén a hallgatók 81 százaléka mondta, hogy igazunk van.

Tehát alapvetően azt vallják, hogy felmérési adataik szubjektív, narratív képet adnak a főiskolákról - nem pedig olyan dolgok, amelyekből általános általánosításokat vonhat le. És mégis, pontosan ez az Princeton Review az adatokkal jár - széles körű általánosításokat vonhat le felméréseiből, és kvantitatív módon rangsorolja a főiskolákat. Maguk a főiskolák ismeretlen további hatást gyakorolhatnak arra, hogy iskolájuk szerepel-e valamelyik listán.Ha úgy tűnik, hogy a rangsorolási folyamat kevésbé átlátszó és rejtélybe burkolt, akkor ez szándékosan történik.

Hogyan alakíthatják a kutatók az anekdotikus adatokat kvantitatív adatokká? Nos, tudományosan nem lehet (pl. Erre nincs kutatáson alapuló eljárás, mert szó szerint egy alma vagy narancs összehasonlítás). Amikor egy ilyen szervezet csinál valami ilyen jellegű dolgot, akkor azzal érvelhet, hogy minden ilyen rangsor csak a listát összeállító emberek véleménye, más emberek véleménye alapján, akik ténylegesen jártak az iskolába.

Mindez rendben lenne, csakhogy Felülvizsgálat ezeket a dolgokat listákba helyezi, ami azt sugallja, hogy általánosítható jelentésük van, ha nincs. A „Top 20 pártiskola” felsorolása nem más, mint egyesek véleménye, amely az „alkohol és drogok fogyasztásával, a napi tanulmányi órákkal és a görög rendszer népszerűségével kapcsolatos felmérési kérdések kombinációján” alapul. Ugyanolyan könnyen választhattak volna egy másik válaszkészletet, amely másképp torzította volna az iskolák rangsorát.

A nagyobb, nagyobb hallgatói létszámú iskolák valószínűleg nem térnek el jelentősen a görög rendszer nagyságától (nagy), valamint a sokféle társadalmi és egyéb, nem akadémiai lehetőségtől, amelyet diákjaiknak nyújtanak (ennek eredményeként minden nap kevesebb órát tanulnak) . Vajon ettől nagyobb valószínűséggel lesz egy ilyen iskola „parti iskola”, ha azt együtt vizsgáljuk, hogy a hallgatók mit mondanak, mennyit isznak? Természetesen nem. Ez csak azt jelentheti, hogy az iskola remek hely mind a tanuláshoz, mind a társasági élethez.

Az APS-en az elmúlt hétvégén bemutatott poszter „Önmegvalósító próféciák és Princeton Review: leírások vagy előírások az egyetemen való italozáshoz?” Címmel tedd a fejembe azt a javaslatot, amely olyan intézkedéseket tesz, mint a Princeton Review van némi megkérdőjelezhető érvényessége. A kutatók egy évtizedes tényleges alkoholfogyasztási adatokat vizsgáltak egy nyugat-New York-i egyetemen, és összehasonlították azokat a Princeton Review. Megtalálták a ranglistát a Princeton Review nincs szisztematikus összefüggése az általuk vizsgált alkoholfogyasztási adatokkal. Azt találták, hogy az alkoholfogyasztási adatok korreláltak a közzétételük után a közzétett rangsorokkal - ami valamiféle önmegvalósító jóslatra utal.

A kutatók megjegyezték, hogy mivel tanulmányukat csak egy egyetemen végezték, a kutatást más főiskolákon és egyetemeken meg kell ismételni, mielőtt általánosítani lehetne az eredményekből. De a megállapításokat mégis érdekes megjegyezni.

Referencia:

Clark, C.D. et. al. (2008). Önbeteljesítő jóslat és Princeton Review: leírások vagy előírások az egyetemen való italozáshoz? Poszter a Pszichológiai Tudomány Egyesület 20. éves kongresszusán, Chicago IL, május 24-én.