Érzelmi fertőzés a Facebookon? Több, mint a rossz kutatási módszerek

Nemrégiben megjelent egy tanulmány (Kramer et al., 2014), amely mutatott valamit megdöbbentő - az emberek megváltoztatták érzelmeiket és hangulatukat mások pozitív (és negatív) hangulatának jelenléte vagy hiánya alapján, amint azt a Facebook állapotfrissítései kifejezik. A kutatók ezt a hatást „érzelmi fertőzésnek” nevezték, mert állításuk szerint azt mutatták, hogy barátaink szavai a Facebook hírcsatornánkban közvetlenül befolyásolták saját hangulatunkat.

Soha nem számít, hogy a kutatók soha nem mérték senki hangulatát.

És soha ne gondolja, hogy a tanulmánynak végzetes hibája van. Olyat, amelyet más kutatások is figyelmen kívül hagytak - e kutatók összes megállapítását kissé gyanússá téve.

Félretéve az ilyen jellegű tanulmányokban használt nevetséges nyelvet (valóban, az érzelmek „fertőzésként terjednek?”), Ezek a fajta tanulmányok gyakran a nyelvelemzés apró szövegdarabokon. A Twitteren nagyon aprók - kevesebb, mint 140 karakter. A Facebook állapotfrissítései ritkán több, mint néhány mondat. A kutatók valójában nem mérik senki hangulatát.

Tehát hogyan végez ilyen nyelvelemzést, főleg 689 003 állapotfrissítéssel kapcsolatban? Sok kutató ehhez egy automatizált eszközhöz fordul, úgynevezett Linguistic Enquiry and Word Count alkalmazáshoz (LIWC 2007). Ezt a szoftveralkalmazást szerzői a következőképpen írják le:

Az első LIWC alkalmazást a nyelv és a nyilvánosság feltáró tanulmányának részeként fejlesztették ki (Francis, 1993; Pennebaker, 1993). Az alábbiakban leírtak szerint a második verzió, a LIWC2007, az eredeti alkalmazás frissített változata.

Jegyezze fel ezeket a dátumokat. Már jóval a közösségi hálózatok megalapítása előtt létrehozták a LIWC-t, hogy elemezzék a nagy szövegtömegeket - például egy könyvet, cikket, tudományos cikket, egy kísérleti körülmények között írt esszét, blogbejegyzéseket vagy egy terápiás ülés átiratát. Ne feledje, hogy ezekben az egyekben közös - jó hosszúak, legalább 400 szó.

Miért használnának a kutatók olyan eszközt, amelyet nem rövid szövegrészletekhez terveztek, hogy… jól elemezzék a rövid szövegrészleteket? Sajnos azért, mert ez a kevés rendelkezésre álló eszköz egyike, amely meglehetősen gyorsan képes nagy mennyiségű szöveget feldolgozni.

Kit érdekel, hogy a szöveget meddig kell mérni?

Lehet, hogy ott ülve kapkodja a fejét, és azon gondolkodik, miért számít az, hogy mennyi ideig szeretné a szöveget elemezni ezzel az eszközzel. Egy mondat, 140 karakter, 140 oldal ... Miért számítana a hossza?

A hossza azért fontos, mert az eszköz valójában nem túl jó a szöveg elemzésében, ahogyan azt a Twitter és a Facebook kutatói bízták meg. Amikor megkéri, hogy elemezze a szöveg pozitív vagy negatív érzelmét, akkor egyszerűen negatív és pozitív szavakat számít a vizsgált szövegbe. Egy cikk, esszé vagy blogbejegyzés esetében ez rendben van - ez egy elég pontos átfogó összefoglaló elemzést ad a cikkről, mivel a legtöbb cikk több mint 400 vagy 500 szó hosszú.

A tweet vagy az állapotfrissítés esetében azonban ez egy borzalmas elemző eszköz, amelyet használni lehet. Ennek az az oka, hogy nem az volt a célja, hogy megkülönböztesse - és valójában nem lehet megkülönböztetni - tagadó szó egy mondatban.1

Nézzünk két hipotetikus példát arra, hogy ez miért fontos. Íme két példa tweet (vagy állapotfrissítés), amelyek nem ritkák:

"Nem vagyok boldog."

- Nincs nagy napom.

Egy független értékelő vagy bíró negatívnak értékelné ezt a két tweetet - egyértelműen negatív érzelmet fejeznek ki. Ez a negatív skálán +2, a pozitív skálán 0 lenne.

De a LIWC 2007 eszköz nem így látja. Ehelyett ezt a két tweetet úgy értékelné, hogy +2 pozitívra (a „nagyszerű” és „boldog” szavak miatt) és +2-re negatívra (a „nem” szó miatt mindkét szövegben).

Ez óriási különbség, ha érdekel az elfogulatlan és pontos adatgyűjtés és elemzés.

És mivel az emberi kommunikáció nagy része olyan finomságokat tartalmaz, mint ez - anélkül, hogy bele kellene mélyedni a szarkazmusba, a negatív szavakként működő rövid kézi rövidítésekbe, az előző mondatot tagadó kifejezésekbe, hangulatjelekbe stb. - nem is tudja megmondani, mennyire pontos vagy pontatlan e kutatók eredményeként kapott eredmény. Mivel a LIWC 2007 figyelmen kívül hagyja az informális emberi kommunikáció ezen finom realitásait, így tesznek a kutatók is.2

Talán azért, mert a kutatóknak fogalmuk sincs arról, hogy a probléma valójában mennyire rossz. Mert egyszerűen elküldik ezeket a „nagy adatokat” a nyelvelemző motorba, anélkül, hogy megértenék, hogyan hibás az elemző motor. Az összes tweet 10 százaléka tartalmaz tagadó szót? Vagy 50 százalék? A kutatók nem tudták megmondani

Még ha igaz is, a kutatás apró valós hatásokat mutat

Éppen ezért azt kell mondanom, hogy még ha a hatalmas módszertani probléma ellenére is név szerint hiszi ezt a kutatást, akkor is olyan kutatások maradnak, amelyek nevetségesen kicsi összefüggéseket mutatnak, amelyeknek alig vagy egyáltalán nincs jelentőségük a hétköznapi felhasználók számára.

Például Kramer és mtsai. (2014) 0,07% -ot talált - ez nem 7 százalék, ez egy százalék 1/15 része !! - a negatív szavak csökkenése az emberek állapotfrissítéseiben, amikor a Facebook hírcsatornájukban csökkent a negatív bejegyzések száma. Tudja, hány szót kell elolvasnia vagy írnia, mielőtt ennél az effektusnál kevesebbet írna egy negatívabb szóval? Valószínűleg több ezren.

Ez nem annyira „hatás”, mint egy statisztikai blip, amelynek nincs valós értelme. A kutatók maguk is elismerik ezt, megjegyezve, hogy hatásmérete „kicsi (olyan kicsi, mint d = 0,001). ” Folytatják, hogy továbbra is fontos, mert „a kicsi hatásoknak nagy összesített következményei lehetnek”, hivatkozva ugyanezen kutatók egyik, a politikai szavazási motivációról szóló Facebook-tanulmányára és egy pszichológiai folyóirat 22 éves érvére.4

De ellentmondanak maguknak az előző mondatban, és azt sugallják, hogy az érzelmeket „nehéz befolyásolni a napi tapasztalatok körében, amelyek befolyásolják a hangulatot”. Ami azt? A Facebook állapotfrissítései jelentősen befolyásolják az egyén érzelmeit, vagy az érzelmeket nem befolyásolja olyan egyszerűen az, hogy egyszerűen elolvassák mások állapotfrissítéseit ??

Mindezen problémák és korlátozások ellenére egyik sem akadályozza meg a kutatókat abban, hogy a következőket hirdessék: „Ezek az eredmények azt jelzik, hogy a Facebookon mások által kifejezett érzelmek befolyásolják saját érzelmeinket, és kísérleti bizonyítékot jelentenek a társadalmi hálózatokon keresztül történő nagymértékű fertőzésre.” 5 Még egyszer, függetlenül attól, hogy valójában nem egyetlen ember érzelmeit vagy hangulati állapotait mérték, hanem ehelyett hibás értékelési intézkedésre támaszkodtak.

Véleményem szerint a Facebook kutatói egyértelműen azt mutatják, hogy túlságosan hisznek az általuk használt eszközökben anélkül, hogy megértenék és megvitatnák az eszközök jelentős korlátait.6

Referencia

Kramer, ADI, Guillory, JE, Hancock, JT. (2014). Kísérleti bizonyítékok tömeges érzelmi fertőzésről a közösségi hálózatokon keresztül. PNAS. www.pnas.org/cgi/doi/10.1073/pnas.1320040111

Lábjegyzetek:

1. Ez a LIWC fejlesztőkhöz intézett megkeresés szerint, akik azt válaszolták: „A LIWC jelenleg nem vizsgálja, hogy van-e negatív kifejezés egy pozitív vagy negatív érzelem kifejezés szó közelében, és nehéz lenne hatékony algoritmust kidolgozni a ezt mindenképp. ” [↩]
2. Nem találtam említést a LIWC nyelvelemző eszközként való használatának korlátairól olyan célokra, amelyeket soha nem terveztek és nem szántak a jelen tanulmányban, vagy más általam vizsgált tanulmányokban. [↩]
3. Nos, meg tudnák mondani, hogy valóban kísérleti tanulmánysal töltötték-e a módszerük validálását, hogy összehasonlítsák az emberek tényleges hangulatával. De ezek a kutatók ezt nem tették meg. [↩]
4. Komoly problémák vannak a Facebook szavazási tanulmány kapcsán, amelyek közül a legkevesebb a szavazási magatartás változásainak tulajdonítása egy korrelációs változónak, hosszú listával a kutatók által tett feltételezésekről (és amelyekkel egyet kell értenie). [↩]
5. A szerzők nem kaptak visszajelzést a pontosításra és észrevételekre. [↩]
6. Ez nem egy ásás a LIWC 2007-ben, amely kiváló kutatási eszköz lehet - megfelelő célokra és megfelelő kézben használva. [↩]