A tudomány előtérbe helyezése: TweetPsych

A Dan Zarrella nevű webfejlesztő által a héten elindított új szolgáltatás a TweetPsych nevet viseli. Zarrella a HubSpot online marketingcég marketingmenedzsere is. Zarrella „tudósnak” nevezi magát, mert azt hiszem, szexibbnek hangzik, mint a „webfejlesztő” vagy a „marketing menedzser”, de nem sorol fel tudományos bizonyítványokat. (Nem említeném a tudós vagy a megbízólevél részét, csakhogy Zarrella konkrét tudományos állításokat fogalmaz meg új szolgálatával kapcsolatban.)

Az érdekes új szolgáltatást „pszichológiai profilalkotásként” kínálják a Twitteren közzétett információk alapján. De valójában csak egy tartalomelemző szolgáltatás, amely két pszichológiai szótárat és az elmúlt 1000 tweetjét használja. Zarrella állítása szerint ez az elemzés „felépíti az ember pszichológiai profilját”. A valódi pszichológiai profilalkotás tudomány, és általában sokkal több mindenről van szó, mint az ember életének csak egy részével (például azzal, amit egy mikroblog-szolgáltatásban írnak). Ezután a TweetPsych azt az ellentmondásos állítást állítja, hogy „csak szórakoztatási célokra szolgál”. Ami azt?

Problémák vannak az egyik szótárral, amelyet Zarrella az elemzés során is használ. Egy szótár - a LIWC - érvényes pszichológiai nyelvészeti adatbázis. De a másik, az English Regressive Imagery Dictionary (RID), sokkal kevésbé. A RID körülbelül 3200 szóból és gyökérből áll, amelyek a gondolkodás és a hangulat 43 kategóriájához vannak hozzárendelve. A RID elsődleges problémája az, hogy alapvetően nem rendelkezik kutatási támogatással (annak ellenére, hogy Zarrella egy weboldalt idézett, úgy tűnik, mintha lenne). Egyetlen szakember dolgozta ki, majd egy csomó könyvet írt róla és más pszichoanalitikus folyamatokról. A könyv nem azonos a szakértők által áttekintett kutatási folyóirat cikkével (ahogy a kutatók tudják), és a RID-nek teljesen hiányzik az empirikus háttere. Ez azt sugallja, hogy az elemzés fele érvénytelen, még mielőtt elkezdenénk.

A második szótár, a nyelvi vizsgálat és a szószám (LIWC) elsősorban az írott szóra - az emberek írásai - vagy a kimondott szóra épül, mint például egy terápiás foglalkozás vagy két ember közötti beszélgetés. Nem a mesterségesen rövid, 140 karakteres bejegyzések elemzésére fejlesztették ki, például a Twitteren. Az emberek rövidítik a szavakat tweeteléskor, a karakterkorlát miatt, és nem világos, hogy az egyszerű szóalkotás pontosan elemezni fogja az összes, a menet közben nem szabványos rövidítéssel írt szót. Mi van az újbóli tweetekkel is? Az a személy, aki valamit retweetel, nem feltétlenül „beszél”, ehelyett szócsöveként szolgál valaki más szavainak. Differenciál a szolgáltatás? Anélkül, hogy tudná a probléma mértékét, fogalma sem lenne arról, hogy elemzése valamilyen módon mesterségesen elfogult-e (hacsak nem először külön tanulmányozta az ilyen jellegű kérdéseket). Ezek a kérdések megoldhatók, de ebben a szolgáltatásban nem foglalkoztak velük.

Zarrella azon képessége, hogy gyorsan elemezzen 1000 tweetet, és néhány másodperc alatt összehasonlítsa az abban szereplő összes szöveget ezzel a két szótárral, a nyelvi programozás csodálatra méltó teljesítménye. Az akkori kihívás a következő: "Hogyan tudom az elemzés eredményeit átgondoltan, intuitívan és cselekvőképesen bemutatni?" Ez az a rész, ahol a TweetPsych egyszerűen nem képes teljesíteni.

Mivel Zarrellának látszólag kevés pszichológiai háttere van, a pszichológiai eredmények eléggé nem kielégítőek. Megkapja a „személyiségének? A tweetelésének?” Listáját, amelyek olyan dolgokat tartalmaznak, mint a „Foglalkozás és Munka”. Mellette található a hasznos leírás: „Sokat beszélsz a munkákról és a munkádról”, valamint egy pontszám.

Gee, köszönöm a nagyszerű betekintést.

Fogalmad sincs, mit jelent a pontszám, mert nincs összefüggés. A 47,87 a munka jó vagy rossz? Mi az átlag? További jellemzők: „Jelen idő”, „Felfelé irányuló mozgás”, „Pozitív érzelmek”, „Negatív érzelmek” és további három tucat kategória.

A LIWC-n alapuló elemzésnek ez a része is csak olyan jó, mint a LIWC alapszótára. Míg az olyan kategóriák, mint a munka, a teljesítmény és a szabadidő, mind olyan „aktuális aggodalmak”, amelyeket a LIWC azonosítani tud, a „kapcsolati aggodalmakhoz” hasonló kategóriája nincs. De ezt nem tudná, hacsak nem ismeri a LIWC-t. Lehet, hogy megemlítené azokat az embereknek, akik elvégzik az elemzést. A rendszeresen tweetelt más népszerű aktuális tartalom - például a politika, a technológia és a hírességek - szintén nem része a LIWC-nek. Tehát ismételten soha nem fognak megjelenni az elemzésben, még akkor sem, ha csak erről beszélsz. Tehát az LIWC - és kiterjesztve a TweetPsych - által rendelkezésre bocsátott információk korlátozottak. (A testreszabott szótár használata megoldja ezeket a problémákat, de ez nem a TweetPsych által kínált szótár.)

A RID „ősi, fogalmi és érzelmi tartalma” egyáltalán nem tartalmaz leírást, és megint semmi olyasmi, ami a pontszámokat bármilyen kontextusba vagy megértésbe helyezné. De mivel kezdetben nem tudományos szótárról van szó, úgyis nagyjából figyelmen kívül hagyhatja a pontszámokat. Véletlenszerűen lehetett őket fejleszteni, és ugyanolyan hasznos információkat szolgáltattak.

A jelenlegi elemzés utolsó része a „Mások, mint te”, a szociális hálózati szolgáltatások általános eleme. Érdekes módon ez az összetevő hiányzott az eszköz első verziójából. Kizárólag azon alapján, amit tweetelsz, azt állítja, hogy „Néhány ember úgy gondolkodik, mint te”, majd felsorolja azokat a további embereket, akik ellátogattak a TweetPsych-be és beírták felhasználónevüket elemzés céljából.

Természetesen az nem olyan emberek, akik úgy gondolkodnak, mint te - olyan emberek tweetelnek, mint te. Ez fontos megkülönböztetés. Az a szolgáltatás, amely naponta elemzi annak egy apró részét, amit ír, és egy olyan elemzés alapján, amely hibás lehet a felhasználók széles körű rövidítéseinek használatával, biztosan nem állíthatja, hogy elemezze, amit Ön gondol.

Mennyire megbízható a TweetPsych? Nos, ma, amikor ezt a cikket írtam, észrevettem, hogy Dan Zarrella összes saját pontszáma megváltozott egyetlen tweet miatt (ma csak egyszer tweetelt). „Foglalkozás és munka” pontszáma 20% -kal, „jelen idő” pontszáma 16% -kal emelkedett. Absztrakt gondolati pontszáma 16% -kal csökkent. Hogyan történhetett meg mindez egyetlen tweetelésből? Egy tweet - a többi 999 tweetjéhez képest - nem képes annyira befolyásolni az ember pontszámát. Kivéve, ha valami más történik.(Hasonlítsa össze az alábbi, délután 2:55 órakor készült, a fenti képet, amely ma 9:00 órakor készült.)

Saját eredményeim Zarrella elmúlt 1000 tweetjének elemzésében a LIWC2007 programban valami egészen mást mutatnak. Nem ismerem Zarrella módszertanát (mivel nem osztotta meg), de átvettem az elmúlt 1000 tweet szövegét, és kétféle formában dolgoztam fel őket a LIWC-n keresztül - szárral és "ahogy van". Egyik sem készített olyan eredményt, ami közel lenne ahhoz, ami a TweetPsych-en jelenik meg. Ennek oka lehet a szótár régebbi verziójának használata, vagy valamilyen átalakítási változó, amelyet a TweetPsych-hez ad hozzá, és amelyet nem közölt. A LIWC2007 elemzés eredményeit itt tekintheti meg. (Sárga dolgokkal emeltem ki a TweetPsych által kiemelteket, zölden pedig a TweetPsych által már nem kiemelt területeken; vegye figyelembe a pontozás jelentős különbségét.) Bár elgondolkodtat, hogy mi folyik a szolgáltatással. Ha pszichometriai megbízhatósága és érvényessége megkérdőjelezhető, mennyire hasznos?

A TweetPsych rengeteg pozitív sajtót kap, csak egy csepp szkepticizmust dobtak be. Josh Lowensohn, a CNet munkatársa írt a szolgáltatásról, és csak mellébeszélve jegyezte meg: „Ez kevésbé teszi a pszichológiát és inkább a személyes lexikonját, de az eredmények még mindig meglehetősen nagyok. szórakozás. ” Ja, szórakozás! Ben Patterson átment a Yahoo! Tech azt mondta: „Sajnos a TweetPsych által kiadott pszichológiai profilok nem azok a koherens, elbeszélő változatosságok, amelyeket a rezidens pszichiátertől hallhat a„ Jog és rend: bűnügyi szándék ”témában.” És ennek ellenére nem sokkal hasznosabb a koherens elbeszélés. mint néhány nem leírt kategória? Az újságírók egyike, és a Mashable-ről szóló eredeti cikk sem (ahol meglepetés !, Zarrella közreműködő) nem veszi tudomásul a pszichológiai háttér hiányát, amelyet Zarrella az asztalra hoz. Egyik sem kötötte össze a pontokat, hogy miért nem elég kielégítőek az eredmények értelmezésükben. Nyilvánvalóan a technikai újságírók remekül tudják terjeszteni saját pozitív sajtóközleményeiket, de nem annyira, hogy tényleges újságírók lennének, akik beleássák magukat egy ilyen szolgáltatás állítólagos tudományába.

Természetesen maga Zarrella is elismeri, hogy nem sokat gondolkodott a szolgálatban, mint mondta a NY Post"" Az emberek csak imádják összehasonlítani magukat más emberekkel, és megpróbálnak "belemenni" mások fejébe "- mondja Zarrella. "Olyan, mintha légy lennék a falon egy terápiás ülésen." "Terápiás foglalkozás? Tényleg olyan éleslátó, ha valaki felfelé irányuló mozgásról beszél? A szolgáltatás online elérésének rohanásában Zarrella nyilvánvalóan soha nem tette fel a kérdést: „Valójában hasznos-e ez az információ?” A szolgáltatás, amilyen ma létezik, egy befejezetlen gondolat, amelyet kevesen fognak meglátogatni.

A TweetPsych korlátai ellenére megnyitotta az ajtót a jövőbeni szolgáltatások előtt, amelyek valóban használható, hasznos és cselekvőképes információkat nyújtanak, amelyek valószínűleg nagyobb érvényességgel bírnak. Képzelje el, hogy nemcsak egy felhasználó tweetjeit veszi át, hanem a Facebook-profiljában, blogjában stb. Található információkat is, és mindezt egy hatalmas elemző motorba helyezi ... Ez a motor akkor képes lehet arra, hogy valódi pszichológiai betekintést nyújtson az egyén alapján arra, amit online mondanak.

Addig olyan elsőéves erőfeszítéseink vannak, mint a TweetPsych, amelyet valóban „TweetFun!” -Nak kellene hívni. Mert bár valóban szórakoztató vele játszani, senkihez kevés pszichológiai betekintést nyújt - a leg sekélyebb fajták kivételével.

(Tyler Hayes által a TweetPsych további aggályait itt olvashatja.)