Az agyképek megmutatják, hogyan működnek a tanulási stratégiák
A frissítésre azért van szükség, hogy pontosan megjósolhassuk ezeket a jutalmakat a változó környezetben.
Noha az agy pontosan nem rendezi ezt a folyamatot, továbbra sem tisztázott, az új tanulmány azt sugallja, hogy két különálló tanulási stratégia kombinációja irányítja viselkedésünket.
A munkáról szóló cikk megjelenik a folyóiratban Idegsejt.
Az egyik elfogadott tanulási stratégia, az úgynevezett modell nélküli tanulás, a próba-hiba összehasonlításokra támaszkodik az adott helyzetben elvárt jutalom és a ténylegesen kapott jutalom között.
Ennek az összehasonlításnak az eredménye egy „jutalom előrejelzési hiba” generálása, amely megfelel ennek a különbségnek.
Például egy jutalom-előrejelzési hiba megfelelhet a pénzügyi befektetés előrejelzett monetáris megtérülése és a valós jövedelmünk közötti különbségnek.
A második, modellalapú tanulásnak nevezett mechanizmusban az agy a környezet kognitív térképét generálja, amely leírja a különböző helyzetek közötti kapcsolatot.
"A modellalapú tanulás egy" állapot-előrejelzési hiba "létrehozásával jár, amely az agy meglepetésszintjét képviseli egy új helyzetben, figyelembe véve a környezet jelenlegi becslését" - mondja Jan Gläscher, a Caltech posztdoktora és a vezető a tanulmány szerzője.
"Gondoljon egy olyan helyzetre, amikor munka után hazafelé mindig ugyanazon az úton halad, de egy adott napon az építkezések miatt a szokásos út le van tiltva" - mondja Gläscher.
„A modell nélküli tanulási rendszer tehetetlenül elveszne; csak a múltban kifizetődő cselekvésekkel foglalkozik, így ha ezek a cselekvések már nem állnak rendelkezésre, nem tudná eldönteni, merre tovább.
"De egy modellalapú rendszer képes lenne lekérdezni kognitív térképét, és kitalálni egy hatékony kitérőt egy alternatív útvonal használatával."
„Bár az egyszerűbb, modell nélküli tanulási mechanizmust jól tanulmányozták, és alapvető tanulási mechanizmusát - amelyet a jutalom-előrejelzési hibák vezérelnek - viszonylag jól megértik, a kifinomultabb modellalapú tanulási rendszer alapjául szolgáló mechanizmusok gazdag adaptálhatóságával és rugalmasságával rendelkeznek kevésbé érthetőek ”- mondja John P. O'Doherty, a Caltech pszichológia professzora.
E két tanulási rendszer neurológiai hátterének további jellemzése érdekében Gläscher, O'Doherty és munkatársaik számítógépes döntéshozatali feladatot készítettek, amely lehetővé tette számukra, hogy megmérjék, mikor és hol számítja az agy mind a jutalom, mind az állapot előrejelzési hibajelzéseit, és annak meghatározása, hogy a két típusú hiba valóban különböző neurális aláírásokat eredményez-e.
A feladat során az alanyoknak választaniuk kellett egy bal és jobb mozgás között, amely lehetővé tette számukra, hogy a virtuális környezetben különböző - grafikus ikonokkal jelölt - állapotok között váltsanak; a folyamat hasonló az egyszerű videojátékban való navigáláshoz.
Ebben a virtuális környezetben minden egyes bal vagy jobb választás új állapothoz vezetett. Céljuk az volt, hogy elérjék egy adott célállapotot a pénzjutalom megszerzéséhez, „és esélyük arra, hogy e célállapotba kerüljenek, nagymértékben függött az egymást követő döntéseik sajátos mintájától” - magyarázza O’Doherty.
A modellalapú rendszer megismerheti a virtuális környezet felépítését, majd ezeket az információkat felhasználhatja a jutalom állapotához jutáshoz szükséges cselekvések kiszámításához, analóg módon ahhoz, ahogy egy sakkozó megpróbálja átgondolni a szükséges szekvenciális mozdulatokat meccset nyerni.
A modellektől mentes rendszer viszont csak megtanulná vakon megválasztani azokat a cselekedeteket, amelyek a múltban jutalmat adtak, anélkül, hogy értékelné a jelenlegi helyzet következményeit.
Tizennyolc résztvevőt funkcionális mágneses rezonancia képalkotással szkenneltek, miközben megtanulták a feladatot. Az agyi átvizsgálások megmutatták a jutalom-előrejelzési hiba jellegzetes, korábban jellemzett neurális aláírását - amelyet a modell nélküli tanulás során generáltak - az agy közepén, a ventrális striatumnak nevezett területen.
A modellalapú tanulás során azonban egy állapotpredikciós hiba idegi aláírása két különböző területen jelent meg az agy felszínén az agykéregben: az intraparietális sulcusban és az laterális prefrontális kéregben.
Ezek a megfigyelések arra utalnak, hogy az emberi agyban két egyedi típusú hibajel kerül kiszámításra, amelyek különböző agyi régiókban fordulnak elő, és külön számítási stratégiákat jelenthetnek a viselkedés irányításához.
"A modell nélküli rendszer nagyon hatékonyan működik olyan helyzetekben, amelyek nagyon automatizáltak és ismétlődnek - például ha rendszeresen ugyanazon az úton haladok haza a munkából" - mondja Gläscher, "míg egy modellalapú rendszer, bár sokkal nagyobb agyi igényt igényel a feldolgozási teljesítmény képes rugalmasan alkalmazkodni az új helyzetekhez, például egy útzárat követve új útvonalat kell találnia. ”
Ez a két különálló tanulási mechanizmus kiegészítő szerepet játszik az emberi viselkedés kontrollálásában, mondja Gläscher.
„Mivel agyunk feldolgozási ereje korlátozott, nincs értelme a számításigényesebb modellalapú rendszert telepíteni mindennemű ellenőrzésünkre. Ehelyett jobb, ha mindennapi viselkedésünk során a modell nélküli rendszerre hagyatkozunk, és a modellalapú rendszert csak új vagy összetett helyzetekre használjuk. A további kutatások fontos területe az lesz, hogy megpróbáljuk megérteni azokat a tényezőket, amelyek meghatározzák, hogy ezek a rendszerek hogyan hatnak egymással a viselkedés kontrollja érdekében, és meghatározni, hogy ez hogyan valósul meg az agyban. "
Forrás: Kaliforniai Műszaki Intézet
