slides to my dissertation thesis presentation in Slovak,
topic: grounding meaning in sensorimotor cognition using artificial neural networks and cognitive robots
1. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Ukotvenie významov v senzomotorickej kognícii:
konekcionistický prístup
obhajoba dizertačnej práce
RNDr. Kristína Rebrová
školiteľ: doc. Ing. Igor Farkaš, PhD.
Katedra aplikovanej informatiky, FMFI UK
27. marec 2014
1 / 30
2. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Prehľad
1 Motivácia a empirické poznatky
2 Robotický model systému zrkadliacich neurónov
3 Algoritmus obojsmerného učenia na báze aktivačných fáz
4 Experimenty a výsledky
5 Zhrnutie a záver
2 / 30
3. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Ukotvená kognícia
kognitivizmus vs. stelesnená kognícia
stelesnená a ukotvená kognícia: závisí na tele situovanom
v prostredí, s ktorým agent interaguje
význam konceptov musí byť agentovi vlastný, rovnako ako jeho
kognitívne schopnosti (riadenie, porozumenie, rozhodovanie)
rastúca empirická podpora
3 / 30
4. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Senzomotorická kognícia
porozumenie na základe prepojenia akcie a percepcie - párovanie
pozorovanej akcie a akcie z vlastného motorického repertoára
systém zrkadliacich neurónov (mirror neuron system,
MNS) (Pellegrino a kol., 1992; Rizzolatti a kol. 2001; Rizzolatti a
Sinigaglia, 2010)
obojsmerný tok informácie medzi vizuálnymi
a motorickými oblasťami (Tessitore a kol,2010)
variantné a invariantné neuróny v STS (Perret a kol, 1991),
ale aj v F5 (Caggiano a kol, 2009)
4 / 30
5. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Systém zrkadliacich neurónov
5 / 30
6. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Výpočtové modely systému zrkadliacich neurónov
klasický prístup: napr.
MNS1 (Oztop a Arbib, 2002)
model reflektuje biologické
časti MNS
základný predpoklad:
vizuálna informácia, ktorá
vstupuje do MNS je pozične
invariantná
ill-posed problem,
zjednodušenie
Farkaš I., Malý M., Rebrová K.: Mirror neurons – theoretical and computational issues.
Technical report TR-2011-028. Comenius University in Bratislava. 2011.
6 / 30
7. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Robotický model systému zrkadliacich neurónov
MSOM
motor
executive
module
visual
preprocessing
module
F5
mirror
neurons
(after kWTA)
MSOM
STSp
variant visual
representation
(after kWTA)
STSa
invariant visual
representation
(SOM)
BAL
bidirectional
association
sending
weights
sending
weights
input sequences input sequences
AIP PATHWAY
PF PATHWAY
interakcia medzi MN a STS
(Tessitore a kol., 2012)
modulárna architektúra,
na najvyššej úrovni dochádza
k rozpoznaniu a porozumeniu akcii
robot iCub sa učí uchopovať
predmety 3 spôsobmi
párovanie motorickej reprezentácie
akcie s vizuálnymi reprezentáciami
zo 4 perspektív
Rebrová K., Pecháč M., Farkaš I.: Towards a
robotic model of the mirror neuron system.
Proc. of ICDL Epi-Rob, IEEE. 2013.
7 / 30
8. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Nižšie exekučné a percepčné moduly
Úchop silou
Úchop zboku
Presný úchop
spojité učenie posilňovaním (reinforcement learning),
algoritmus CACLA (Continuous Actor Critic Learning Automaton,
van Hasselt, 2007)
motorické dáta: hodnoty zo 16 kĺbov pravého ramena robota
"predspracované" vizuálne dáta: 3D súradnice kĺbov robota +
prstov zrotované, preškálované a premietnuté do 2D
perspektívy: 0◦
= vlastná, 180◦
= oproti, 90◦
a 270◦
= zboku
Farkaš I., Malík T., Rebrová K.: Grounding the meanings in sensorimotor
behavior using reinforcement learning. Frontiers in Neurorobotics 6(1).
2012. doi: 10.3389/fnbot.2012.00001.
8 / 30
9. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Vyššie asociačné oblasti F5 a STSp
rekurentná samoorganizujúca sa zlučovacia mapa MSOM
(Merge SOM, Strickert a Hammer, 2005)
topografické mapovanie motorických (F5) a vizuálnych (STSp)
sekvencií
binarizácia: algoritmus k-WTA (k víťazov berie všetko)
winp
(t)
xnx1 q1 qn
q(t)x(t)
wctx
(t)
winp
(t-1)
wctx
(t-1)
9 / 30
10. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Najvyššie oblasti modelu: PF a AIP dráhy
dráha PF: obojsmerná asociácia medzi F5 a STSp
cez oblasť PF (skrytá vrstva)
algoritmus BAL odvodený od biologicky plauzibilného
algoritmu GeneRec
najnovšia časť modelu: dráha F5a–AIP–STSa (AIP pathway)
motorická informácia z F5 (typ úchopu) premietnutá do STSa cez AIP -
uľahčuje formovanie invariantných reprezentácií v STSa
nový algoritmus: SOM s laterálnou excitáciou
ai = aSOM
i +
N
j=0
wlat
ij aj , (1)
aSOM
i = exp(−di ). (2)
10 / 30
11. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Algoritmus obojsmerného učenia na báze aktivačných fáz
F F
B B
vrstva x y
skrytá
vrstva
xh hy
váhy hx yhváhy
váhy váhy
vrstva
odvodené od zovšeobecnenej recirkulácie (Generalized
Recirculation, GeneRec) (O’Reilly, 1996, O’Reilly a Munakata, 1999)
biologicky plauzibilné učenie na báze rozdielu aktivačných fáz
2 vstupno–výstupné vrstvy x a y a 2 aktivačné fázy: dopredná
(F) a spätná (B)
Farkaš I., Rebrová K.: Bidirectional activation-based neural network learning
algorithm. Proc. of ICANN. Springer. 2013.
11 / 30
12. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
BAL: úprava váh
inicializácia: malé náhodné hodnoty s Gaussovskou distribúciou
v smere F: ∆wF
ij = λ · aF
i (aB
j − aF
j )
v smere B: ∆wB
ij = λ · aB
i (aF
j − aB
j )
rýchlosť učenia λ
Trénovateľné prahy neurónov
Layer Phase Net Input Activation
x F - xF
i
h F ηF
j = i wIH
ij xF
i hF
j = σ(ηF
j )
y F ηF
k
= j wHO
jk
hF
j yF
k
= σ(ηF
k
)
y B - yB
k
h B ηB
j = k wOH
kj
yB
k
hB
j = σ(ηB
j )
x B ηB
i = j wHI
ji hB
j xB
i = σ(ηB
i )
12 / 30
13. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
GeneRec verzus BAL
jednosmerné mapovanie
dynamické neuróny
čiastočné obojsmerné šírenie
aktivácie
obojsmerná asociácia
"štandardné" neuróny
kompletne obojsmerné
šírenie aktivácie
13 / 30
14. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
BAL: enkodér 4-2-4
konvergencia:
BAL: 65%
GeneRec základný: 90%,
Generec symetrický a CHL: 56%
počet epoch: 102
až 103
(GeneRec konverguje rýchlejšie)
0 1 2 3
0
20
40
60
rýchlosť učenia
úspešnésiete
2 2.1 2.2
0
20
40
0 1,000 2,000 3,000 4,000 5,000
0
0.5
1
epocha
úspešnosťsiete
vzoryF
vzoryB
bityF
bityB
MSEF
MSEB
0 1 2 3
0
1,000
2,000
3,000
rýchlosť učenia
epochy
2 2.1 2.2
0
500
1,000
1,500
14 / 30
15. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
BAL: riedke binárne vzory
motivácia pre typ dát: riedke (sparse) reprezentácie v mozgu
100 párov náhodných vzorov, 144 bitov, k = 12 aktívnych
bitov
0 500 1,000 1,500 2,000 2,500
0
0.5
1
epocha
úspešnosťsiete vzoryF
vzoryB
bityF
bityB
MSEF
MSEB
15 / 30
16. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
BAL: riedke binárne vzory
optimálne λ = 0.2 a nH = 120 (vplýva hlavne na dĺžku trénovania)
aktivácie na skrytej vrstve: blížia sa k sebe (hodnoty okolo 0.5)
0.1 0.2 0.3 0.4 0.5
0
0.5
1
rýchlosť učenia
úspešnosťsiete
bityF
bityB
vzoryF
vzoryB
0.3 0.32 0.34
0
0.5
1
80 100 120 140 160 180
0.94
0.96
0.98
1
veľkosť skrytej vrstvy
úspešnosťsiete
bityF
bityB
vzoryF
vzoryB
100 150
1,000
2,000
3,000
epochy
16 / 30
17. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
BAL: komplexné asociácie
motivácia pre typ dát: asociácia 4 perspektív na 1 pohyb
16 párov vzorov, 16 bitov, k = 3 pozitívnych
optimálna λ = 1.0, optimálna nH = 14
0 0.5 1 1.2
0
0.5
1
rýchlosť učenia
úspešnosťsiete
bityF
bityB
vzoryF
vzoryB
10 15 20 25
0
0.5
1
veľkosť skrytej vrstvy
úspešnosťsiete
vzoryF
vzoryB
bityF
bityB
17 / 30
18. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
BAL: komplexné asociácie
značne menšia úspešnosť pre nejednoznačný smer B
(bity ≈ 86%, vzory len ≈ 4%)
splnené očakávanie: sieť nevie určiť, ktorý zo 4 asociovaných
vzorov vybrať
0 200 400 600 800 1,000
0
0.5
1
epocha
úspešnosťsiete
bityF
bityB
vzoryF
vzoryB
MSEF
MSEB
18 / 30
19. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Robotický MNS: asociačné oblasti
víťazné neuróny pri použití optimálnych parametrov
a rozmerov sietí
F5: víťazi podľa úchopu STSp: víťazi podľa úchopu STSp: víťazi podľa perspektívy
19 / 30
20. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Robotický MNS: optimálne parametre pre BAL
0 0.1 0.2 0.3
0
5 · 10−2
0.1
0.15
learning rate
meansquarederror
MSEF
MSEB
0 0.1 0.2 0.3
0
0.2
0.4
0.6
0.8
1
learning rate
úspešnosťsiete
vzoryF
vzoryB
0 0.1 0.2 0.3
0.85
0.9
0.95
1
learning rate
bitsuccess
bityF
bityB
0 0.1 0.2 0.3
1,200
1,400
1,600
1,800
2,000
learning rate
epochs
epochs
150 200 250 300
0
1
2
·10−3
veľkosť skrytej vrstvy
meansquarederror
MSEF
MSEB
150 200 250 300
900
1,000
1,100
1,200
1,300
veľkosť skrytej vrstvy
epochs
epochs
20 / 30
21. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Robotický MNS:
obojsmerná asociácia STSp a PF
učiaci experiment: ako prvá vznikne asociácia medzi prvou
(vlastnou) perspektívou a motorickou reprezentáciou, neskôr sa
pripoja ďalšie perspektívy
0 1,000 2,000 3,000 4,000 5,000
0
0.5
1
epocha
úspešnosťsiete
vzoryF
vzoryB
bityF
bityB
21 / 30
22. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Robotický MNS model: príklad reprodukcie vzorov
Reprodukcia vzorov: prvá perspektíva Reprodukcia vzorov: všetky perspektívy
a) želaná aktivácia; b) výstup siete; c) zhoda medzi a) a b)
22 / 30
23. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Robotický MNS model
invariantné reprezentácie v STSa
SOM s laterálnou excitáciou
predbežný výsledok: invariancia vzniká, no nie kompletná
STSa: víťazi podľa typu úchopu STSa: víťazi podľa perspektívy
23 / 30
24. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Výsledky a závery
očakávaná topografická separácia tried na výsledných mapách, no
perpektíva pohľadu je dominantnejšia než typ úchopu
vzory na motorickej mape modelu možno úspešne zreprodukovať
pomocou vizuálnych dát - zrkadliaca aktivita
chyby na robotických dátach sa vyskyujú skôr v rámci kategórie, než
medzi kategóriami
obojsmerné učenie vplýva na konvergenciu BAL
emergujúce reprezentácie na skrytej vrstve nemajú tendenciu
binarizovať sa (nevznikajú interné reprezentácie)
motorická informácia z F5 prispieva k vzniku invariancie v STSa
24 / 30
25. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Ďalší postup pri skúmaní algoritmu BAL a modelovaní MNS
Algoritmus BAL
skúmať konvergenciu algoritmu, jeho citlivosť na rýchlosť
učenia a charakter obojsmerého prepojenia
skúmať reprezentácie na skrytej vrstve a tiež možnosti ako
ovplyvniť vznik reprezentácií aj na tejto vrstve (v kontexte
systému zrkadliacich neurónov)
Robotický model MNS
zaviezť do modelu ďalšie perspektívy
získať a použiť "pestrejšie" dáta z exekutívneho CACLA
modulu
skúmať a zdokonaliť mechanizmus pre vznik invariantných
reprezentácií v STSa
skúmať možnosť vzniku čiastočne variantných reprezentácií aj
v F5
25 / 30
26. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Koniec
Ďakujem za pozornosť
Kristína Rebrová
kristina.rebrova@gmail.com
26 / 30
27. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Zoznam relevantných publikácií
K. Rebrová, M. Pecháč a I. Farkaš.
Towards a robotic model of the mirror neuron system.
V Proceedings of the 3rd joint IEEE International Conference on Development and Learning and
on Epigenetic Robotics. Osaka, Japan, 2013. (in press).
I. Farkaš a K. Rebrová.
Bidirectional activation-based neural network learning algorithm.
V Proceedings of the International Conference on Artificial Neural Networks (ICANN), Sofia,
Bulgaria. 2013. (in press).
K. Rebrová a I. Farkaš.
Robotický model systému zrkadliacich neurónov: experimentálna analýza.
V J. Kelemen, J. Rybár, I. Farkaš a M. Takáč, redaktori, Kognice a umělý život XIII, 223–230.
Slezská univerzita, Opava, 2013.
I. Farkaš, T. Malík a K. Rebrová.
Grounding the meanings in sensorimotor behavior using reinforcement learning.
Frontiers in Neurorobotics, 6(1), 2012.
Doi: 103389/fnbot201200001.
K. Rebrová.
Stelesnené porozumenie a ideomotorická teória.
V J. Rybár, redaktor, Kognitívne paradigmy, 127–150. Vydavateľstvo Európa, 2012.
27 / 30
28. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Zoznam relevantných publikácií
K. Rebrová a I. Farkaš.
Robotický model systému zrkadliacich neurónov.
V N. P. Kelemen J., redaktor, Kognice a umělý život XII, 231–238. Slezská univerzita, Opava,
2012.
I. Farkaš, M. Malý a K. Rebrová.
Mirror neurons – theoretical and computational issues.
Výskumná správa, (TR-2011-28) Comenius University in Bratislava, 2011.
I. Farkaš, M. Malý a K. Rebrová.
Porozumenie motorickým akciám – hypotéza kontinua.
61–68. Slezská univerzita v Opavě, Opava, ČR, 2011.
Rebrová K. and Farkaš I.
Neurálne modely v kognitívnej robotike: porozumenie a pomenovávanie akcií.
V K. V. Kelemen J., redaktor, Kognice a umělý život XI, 231–238. Slezská univerzita, Opava,
2011.
J. Šilar, M. Kokoška, K. Rebrová a I. Farkaš.
Motor resonance based desynchronization of the EEG mu rhythm.
Activitas Nervosa Superior Rediviva, 53, 2011.
Abstract.
28 / 30
29. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Vplyv veľkosti skrytej vrstvy na konvergenciu BAL
0 100 200 300
0
1
2
3
4
5
·10−2
veľkosť skrytej vrstvy
strednákvadratickáchyba
MSEF
MSEB
0 100 200 300
0
0.2
0.4
0.6
0.8
1
veľkosť skrytej vrstvy
úspešnosťsiete
vzoryF
vzoryB
0 100 200 300
0.92
0.94
0.96
0.98
1
veľkosť skrytej vrstvy
úspešnosťsiete
bityF
bityB
0 100 200 300
1,000
1,200
1,400
1,600
1,800
2,000
veľkosť skrytej vrstvy
trénovacieepochy
epochy
29 / 30
30. Motivácia a empirické poznatky
Robotický model systému zrkadliacich neurónov
Algoritmus obojsmerného učenia na báze aktivačných fáz
Experimenty a výsledky
Zhrnutie a záver
Invariantné reprezentácie v STSa: predbežné výsledky
STSa: víťazi podľa typu úchopu STSa: víťazi podľa perspektívy
30 / 30