1. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Robotický model systému zrkadliacich neurónov
Kognícia a umelý život XIII
Kristína Rebrová a Igor Farkaš
kristina.rebrova@gmail.com
Centrum pre kognitívnu vedu FMFI UK
Cognition and Neural Computation Group
http://cogsci.fmph.uniba.sk/cnc
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
2. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Prehľad
1 Motivácia a náš model MNS
2 Algoritmus BAL
3 Experimenty a výsledky
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
3. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Senzomotorická kognícia
Porozumenie na základe prepojenia akcie a percepcie -
párovanie pozorovanej akcie a vlastného motorického
repertoára
Systém zrkadliacich neurónov (mirror neuron system, MNS)
(Pellegrino a kol., 1992; Rizzolatti a kol. 2001; Rizzolatti a Sinigaglia, 2010)
Obojsmerný tok informácie medzi vizuálnymi a motorickými
oblasťami (Tessitore a kol,2010)
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
4. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Variantné a invariantné neuróny
Horná spánková brázda (superior temporal sulcus, STS)
STS poskytuje vstupy pre zrkadliace neuróny
Rôzne typy neurónov, variantné a invariantné neuróny (Perret a
kol, 1991)
Invariantné n. anatomicky najbližšie k frontálnej časti kôry –
najvyššia úroveň reprezentácie (Jellema a Perret, 2006)
Variantné a invariantné vlastnosti objavené aj u zrkadliacich
neurónov v F5 (Caggiano a kol, 2009)
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
5. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Výpočtové modely systému zrkadliacich neurónov
Klasický prístup, napr. model MNS1 (Oztop a Arbib, 2002)
Model reflektuje biologické časti MNS
Základný predpoklad:
vizuálna informácia, ktorá
vstupuje do MNS je pozične
invariantná
Ill-posed problem,
zjednodušenie
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
6. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Robotický model systému zrkadliacich neurónov
Interakcia medzi MN a STS (Tessitore a kol., 2012)
Modulárna architektúra, na najvyššej úrovni dochádza k
rozpoznaniu a porozumeniu akcii
Robot iCub sa učí uchopovať predmety 3 spôsobmi
1 Základná senzomotorika: spojité učenie
posilňovaním (CACLA, van Hasselt, 2007)
2 Vyššie oblasti F5 a STS: samoorg.
mapa MSOM (Strickert a Hamker, 2005)
3 Prepojenie F5 a STS: binarizácia
pomocou k-WTA a náš model BAL
STS
vizuálna
reprezentáciaPF
F5
zkradliace
neuróny
motorický modul
predspracovanie
vizuálnej
informácie
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
7. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Algoritmus GeneRec
Zovšeobecnená recirkulácia (Generalized Recirculation,
GeneRec) (O’Reilly, 1996, O’Reilly a Munakata, 1999)
Biologicky plausibilné učenie na báze rozdielu aktivačných fáz
(miesto neplauzibilného šírenia chyby na výstupe)
Leabra framework (aproximácia biologických neurónov)
Rôzne variantny učenia: základné, symetrické, CHL-ekvivalent
Dve aktivačné fázy
mínusová fáza: od vstupu na výstup,
sieť produkuje odhad
plusová fáza: od výstupu na vstup, sieť
dostane "zafixovanú" želanú hodnotu na
výstup a učí sa
Zmena váh na základe rozdielov v plusovej a
mínusovej fáze: ∆wij = (y+
j − y−
j )xi
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
8. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Algoritmus obojsmerného učenia na báze aktivačných fáz
(BAL)
F F
B B
vrstva x y
skrytá
vrstva
xh hy
váhy hx yhváhy
váhy váhy
vrstva
Perceptrón so 4 maticami váh, 2 pre každý smer toku aktivácie
Dve vstupno–výstupné vrstvy x a y
Dve aktivačné fázy indikujú smer toku aktivácie
Dopredný beh (F): xF
→ hF
→ yF
Spätný beh (B): yB
→ hB
→ xB
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
9. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
BAL: úprava váh
Inicializácia: malé náhodné (Gaussovské) hodnoty
V smere F: ∆wF
ij = λ · aF
i (aB
j − aF
j )
V smere B: ∆wB
ij = λ · aB
i (aF
j − aB
j )
Parametre: rýchlosť učenia λ
Trénovateľné biasové neuróny (konštantný vstup 1.0,
analogická úprava váh)
Layer Phase Net Input Activation
x F - xF
i
h F ηF
j = i wIH
ij xF
i hF
j = σ(ηF
j )
y F ηF
k = j wHO
jk hF
j yF
k = σ(ηF
k )
y B - yB
k
h B ηB
j = k wOH
kj yB
k hB
j = σ(ηB
j )
x B ηB
i = j wHI
ji hB
j xB
i = σ(ηB
i )
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
10. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
GeneRec verzus BAL
Jednosmerné mapovanie
Dynamické neuróny
Čiastočné obojsmerné šírenie
aktivácie
Obojsmerná asociácia
Štandardné neuróny
Kompletne obojsmerné
šírenie aktivácie
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
11. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Kódovač 4-2-4 – parametre
nie vždy skonverguje k 100% úspešnosti (úspešnosť podľa
rýchlosti učenia)
porovnanie s pôvodným GeneRec modelom:
konvergencia: BAL 65% vs. GeneRec 90% (základný), 56%
symetrická a CHL verzia
počet epoch: 100 až tisíce (GeneRec konverguje rýchlejšie)
0 1 2 3
0
20
40
60
rýchlosť učenia
úspešnésiete
2 2.1 2.2
0
20
40
0 1 2 3
0
1,000
2,000
3,000
rýchlosť učenia
epochy
2 2.1 2.2
0
500
1,000
1,500
0 1,000 2,000 3,000 4,000 5,000
0
0.5
1
epocha
úspešnosťsiete
vzoryF
vzoryB
bityF
bityB
mseF
mseB
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
12. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Párovanie riedkych binárnych vzorov
Motivácia pre typ dát: riedke reprezentácie v mozgu
100 párov vzorov, 144 bitov, k = 12 pozitívnych
Optimálna λ = 0.2, optimálna nH = 120 (vplýva viacmenej len
na dĺžku trénovania)
Aktivácie na skrytej vrstve: blížia sa k sebe a nebinarizujú sa
(hodnoty okolo 0.5)
0.1 0.2 0.3 0.4 0.5
0
0.5
1
rýchlosť učenia
úspešnosťsiete
bityF
bityB
vzoryF
vzoryB
0.3 0.32 0.34
0
0.5
1
80 100 120 140 160 180
0.94
0.96
0.98
1
hidden layer size
úspešnosťsiete
bityF
bityB
vzoryF
vzoryB
100 150
1,000
2,000
3,000
epochy
0 500 1,000 1,500 2,000 2,500
0
0.5
1
epocha
úspešnosťsiete
vzoryF
vzoryB
bityF
bityB
mseF
mseB
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
13. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Komplexné asociácie
Motivácia pre typ dát: asociácia 4 perspektív na 1 pohyb
16 párov vzorov, 16 bitov, k = 3 pozitívnych
Optimálna λ = 1.0, optimálna nH = 14
0 0.5 1 1.2
0
0.5
1
rýchlosť učenia
úspešnosťsiete
bityF
bityB
vzoryF
vzoryB
10 15 20 25
0
0.5
1
veľkosť skrytej vrstvy
úspešnosťsiete
vzoryF
vzoryB
bityF
bityB
0 200 400 600 800 1,000
0
0.5
1
epocha
úspešnosťsiete
bityF
bityB
vzoryF
vzoryB
mseF
mseB
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
14. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Komplexné asociácie
značne menšia úspešnosť pre nejednoznačný smer B
(bity ≈ 86%, vzory len ≈ 4%)
sieť nevie určiť, ktorý zo 4 asociovaných vzorov vybrať
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
15. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Robotický MNS model
Najvyššia úroveň: mapovanie
reprezentácií na STS a F5
Výstupy z MSOM sú zbinarizované
pomocou k-WTA
Vizuálne dáta: 14×14 s kv = 16
Motorické dáta: 12×12 s km = 8
Experimenty s prvou perspektívou,
52 párov vzorov
STS
vizuálna
reprezentáciaPF
F5
zkradliace
neuróny
motorický modul
predspracovanie
vizuálnej
informácie
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
16. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Robotický MNS model
Optimálna λ = 0.2, optimálna nH = 170
Malá úspešnosť – nejednoznačné asociácie asociácie m:n
Chyby v rámci jednej kategórie pohybu, nie medzi
kategóriami
0 500 1,000 1,500
0
0.5
1
epocha
úspešnosť
bitSuccF bitSuccB
vzoryF
vzoryB
0 500 1,000 1,500
0
5 · 10−2
0.1
epocha
mse/vzdialenosť
mseF
mseB
pattDistF pattDistB
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
17. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Robotický MNS model – príklad reprodukcie vzorov
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
18. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Zhrnutie
obojsmerné učenie vplýva na konvergenciu BAL
emergujúce reprezentácie na skrytej vrstve nemajú tendenciu
binarizovať sa (nevznikajú interné reprezentácie)
úspešnosť na robotických dátach v našom MNS modeli je
nízka (nejednoznačné asociácie m-n)
chyby na robotických dátach sa vyskyujú v rámci kategórie nie
medzi kategóriami
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
19. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Ďalší postup pri skúmaní BAL a modelovaní MNS
Algoritmus BAL
skúmať konvergenciu algoritmu, jeho citlivosť na rýchlosť
učenia a charakter obojsmerého prepojenia
skúmať reprezentácie na skrytej vrstve a tiež možnosti ako
ovplyvniť vznik reprezentácií aj na tejto vrstve (v kontexte
systému zrkadliacich neurónov)
Robotický model MNS
zaviezť do modelu ďalšie vizuálne perspektívy
vytvoriť priestor/mechanizmus pre vznik variantných a
invariantných reprezentácií v STS a F5
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
20. Motivácia a náš model MNS
Algoritmus BAL
Experimenty a výsledky
Koniec
Ďakujem za pozornosť
Kristína Rebrová
kristina.rebrova@gmail.com
Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov