1. Paslėptas Markovo Modelis
Įžanga
Maksim Norkin, ISK-08
Vilniaus Gedimino Technikos Universitetas
Elektronikos fakultetas
2011 m. gruodžio 17 d.
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
3. Savybių erdvė I
Duomenų grupės savybių erdvėje gerai viena nuo kitos atskirtos;
Stairs up
Stairs down
6
Walking
Standing
4
2
Discriminant 3
0
−2
−4
5
0 8
2 4 6
−5 −4 −2 0
−6
Discriminant 2 Discriminant 1
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
4. Savybių erdvė II
Duomenų grupės savybių erdvėje blogai viena nuo kitos atskirtos;
Stairs up
Stairs down
Walking
6
Standing
4
2
Discriminant 3
0
−2
−4
−4
−2
−6 0
2
5 4 3 2 1 4
0 −1 −2 −3 −4 −5
Discriminant 2
Discriminant 1
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
5. Mašininis apmokymas I
Vadovu paremtas;
Klasifikavimas;
Duomenys yra sužymėti;
Vadovu neparemtas;
Grupavimas;
Duomenys yra visiškai nesužymėti;
Dalinai vadovu paremtos;
Maža duomenų dalis yra sužymėti, didelė dalis duomenų yra
nesužymėti;
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
6. Diskretinis Markovo procesas I
Stebimas Markovo Modelis
P [qt = Sj |qt−1 = Si , qt−2 = Sk , · · · ] (1)
= P [qt = Sj |qt−1 = Si ] (2)
aij = P [qt = Sj |qt−1 = Si ] (3)
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
7. Diskretinis Markovo procesas II
Ką mes galime nuveikti su duotu
modeliu, žinodami perėjimo
tikimybes?
Spėti ateinančių dienų orus;
Spėti kiek dienų truks saulėtas
oras;
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
8. Diskretinis Markovo procesas III
Monetos metimo eksperimentas;
Žinomas tik eksperimento rezultatas;
O = O1 O2 O3 O4 · · · OT = HHHTH · · · T (4)
Klausimas - kokia Markovo grandimi mes galima pakartoti
sekantį eksperimentą?
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
9. Diskretinis Markovo procesas IV
Vienos monetos grandis;
O = HHTT · · · T (5)
S = HHT T · · · T (6)
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
10. Diskretinis Markovo procesas V
Dviejų monetų grandis;
O = HHTT · · · T (7)
S = 1221 · · · 1 (8)
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
11. Diskretinis Markovo procesas VI
Tryjų monetų grandis;
O = HHTT · · · T (9)
S = 1323 · · · 1 (10)
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
12. Diskretinis Markovo procesas VII
Markovo grandis projektuojama
remiantis konkrečiomis žiniomis apie
modeliuojama sistemą;
Ankščiau paminėtos grandinės yra
pilnai sujungtos (ergodinės);
Grandinės struktūra yra labai lanksti
ir nebūtinai turi būti pilnai sujungta;
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
13. Paslėptas Markovo modelis I
Modelis aprašomas:
N - būsenų skaičius (arba grandines mazgų skaičius);
M - būsenos stebėjimo simbolių skaičius (arba įėjimo dimensijų
skaičius);
A = {aij } - būsenų perėjimo tikimybių matrica;
aij = P [qt+1 = Sj |qt = Si ], 1 ≤ i, j ≤ N (11)
N
aij = 1 (12)
j=1
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
14. Paslėptas Markovo modelis II
B = {bj (k)} - stebėjimo tikimybės pasiskirstymas, esant būsenai
j
bj (k) = P [vk at t|qt = Sj ], 1 ≤ j ≤ N, 1 ≤ k ≤ M (13)
π = {πi } pradinis būsenų tikimybių pasiskirstymas
πi = P [q1 = Si ] (14)
Trumpai, Paslėptas Markovo modelis aprašomas:
λ = (π, A, B); (15)
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
15. Viterbi kelias I
Viterbi kelio algoritmas yra naudojamas, norint sužinoti kokios
sistemos būsenos Q = {q1 q2 q3 · · · qT } yra labiausiai tikėtinos,
turint stebėjimo rezultatus O = {O1 O2 · · · OT }
Reikia įsivesti naują parametrą, kuris nusakytų didžiausia
būsenos tikimybę laiko momentu t
δt (i) = max P [q1 q2 · · · qt = i, O1 O2 · · · Ot |λ] (16)
q1 ,q2 ,···,qt−1
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
16. Viterbi kelias II
Iniciacija
δ1 (i) = πi bi (O1 ), 1 ≤ i ≤ N (17)
ψ1 (i) = 0 (18)
Rekursija
δt (j) = max [δt−1 aij ]bj (Ot ), 2 ≤ t ≤ T, 1 ≤ j ≤ N (19)
1≤i≤N
ψt (j) = arg max [δt−1 (i)aij ], 2 ≤ t ≤ T, 1 ≤ j ≤ N (20)
1≤i≤N
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
17. Viterbi kelias III
Nutraukimas
∗
qT = arg max [δT (i)] (21)
1≤i≤N
Kelio atstatymas
∗ ∗
qt = ψt+1 (qt+1 ), t = T − 1, T − 2, · · ·, 1 (22)
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
18. Praktika
Plačiai naudojamas garso atpažinimo sistemose;
Galima klasifikuoti duomenis, kurie savybių erdvėje yra visiškai
neatsiskyrę;
Yra daug plėtinių (Hierarchinis Paslėptas Markovo modelis, ...);
Matlab implementacija parašyta Kevin Murphy, 1998 metais
(palaiko ne tik diskretinius, bet ir vientisus stebėjimus);
Geras straipsnis gilinti savo žinias parašytas Lawrence R.
Rabiner, 1989 metais;
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga
19. Ačiū už dėmesį!
Klausimai?
maksim.norkin@ieee.org VGTU EF
Paslėptas Markovo Modelis Įžanga