20080330 machine learning_nikolenko_lecture07

Èäåÿ áàéåñîâñêèõ ñåòåé
Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ
Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè

Áàéåñîâñêèå ñåòè äîâåðèÿ

Ñåðãåé Íèêîëåíêî

Machine Learning CS Club, âåñíà 2008

Ñåðãåé Íèêîëåíêî Áàéåñîâñêèå ñåòè äîâåðèÿ

Èäåÿ áàéåñîâñêèõ ñåòåé Ìîòèâàöèÿ
Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ d -ðàçäåëèìîñòü
Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà

Outline

1 Èäåÿ áàéåñîâñêèõ ñåòåé
Ìîòèâàöèÿ
d-ðàçäåëèìîñòü
Òåîðåìà î äåêîìïîçèöèè è ñâèäåòåëüñòâà
2 Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ
Èäåÿ
Âûâîä àëãîðèòìà
Àëãîðèòì
3 Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè
Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ
Âñïîìîãàòåëüíûå àëãîðèòìû
Àëãîðèòì ïðîïàãàöèè


Áàéåñîâñêèå ñåòè

Â ýòîé ëåêöèè ìû íà âðåìÿ îòâëå÷¼ìñÿ îò îáó÷åíèÿ è
ðàññìîòðèì îñíîâíûå ïîíÿòèÿ è àëãîðèòìû òåîðèè
áàéåñîâñêèõ ñåòåé äîâåðèÿ.
Êðîìå ïðîñòî ïîëåçíîãî àïïàðàòà, ýòî äàñò õîðîøåå
ïðèìåíåíèå äèñêðåòíî-âåðîÿòíîñòíûì âåùàì âðîäå
[íå]çàâèñèìîñòè, à ãëàâíîå áîëåå îáùåå ïîíèìàíèå
çàäà÷ áàéåñîâñêîãî âûâîäà. Ïðèãîäèòñÿ.



Íàèâíûé áàéåñîâñêèé êëàññèôèêàòîð

Íàèâíûé áàéåñîâñêèé êëàññèôèêàòîð ÷àñòî õîðîøî
ðàáîòàåò.
Íî îí îñíîâûâàåòñÿ íà î÷åíü ñåðü¼çíîì ïðåäïîëîæåíèè, à
èìåííî íà óñëîâíîé íåçàâèñèìîñòè àòðèáóòîâ ïðè óñëîâèè
äàííîãî öåëåâîãî çíà÷åíèÿ.
Çà÷àñòóþ òàêîå ïðåäïîëîæåíèå äåëàåò àïïàðàò
íåïðèìåíèìûì.
×òî äåëàòü?



Îò áàéåñîâñêîãî êëàññèôèêàòîðà ê áàéåñîâñêèì ñåòÿì

Íóæíî íàó÷èòüñÿ ïðåäñòàâëÿòü ìíîæåñòâî
(íå)çàâèñèìîñòåé ìåæäó èìåþùèìèñÿ ïåðåìåííûìè.
Äîñòàòî÷íî åñòåñòâåííàÿ èäåÿ: íàïðàâëåííûé ãðàô, â
êîòîðîì ñòðåëêè ïîêàçûâàþò ïðè÷èííî-ñëåäñòâåííóþ
ñâÿçü.



Ïðèìåð

Ïðèìåð òîãî, êàê ìîæåò áûòü
çàäàí ãðàô áàéåñîâñêîé ñåòè.
Èñòîêè ïðè÷èíû, ñòîêè
ñëåäñòâèÿ. Êîðíè ïîëèäåðåâà
ïåðâîïðè÷èíû, ëèñòüÿ
ñèìïòîìû (êàê ïðàâèëî,
èìåííî èõ íàáëþäàþò).



Ïðèìåð

Èçíà÷àëüíî çàäàíû óñëîâíûå
âåðîÿòíîñòè ïîòîìêîâ ïðè
óñëîâèè ïðåäêîâ. Ýòî óæå
ïîçâîëèò îïðåäåëèòü
ñîâìåñòíóþ àïðèîðíóþ
âåðîÿòíîñòü ëþáîé êîìáèíàöèè
ñîáûòèé â ñåòè.



Ïðèìåð

Ñóòü ðàññóæäåíèé â
áàéåñîâñêîé ñåòè ïðîïàãàöèÿ
ñâèäåòåëüñòâ. Íà âõîä
ïîñòóïàþò äàííûå òèïà
¾Çðåíèå ïàöèåíòà óëó÷øèëîñü
èç-çà êîñîãëàçèÿ¿ è ¾Ïàöèåíò
ñòàðøå 60 ëåò¿, à çàäà÷à
îöåíèòü, êàê èçìåíèëàñü
âåðîÿòíîñòü äðóãèõ óçëîâ
(íàïðèìåð, òîãî, ÷òî ¾Ó
ïàöèåíòà íàðóøåíèå ðåôëåêñà
ñåò÷àòêè¿).


Ïðèìåíåíèå

Áàéåñîâñêèå ñåòè ïðèìåíÿþòñÿ â îñíîâíîì äëÿ ðåøåíèÿ
äèàãíîñòè÷åñêèõ çàäà÷. Íàïðèìåð, èõ ÷àñòî èñïîëüçóþò â
ìåäèöèíå è âîîáùå äëÿ îöåíêè ðèñêîâ. Ò.å. ïðîïàãàöèÿ
îáû÷íî èä¼ò ñíèçó ââåðõ, îò ñëåäñòâèé ê ïðè÷èíàì. Íî
ìîæíî è íàîáîðîò.



Çàâèñèìîñòü â ÁÑÄ

Êàêèå óçëû (ñîáûòèÿ) â áàéåñîâñêîé ñåòè çàâèñèìû?
Ïîíÿòíî, ÷òî òå, êîòîðûå ñîåäèíåíû ðåáðîì.
Íî íå òîëüêî...



Ïîñëåäîâàòåëüíàÿ ñâÿçü

Ïðÿìàÿ ñâÿçü ìåæäó óçëàìè ñåòè. Â ýòîì ñëó÷àå 1 âëèÿåò íà 2,
à 2, â ñâîþ î÷åðåäü, âëèÿåò íà 2, è óçëû 1 è 3 ïîëó÷àþòñÿ
ñâÿçàííûìè. Îäíàêî, åñëè â 2 ïîñòóïèëî ñâèäåòåëüñòâî, ñâÿçü
ìåæäó 1 è 3 íàðóøàåòñÿ.



Ðàñõîäÿùàÿñÿ ñâÿçü

Èíôîðìàöèÿ îá îäíîì èç
ïîòîìêîâ ìîæåò ïîâëèÿòü íà
âåðîÿòíîñòü äðóãîãî ïîòîìêà
îäíîãî è òîãî æå óçëà. Ýòî
ñâÿçàíî ñ òåì, ÷òî íå òîëüêî
èíôîðìàöèÿ î ïðîèçîøåäøåé
ïðè÷èíå ïîâûøàåò âåðîÿòíîñòü
ñëåäñòâèÿ, íî è ñëó÷èâøååñÿ
ñëåäñòâèå ïîâûøàåò
âåðîÿòíîñòü ïðè÷èíû. Åñëè
îáùèé ïðåäîê óæå ïîëó÷èë
îçíà÷èâàíèå, òî ñâÿçü
íàðóøàåòñÿ.


Ñõîäÿùàÿñÿ ñâÿçü

Ñâÿçè ìåæäó óçëàìè 1 è 3 íåò:
åñëè ïðîèçîøëî 1, òî ýòî
ïîâëèÿåò íà âåðîÿòíîñòü
ñîáûòèÿ 2, íî âåðîÿòíîñòü 3
èçìåíèòüñÿ íå äîëæíà.
Îäíàêî ñèòóàöèÿ ìåíÿåòñÿ,
åñëè ñâèäåòåëüñòâî 2 óæå
ïîëó÷åíî: åñëè ìû çíàåì, ÷òî
îäíà èç ïðè÷èí ïðîèçîøëà, ýòî
äîëæíî ïîíèçèòü âåðîÿòíîñòü
äðóãîé ïðè÷èíû, âåäü
ñëåäñòâèå óæå îáúÿñíåíî.



d -ðàçäåëèìîñòü

Îïðåäåëåíèå
Äâà óçëà íàïðàâëåííîãî ãðàôà x è y íàçûâàþòñÿ
d-ðàçäåë¼ííûìè, åñëè äëÿ âñÿêîãî ïóòè èç x â y (çäåñü íå
ó÷èòûâàåòñÿ íàïðàâëåíèå ð¼áåð) ñóùåñòâóåò òàêîé
ïðîìåæóòî÷íûé óçåë z (íå ñîâïàäàþùèé íè ñ x, íè ñ y), ÷òî
ëèáî ñâÿçü â ïóòè â ýòîì óçëå ïîñëåäîâàòåëüíàÿ èëè
ðàñõîäÿùàÿñÿ, è óçåë z ïîëó÷èë îçíà÷èâàíèå, ëèáî ñâÿçü
ñõîäÿùàÿñÿ, è íè óçåë z, íè êàêîé-ëèáî èç åãî ïîòîìêîâ
îçíà÷èâàíèÿ íå ïîëó÷èë.
Â ïðîòèâíîì ñëó÷àå óçëû íàçûâàþòñÿ d-ñâÿçàííûìè.



Âåðîÿòíîñòè

Äî ñèõ ïîð áûëè òîëüêî ãðàôû è ðàññóæäåíèÿ ¾íà
ïàëüöàõ¿.
Òåïåðü ïîðà ïåðåéòè ê çàäàíèþ âåðîÿòíîñòåé è ïðî÷èì
÷èñëåííûì ïðèìåðàì.
Â âåðøèíàõ çàäàíû óñëîâíûå âåðîÿòíîñòè ïðè óñëîâèè
âñåãî ìíîæåñòâà ïðåäêîâ. Åñëè ïðåäêîâ íåò, âåðîÿòíîñòè
íå óñëîâíûå (à ìàðãèíàëüíûå).



Ïðèìåð



Âàæíûå çàìå÷àíèÿ

Åñëè ó óçëà n ïðåäêîâ, íóæíî çàäàâàòü 2n óñëîâíûõ
âåðîÿòíîñòåé.
Åñëè ïðåäêîâ ó óçëà x íåò, íóæíî çàäàâàòü ìàðãèíàëüíûå
âåðîÿòíîñòè p(x ).
Â ãðàôå çàïðåùåíû íàïðàâëåííûå öèêëû.
Âñÿ ýòà èíôîðìàöèÿ â ñóììå äàñò âîçìîæíîñòü âû÷èñëÿòü
ëþáóþ âåðîÿòíîñòü â ñåòè, ò.å. åäèíñòâåííûì îáðàçîì
çàäàñò ðàñïðåäåëåíèå.



Òåîðåìà î äåêîìïîçèöèè

Òåîðåìà
Äëÿ ÁÑÄ, ïîñòðîåííîé íà ìíîæåñòâå ïåðåìåííûõ
S = {x1 , x2 , . . . , xn }, îáùåå ðàñïðåäåëåíèå âåðîÿòíîñòåé
p(x1x2 . . . xn ), èíäóöèðóþùåå çàäàííûå óñëîâíûå è
~~ ~
ìàðãèíàëüíûå âåðîÿòíîñòè è ñîãëàñîâàííîå ñ óñëîâíîé
íåçàâèñèìîñòüþ, âûòåêàþùåé èç d-ðàçäåëèìîñòè óçëîâ,
ñóùåñòâóåò, åäèíñòâåííî è ïðåäñòàâëÿåò ñîáîé ïðîèçâåäåíèå
âñåõ òåíçîðîâ, çàäàííûõ â áàéåñîâñêîé ñåòè äîâåðèÿ:
p(S) = p(x |pa(x )),
~ ~
x ∈S

ãäå pa(x ) ìíîæåñòâî ðîäèòåëåé óçëà x â áàçîâîì ãðàôå ñåòè.


Ïðèìåð

Ïîïðîáóåì â íàøåì ïðèìåðå
âû÷èñëèòü p(z ). Äëÿ ýòîãî
íàäî ïðîñóììèðîâàòü ïî âñåì
îñòàëüíûì âåðîÿòíîñòÿì:
p(z ) = p(~ u v w x y z ).
t~~ ~ ~~
~u v w x y
t ~~ ~ ~~

Òóò áåçóìíîå êîëè÷åñòâî
âû÷èñëåíèé.



Ïðèìåð

Â ýòîì è çàêëþ÷àåòñÿ ñìûñë
áàéåñîâñêèõ ñåòåé äîâåðèÿ
ðàçëîæèòü áîëüøîå
ðàñïðåäåëåíèå íà ïðîèçâåäåíèå
ìàëåíüêèõ. Ýòî ñìûñë íå
òîëüêî ÁÑÄ, íî è âîîáùå âñåãî
áàéåñîâñêîãî âûâîäà.



Ñâèäåòåëüñòâà

Ñâèäåòåëüñòâà óòâåðæäåíèÿ âèäà ¾ñîáûòèå â óçëå x
ïðîèçîøëî¿. Íàïðèìåð: ¾Ó ïàöèåíòà äåôåêò çðåíèÿ¿, ò.å.
w.
Ãëàâíàÿ íàøà çàäà÷à: íàó÷èòüñÿ ïåðåñ÷èòûâàòü
âåðîÿòíîñòè ïðè ïîñòóïëåíèè ñâèäåòåëüñòâ.



Ïåðåñ÷¼ò âåðîÿòíîñòåé â îäíîì óçëå

Ïóñòü ïîñòóïèëî ñâèäåòåëüñòâî ¾Äåôåêò çðåíèÿ¿. Äàâàéòå
ðàññ÷èòàåì àïîñòåðèîðíóþ âåðîÿòíîñòü p(u|w ).
Ñíà÷àëà íóæíî ïðèðàâíÿòü íóëþ íåñîâìåñòèìûå ñî
ñâèäåòåëüñòâîì ñëó÷àè â òàáëèöå ñîâìåñòíûõ âåðîÿòíîñòåé:
p(uvw ∧ w ) = 0.000199025, p(uv w ∧ w ) = 0,

p(uv w ∧ w ) = 0.012722625, p(uv w ∧ w ) = 0,

p(uvw ∧ w ) = 0.00160245, p(uv w ∧ w ) = 0,

p(uv w ∧ w ) = 0.01894239, p(uv w ∧ w ) = 0.




È íîðìèðîâàòü òî, ÷òî ïîëó÷èëîñü:
p(u|w ) = v~w pp((uwv)w ∧w ) = 0.386107 . . . ,
~ ~~

p(u|w ) = v~w pp((uwv)w ∧w ) = 0.61389288 . . . .
~ ~ ~




Âîïðîñ: êàêèì ïðåäïîëîæåíèåì ìû íåÿâíî ïîëüçîâàëèñü? ×òî
äåëàòü, åñëè îíî íå âûïîëíåíî?


Èäåÿ áàéåñîâñêèõ ñåòåé Èäåÿ
Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âûâîä àëãîðèòìà
Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì

Outline

Ìîòèâàöèÿ
Èäåÿ
Àëãîðèòì


Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ

Ìû ñåé÷àñ çàïðåùàåì íå òîëüêî íàïðàâëåííûå, íî è
íåíàïðàâëåííûå öèêëû. Ò.å. ãðàô áàéåñîâñêîé ñåòè
ïîëèäåðåâî.
×òîáû íå çàïðåùàòü íåíàïðàâëåííûå öèêëû, íóæíî
ðàññìàòðèâàòü àëãîðèòìû ïîñòðîåíèÿ ìîðàëüíîãî ãðàôà,
òðèàíãóëÿöèè è ïîñòðîåíèÿ äåðåâà ñìåæíîñòè. Ýòèì ìû
çàéì¼ìñÿ íà ñëåäóþùåé ëåêöèè.
Ìû óæå ïîíÿëè, êàê ïðîïàãèðîâàòü ñâèäåòåëüñòâî ÷åðåç
îäèí óçåë. Îñòàëîñü ôîðìàëèçîâàòü ýòî è ñîáðàòü
àëãîðèòì öåëèêîì.



Èäåÿ àëãîðèòìà

Ìû äåëèì ïîñòóïèâøèå ñâèäåòåëüñòâà íà äâå ÷àñòè òå,
÷òî âûøå äàííîãî óçëà x (Ex+) è òå, ÷òî íèæå (Ex−). Íàøà
çàäà÷à íàéòè
p(x |E ) = p(x |Ex−, Ex+).
Çàòåì âû÷èñëÿåì èõ äåéñòâèå íà x ïî îòäåëüíîñòè è
ñêëàäûâàåì ýòî âñ¼ âìåñòå.



Îáîçíà÷åíèÿ

Evid(x) âîçâðàùàåò 1, åñëè x èíñòàíöèèðîâàí íàøèì
ñâèäåòåëüñòâîì.
Normalize(Pr) íîðìàëèçóåò ðàñïðåäåëåíèå Pr.
Ex Y îçíà÷àåò ñâèäåòåëüñòâà, ñâÿçàííûå ñ x, êðîìå òåõ,
ïóòü ê êîòîðûì ïðîëåãàåò ÷åðåç ýëåìåíòû ìíîæåñòâà Y .



Âûâîä

Ðàññìîòðèì âñå êîíôèãóðàöèè ðîäèòåëåé x U = pa(x ). Òîãäà
~

p(x |Ex+) = p(x |U , Ex+)p(U |Ex+).
~ ~
U
~

U d-îòäåëÿåò x îò Ex+, ïîýòîìó ïåðâûé ñîìíîæèòåëü ýòî
ïðîñòî p(x |U ), è ýòî äàíî íàì â òàáëèöàõ óñëîâíûõ
~
âåðîÿòíîñòåé.
Ex+ d-îòäåëÿåò êàæäûé u ∈ U îò äðóãèõ, è
p(U |Ex+) = p(u|EX ).
~ ~ +
u ∈U



Âûâîä p(Ex− |x )

Çäåñü âñ¼ òî æå ñàìîå, íî ïîñëîæíåå, ïîòîìó ÷òî íóæíî
ó÷èòûâàòü âîçìîæíûõ äðóãèõ ïðåäêîâ ïîòîìêîâ óçëà x.
Ðàñïèøåì ïî êîíôèãóðàöèÿì äåòåé ch(x ):
p(Ex−|x ) = p(Eu−|u)p(u|pa(u) x ).
chx
g u∈ch(x )

Ïåðåñòàâèì ìåñòàìè ñóììó è ïðîèçâåäåíèå è ðàñïèøåì
p(u|pa(u) x ), èñõîäÿ èç óæå ïîëó÷åííûõ ðåçóëüòàòîâ:
p(u|Z ) = p(u|x , Z ) p(z |Ez u ), Z = pa(u) x .
~ ~ ~
Z
~ z ∈Z



Àëãîðèòì

Belief (x ):
Âåðíóòü BeliefExcept(x , ∅).
BeliefExcept(x , V ):
Åñëè Evid(x ), òî âåðíóòü óæå èìåþùååñÿ ðàñïðåäåëåíèå x.
Âû÷èñëèòü p(Ex−V |x ) = EvidenceExcept(X , V ).
U = pa(x ).
Åñëè U = ∅ âåðíóòü Norm p(Ex−V |x )p(x ) .
Èíà÷å äëÿ êàæäîãî u ∈ U âû÷èñëèòü è ñîõðàíèòü
p(u|Eux ) = BeliefExcept(u, x ).
~ ~
Âåðíóòü Norm p(Ex−V |x ) U p(x |U ) u∈U p(u|Eux ) .
~
~ ~



Àëãîðèòì

EvidenceExcept(x , V ):
U = ch(x ) V .
Åñëè (U == ∅) âåðíóòü ðàâíîìåðíîå ðàñïðåäåëåíèå.
Èíà÷å äëÿ êàæäîãî u ∈ U:
Âû÷èñëèòü p (Eu |u ) = EvidenceExcept(u , ∅).
−
~ ~
Z = pa(u ) {x }.
Äëÿ êàæäîãî z ∈ Z âû÷èñëèòü

p (Z |Ez u ) = BeliefExcept(w , u ).
~ ~

Âåðíóòü
 

p(Ex−|x ) = Norm  p(Eu−|u)
~ p(u|x , Z )
~ ~ p(z |Ez u ) .
~
u∈ch(x ) u
~ Z
~ z ∈Z


Èäåÿ áàéåñîâñêèõ ñåòåé Îñíîâíûå ïîíÿòèÿ è îïðåäåëåíèÿ
Ïðîïàãàöèÿ â ñåòÿõ áåç öèêëîâ Âñïîìîãàòåëüíûå àëãîðèòìû
Âûâîä â áàéåñîâñêîé ñåòè ñ öèêëàìè Àëãîðèòì ïðîïàãàöèè

Outline

Ìîòèâàöèÿ
Èäåÿ
Àëãîðèòì


Ìîòèâàöèÿ

Ìû íàó÷èëèñü îáðàáàòûâàòü ÁÑÄ â âèäå ïîëèäåðåâüåâ.
Êàê îáðàáàòûâàòü öèêëû? Íàø àëãîðèòì íå áóäåò
ðàáîòàòü: â îäíó è òó æå âåðøèíó èç äðóãîé ìîæíî áóäåò
ïðèäòè íåñêîëüêèìè ïóòÿìè.
Íà ýòîé ëåêöèè ìû ðàçáåð¼ì äðóãîé àëãîðèòì, êîòîðûé
ðàáîòàåò â ýòîì áîëåå îáùåì ñëó÷àå.



Íàø ïðèìåð



Äîìåííûé ãðàô

Ïóñòü P = {p(x1|X1), . . . , p(xm |Xm )} íàáîð ðàñïðåäåëåíèé
~ ~ ~ ~
âåðîÿòíîñòåé íàä ìíîæåñòâîì àòîìàðíûõ ñîáûòèé
S = {x1 , . . . , xn }. Äîìåííûé ãðàô äëÿ P ýòî íåíàïðàâëåííûé
ãðàô, âåðøèíû êîòîðîãî ýëåìåíòû S; äâå âåðøèíû ñâÿçàíû
ðåáðîì òîãäà è òîëüêî òîãäà, êîãäà îíè îáå âñòðå÷àþòñÿ â
îäíîì è òîì æå ðàñïðåäåëåíèè âåðîÿòíîñòåé p(xi |Xi ) ∈ P.
~ ~



Äîìåííûé ãðàô

Â ñëó÷àå ÁÑÄ ýòî âñåãî ëèøü îçíà÷àåò, ÷òî ãðàô òåïåðü
íåíàïðàâëåííûé, è â í¼ì äîáàâëÿþòñÿ ð¼áðà ìåæäó
ðîäèòåëÿìè îáùåãî ïðåäêà.
Òàêèå ð¼áðà íàçûâàþòñÿ ìîðàëüíûìè, à ñàì äîìåííûé
ãðàô â ñëó÷àå ÁÑÄ ìîðàëüíûì ãðàôîì.



Ìîðàëüíûé ãðàô

Äîáàâèëîñü ðåáðî ìåæäó u è
v îáùèìè ïðåäêàìè w.



Äàëüíåéøèé ïëàí

Ìû õîòèì â äàëüíåéøåì ïî îäíîé óäàëÿòü âåðøèíû èç
ìîðàëüíîãî ãðàôà, ïðè ýòîì ïðîåöèðóÿ îáùåå
ðàñïðåäåëåíèå íà òî, ÷òî îñòàíåòñÿ.
Êàæäûé ðàç, êîãäà ìû óäàëÿåì âåðøèíó, íàì ïðèõîäèòñÿ
îáúåäèíÿòü å¼ ñîñåäåé, ïîòîìó ÷òî íóæíî îáúåäèíèòü
ðàñïðåäåëåíèå âåðîÿòíîñòåé.



Ïðèìåð

Âîò ðåçóëüòàò ýëèìèíàöèè
âåðøèíû u.



Èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü

Öåëü ïîíÿòíà íóæíî ïîñòàðàòüñÿ èçáåãàòü äîáàâëåíèÿ íîâûõ
ð¼áåð ïðè ýëèìèíèðîâàíèè ïåðåìåííûõ.
Èäåàëüíîé ýëèìèíèðóþùåé ïîñëåäîâàòåëüíîñòüþ íàçûâàåòñÿ
òàêàÿ ïîñëåäîâàòåëüíîñòü ïåðåìåííûõ, ÷òî ïðè èõ
ýëèìèíèðîâàíèè â ýòîé ïîñëåäîâàòåëüíîñòè íè ðàçó íè îäíîãî
ðåáðà â ìîðàëüíûé ãðàô äîáàâëåíî íå áóäåò.



Èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü: ïðèìåð



Ñèìïëèöèàëüíûå âåðøèíû

Åñëè x1, . . ., xi , . . ., xl èäåàëüíàÿ ýëèìèíèðóþùàÿ
ïîñëåäîâàòåëüíîñòü, è ìíîæåñòâî ñîñåäåé xi îáðàçóåò
ïîëíûé ïîäãðàô, òî xi , x1, . . ., xi −1, xi +1, . . ., xl òàêæå
èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü. Òàêèå
âåðøèíû íàçûâàþòñÿ ñèìïëèöèàëüíûìè.
Ðàññìîòðèì ìíîæåñòâî êëèê, êîòîðûå ïîÿâÿòñÿ â
ìîðàëüíîì ãðàôå â ïðîöåññå ïîñëåäîâàòåëüíîé
ýëèìèíàöèè ïåðåìåííûõ ïî êàêîé-ëèáî
ïîñëåäîâàòåëüíîñòè. Âûáðîñèì ïîäãðàôû äðóãèõ êëèê.
Ýòî ìíîæåñòâî âñåãäà åñòü ìíîæåñòâî êëèê ìîðàëüíîãî
ãðàôà ñåòè.
Óïðàæíåíèå. Äîêàæèòå ýòè äâà óòâåðæäåíèÿ.



Òðèàíãóëÿðíûå ãðàôû

Íåíàïðàâëåííûé ãðàô íàçûâàåòñÿ òðèàíãóëÿðíûì, åñëè ó íåãî
ñóùåñòâóåò èäåàëüíàÿ ýëèìèíèðóþùàÿ ïîñëåäîâàòåëüíîñòü.
Ýòî íàçûâàåòñÿ òðèàíãóëÿðíîñòüþ, ïîòîìó ÷òî ýêâèâàëåíòíî
òîìó, ÷òî ëþáîé öèêë äëèíîé áîëüøå 3 ðàçáèò íà ìåíüøèå
(äâå åãî íåñîñåäíèå âåðøèíû ñîåäèíåíû).



Òðèàíãóëÿðíûå ãðàôû è ñèìïëèöèàëüíûå âåðøèíû

Òåîðåìà
Ó íåïîëíîãî òðèàíãóëÿðíîãî ãðàôà, ñîäåðæàùåãî ïî êðàéíåé
ìåðå òðè âåðøèíû, âñåãäà åñòü äâå íåñîñåäíèõ
ñèìïëèöèàëüíûõ âåðøèíû.
Ñëåäñòâèå: Íåíàïðàâëåííûé ãðàô òðèàíãóëÿðåí òîãäà è òîëüêî
òîãäà, êîãäà âñå åãî âåðøèíû ìîæíî ýëèìèíèðîâàòü,
ïîñëåäîâàòåëüíî ýëèìèíèðóÿ ñèìïëèöèàëüíûå âåðøèíû.



Òðèàíãóëÿöèÿ

Ìû õîòèì äåéñòâîâàòü ïî èäåàëüíîé ýëèìèíèðóþùåé
ïîñëåäîâàòåëüíîñòè.
×òîáû îíà ñóùåñòâîâàëà, íóæíî, ÷òîáû ãðàô áûë
òðèàíãóëèðîâàí.
Íî ýòî íå îáÿçàòåëüíî òàê; çíà÷èò, íàäî òðèàíãóëèðîâàòü.
Îá ýòîì ÷óòü ïîçæå.



Äåðåâî ñìåæíîñòè

Äåðåâî ñìåæíîñòè (join tree) ýòî äåðåâî, âåðøèíàìè
êîòîðîãî ñëóæàò ýëåìåíòû Clique(G ) (êëèêè ãðàôà G), à ðåáðà
îðãàíèçîâàíû òàê, ÷òî äëÿ ëþáûõ äâóõ âåðøèí äåðåâà
ñìåæíîñòè C1, C2 ëþáàÿ âåðøèíà íà ïóòè îò C1 ê C2 ñîäåðæèò
èõ ïåðåñå÷åíèå C1 ∩ C2.



Äåðåâî ñìåæíîñòè: ïðèìåð



Äåðåâî ñìåæíîñòè è òðèàíãóëÿöèÿ

Òåîðåìà
Íåíàïðàâëåííûé ãðàô òðèàíãóëÿðåí òîãäà è òîëüêî òîãäà,
êîãäà äëÿ íåãî ñóùåñòâóåò äåðåâî ñìåæíîñòè.



Äåðåâî ñî÷ëåíåíèé

Äåðåâî ñî÷ëåíåíèé (junction tree) ìîðàëüíîãî ãðàôà ýòî åãî
äåðåâî ñìåæíîñòè, ãäå êàæäîé âåðøèíå äîïîëíèòåëüíî
ïðèïèñàíû óñëîâíûå âåðîÿòíîñòè èñõîäíîé ÁÑÄ, îáëàñòè
îïðåäåëåíèÿ êîòîðûõ ïîëíîñòüþ ñîäåðæàòñÿ â
ñîîòâåòñòâóþùåé êëèêå ìîðàëüíîãî ãðàôà, à êàæäûé èç
ñåïàðàòîðîâ ñîäåðæèò äâà ïî÷òîâûõ ÿùèêà, ïðåäíàçíà÷åííûõ
äëÿ ïåðåäà÷è ïåðåñ÷èòàííûõ òåíçîðîâ óñëîâíûõ âåðîÿòíîñòåé â
îäíó è äðóãóþ ñòîðîíó.
Êîíå÷íî, ðåàëüíî äåðåâî ñìåæíîñòè è äåðåâî ñî÷ëåíåíèé íå
îòëè÷àþòñÿ.


Äåðåâî ñî÷ëåíåíèé: ïðèìåð



Äåðåâî ñî÷ëåíåíèé

Äåðåâî ñî÷ëåíåíèé îñíîâíîé îáúåêò, íà êîòîðîì áóäåò
äåéñòâîâàòü àëãîðèòì.
Êàê åãî ïîñòðîèòü?
Äëÿ ýòîãî íóæíî ïîñòðîèòü èäåàëüíóþ íóìåðàöèþ.



Èäåàëüíàÿ íóìåðàöèÿ

Ôèêñèðóåì ãðàô G = (V , E ). Íóìåðàöèÿ
σ : {1, . . . , |V |} −→ V

íàçûâàåòñÿ èäåàëüíîé, åñëè äëÿ âñÿêîãî i ìíîæåñòâî âåðøèí
Fam(σ(i )) ∩ σ({1, . . . , i })

èíäóöèðóåò ïîëíûé ïîäãðàô G.



Àëãîðèòì ïîñòðîåíèÿ èäåàëüíîé íóìåðàöèè

Äëÿ âñåõ i îò 1 äî |V |:
íàéòè åùå íå ïðîíóìåðîâàííóþ âåðøèíó x , äëÿ êîòîðîé
|Fam(x ) ∩ σ(1, . . . , i − 1)| ìàêñèìàëüíà (åñëè òàêèõ âåðøèí
íåñêîëüêî, âûáðàòü ëþáóþ ïðîèçâîëüíûì îáðàçîì);
i
ïðèñâîèòü åé íîìåð , ò.å. ïîëîæèòü σ(i ) = x .
Âûäàòü ïîëó÷åííóþ íóìåðàöèþ.



Àëãîðèòì òðèàíãóëÿöèè

Ïðîñòåéøèé àëãîðèòì òðèàíãóëÿöèè çàïóñòèòü àëãîðèòì,
ïîëó÷èòü ¾èäåàëüíóþ¿ íóìåðàöèþ, à ïîòîì ñäåëàòü å¼
èäåàëüíîé:
Ïîñòðîèòü íóìåðàöèþ σ ïðè ïîìîùè ïðåäûäóùåãî
àëãîðèòìà.
Äëÿ âñåõ i îò |V | äî 1:
E = E ∪ {(x , y ) |
| x , y ∈ Fam(σ(i )) ∩ σ({1, . . . , i − 1}, (x , y ) ∈ E }.
/

Âûäàòü ãðàô (V , E ).



Àëãîðèòì ïîñòðîåíèÿ äåðåâà ñìåæíîñòè

C = ∅.
E = ∅.
Äëÿ âñåõ i îò 1 äî |V |:
íàéòè åùå íå ïðîíóìåðîâàííóþ âåðøèíó x , äëÿ êîòîðîé
|Fam(x ) ∩ σ(1, . . . , i − 1)| ìàêñèìàëüíà (åñëè òàêèõ âåðøèí
íåñêîëüêî, âûáðàòü ëþáóþ ïðîèçâîëüíûì îáðàçîì);
i
ïðèñâîèòü åé íîìåð , ò.å. ïîëîæèòü σ(i ) = x ;
Ci = {Fam(σ(i )) ∩ σ({1, . . . , i })};
C = C ∪ {Ci };
E = E ∪ (Ci , Cj ), ãäå j = maxk i ,(i ,k )∈E k .
Äëÿ âñåõ i îò 1 äî |V |, åñëè Ci ïîëíîñòüþ ñîäåðæèòñÿ â
îäíîì èç ñâîèõ ñîñåäåé (∃j : Ci ⊆ Cj ∧ (Ci , Cj ) ∈ E ), òî
óäàëèòü Ci èç C è ñîåäèíèòü ñîñåäåé Ci íàïðÿìóþ.
Âûäàòü ãðàô (C , E ).


Ñõåìà àëãîðèòìà

Èòàê, âîò ÷òî ó íàñ ïîêà åñòü:
Ìîðàëèçîâàòü áàçîâûé ãðàô ÁÑÄ.
Òðèàíãóëèðîâàòü ìîðàëüíûé ãðàô.
Ïîñòðîèòü äåðåâî ñìåæíîñòè (îíî æå äåðåâî ñî÷ëåíåíèé).
Âûïîëíÿòü ñîáñòâåííî ïðîïàãàöèþ.
Ïåðâûå òðè øàãà ìû óæå ðàññìîòðåëè, äåëî çà ÷åòâ¼ðòûì.



Ñáîð ñâåäåíèé

Ýòî ïåðâûé ýòàï àëãîðèòìà. Ïðåäïîëîæèì, ÷òî ìû õîòèì
íàéòè z.
Ñíà÷àëà íóæíî íàéòè âåðøèíó äåðåâà ñî÷ëåíåíèé,
ñîäåðæàùóþ z. Â äàííîì ñëó÷àå òàêàÿ êëèêà îäíà {v , z }.
Ýòà êëèêà ñòàíîâèòñÿ âðåìåííûì êîðíåì äåðåâà, à
îñòàëüíûå âåðøèíû, íà÷èíàÿ ñ ëèñòüåâ, ïîñûëàþò ê
âðåìåííîìó êîðíþ ñîîáùåíèÿ, â êîòîðûõ çàïèñàí
ðåçóëüòàò ñóììèðîâàíèÿ ïî ïåðåìåííûì, íå ñîäåðæàùèìñÿ
â áëèæàéøåì ñåïàðàòîðå.
Êàæäàÿ âåðøèíà ïîñûëàåò ñîîáùåíèå ¾íàâåðõ¿ òîãäà,
êîãäà îíà ïîëó÷èëà âñå ñîîáùåíèÿ ¾ñíèçó¿.



Ïåðâûå äâà øàãà



Óñëîâèå ïåðåäà÷è ñîîáùåíèÿ

Âåñü àëãîðèòì ìîæíî ïðåäñòàâèòü êàê ïîñëåäîâàòåëüíóþ
ïåðåäà÷ó ñîîáùåíèé ìåæäó óçëàìè òîãäà, êîãäà âûïîëíÿåòñÿ
óñëîâèå:
Ïóñòü â ìîðàëüíîì ãðàôå åñòü êëèêà C, êîòîðîé ñîîòâåòñòâóåò
íàáîð ðàñïðåäåëåíèé âåðîÿòíîñòåé ΨC , à ó íåå ñîñåäíèé
ñåïàðàòîð S. Ïóñòü îñòàëüíûå ñîñåäè C S1, . . . , Sk óæå
ïîëó÷èëè ñîîáùåíèÿ Ψi îò ñâîèõ äðóãèõ ñîñåäåé, ò.å. âî
âõîäÿùèõ ïî÷òîâûõ ÿùèêàõ S1, . . . , Sk óæå ëåæàò ãîòîâûå
ðàñïðåäåëåíèÿ âåðîÿòíîñòåé. Íàçîâåì òàêóþ ñèòóàöèþ
óñëîâèåì ïåðåäà÷è ñîîáùåíèÿ.



Àëãîðèòì

Íà ýòàïå ñáîðà ñâåäåíèé óñëîâèå âûïîëíÿåòñÿ ñíèçó ââåðõ,
è óçëû ïåðåäàþò ñîîáùåíèÿ íàâåðõ.
Ïîòîì, êîãäà ìû äîáðàëèñü äî êîðíÿ è ïåðåñ÷èòàëè òàì,
ìû íà÷èíàåì äâèãàòüñÿ îáðàòíî; óñëîâèå íå ìåíÿåòñÿ, íî
òåïåðü îíî ðàáîòàåò äëÿ âñåõ èñõîäÿùèõ ñåïàðàòîðîâ.
Àëãîðèòì çàêàí÷èâàåò ðàáîòó, êîãäà ïóñòûõ ïî÷òîâûõ
ÿùèêîâ áîëüøå íåò.



Àëãîðèòì

Àëãîðèòìó àáñîëþòíî âñ¼ ðàâíî, åñòü ëè â ñåòè êàêèå-òî
îçíà÷èâàíèÿ èëè íåò. Åñëè îíè åñòü, çíà÷åíèÿ
âåðîÿòíîñòåé èçìåíÿòñÿ, è òîëüêî. Ñòðóêòóðà àëãîðèòìà
îñòàíåòñÿ ïðåæíåé.
Íà ñàìîì äåëå òàêàÿ ñõåìà áàéåñîâñêîãî âûâîäà ñ
ïåðåäà÷åé ñîîáùåíèé îò îäíîãî óçëà ê äðóãîìó ïî
ãðàôó âñòðå÷àåòñÿ î÷åíü ÷àñòî è â äðóãèõ àïïàðàòàõ,
ðåàëèçóþùèõ áàéåñîâñêèé âûâîä.
Ìîðàëüíûå ãðàôû è äåðåâüÿ ñî÷ëåíåíèé ýòî
BBN-specic, à âîò îáùàÿ ñõåìà îáìåíà ÷àñòè÷íî
ìàðãèíàëèçîâàííûìè ðàñïðåäåëåíèÿìè î÷åíü îáùàÿ
èäåÿ.
Ýòèì ìû è áóäåì çàíèìàòüñÿ â äàëüíåéøåì.


Ñïàñèáî çà âíèìàíèå!

Lecture notes è ñëàéäû áóäóò ïîÿâëÿòüñÿ íà ìîåé
homepage:
http://logic.pdmi.ras.ru/∼sergey/index.php?page=teaching
Ïðèñûëàéòå ëþáûå çàìå÷àíèÿ, ðåøåíèÿ óïðàæíåíèé,
íîâûå ÷èñëåííûå ïðèìåðû è ïðî÷åå ïî àäðåñàì:
sergey@logic.pdmi.ras.ru, snikolenko@gmail.com
Çàõîäèòå â ÆÆ smartnik.


20080330 machine learning_nikolenko_lecture07

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (13)

En vedette

En vedette (20)

Plus de Computer Science Club

Plus de Computer Science Club (20)

20080330 machine learning_nikolenko_lecture07