20080323 machine learning_nikolenko_lecture05

Îñíîâíàÿ èäåÿ
Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå
Äðóãèå ñþæåòû

Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû

Ñåðãåé Íèêîëåíêî

w—™hine ve—rning " gƒ glu˜D âåñíà PHHV

Ñåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû

Îñíîâíàÿ èäåÿ Èäåÿ
Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Ïðåäñòàâëåíèå äàííûõ
Äðóãèå ñþæåòû Ãåíåòè÷åñêèå îïåðàöèè
Àëãîðèòì

Outline

1 Îñíîâíàÿ èäåÿ
Èäåÿ
Ïðåäñòàâëåíèå äàííûõ
Ãåíåòè÷åñêèå îïåðàöèè
Àëãîðèòì
2 Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå
Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà
Ïðèìåð
3 Äðóãèå ñþæåòû
Ëàìàðê è Áîëäóèí
Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â
Àëãîðèòì èìèòàöèè îòæèãà

Àëãîðèòì

Ýâîëþöèÿ

Ãåíåòè÷åñêèå àëãîðèòìû òîæå ñïèñàíû ñ ïðèðîäûF
Îðãàíèçìû ýâîëþöèîíèðóþò ñî âðåìåíåìD èçìåíÿÿ ñâîé
ãåíîòèïF
Ìåõàíèçì äàðâèíîâñêîé ýâîëþöèèX
Ðîäèëîñü íîâîå ïîêîëåíèå.
Èç íåãî ÷àñòü îñîáåé âûðîñëà è äàëà ïîòîìñòâî, ÷àñòü
ïîãèáëà.
Ïîãèáàþò íåïðèñïîñîáëåííûå, âûæèâàþò
ïðèñïîñîáëåííûå, ó ïîòîìêîâ îñòàþòñÿ ëó÷øèå ÷åðòû.


Àëãîðèòì

Îñíîâíûå êîìïîíåíòû

Ïðîñòðàíñòâî ãèïîòåçD èç êîòîðûõ ìû äîëæíû âûáðàòü
ëó÷øóþ
Ôóíêöèÿ ïðèñïîñîáëåííîñòè Fitness
Íàáîð ãåíåòè÷åñêèõ îïåðàöèéD êîòîðûå ìîæíî ïðèìåíÿòüX
Îïåðàöèè ñêðåùèâàíèÿ (êðîññîâåð) ðàçìíîæåíèå
îñîáåé.
Ìóòàöèè ðåäêèå èçìåíåíèÿ îòäåëüíûõ îñîáåé.
Öåëåâîå çíà÷åíèå Fitnessmax D ê êîòîðîìó ìû ñòðåìèìñÿ


Àëãîðèòì

Îáùàÿ ñõåìà àëãîðèòìà

Ñãåíåðèðîâàòü íà÷àëüíóþ ïîïóëÿöèþF
Ïîêà íå äîñòèãíóòî çíà÷åíèåD áîëüøåå Fitnessmax X
Âûáðàòü ÷àñòü ñóùåñòâóþùåé ïîïóëÿöèè (îòäàâàÿ
ïðåäïî÷òåíèå áîëåå ïðèñïîñîáëåííûì îñîáÿì).
Ïðèìåíèòü ê ýòîé ÷àñòè ãåíåòè÷åñêèå îïåðàöèè, ïîðîäèâ
ïîòîìêîâ.
Ïîäñ÷èòàòü Fitness äëÿ îñîáåé íîâîé ïîïóëÿöèè.


Àëãîðèòì

Ïðåäñòàâëåíèå ãèïîòåç

×òîáû óñïåøíî ïðèìåíÿòü ãåíåòè÷åñêèå àëãîðèòìûD ãèïîòåçû
æåëàòåëüíî ïðåäñòàâëÿòü â âèäå ñòðîêè áèòîâF Òîãäà ñ íèìè
ëåãêî äåëàòü ÷òî óãîäíîF Íî êàê ïðåäñòàâëÿòüc


Àëãîðèòì

Ïðåäñòàâëåíèå ãèïîòåç: ïðèìåð

Âñïîìíèì ïðèìåð äåðåâà
ïðèíÿòèÿ ðåøåíèéF
ÃèïîòåçàD îíà æå îñîáü
ïîïóëÿöèè ýòî â äàííîì
ñëó÷àå ïðàâèëîD îïèñûâàþùåå
ïîâåäåíèå öåëåâîé ôóíêöèèF À
Fitness ýòî òîD íàñêîëüêî
õîðîøî ïðàâèëî ñîîòâåòñòâóåò
òåñòîâûì ïðèìåðàìF


Àëãîðèòì


ÍàïðèìåðD äëÿ ôóíêöèèD
çàäàííîé ýòèì äåðåâîìD
ãèïîòåçà

(x1 = H) ∧ (x2 = I) =⇒ (f = H)

áóäåò áîëåå ïðèñïîñîáëåííîéD
÷åì ãèïîòåçà

(x1 = H) =⇒ (f = H).


Àëãîðèòì


Êàê çàäàòü ãèïîòåçó ñòðîêîé èç
áèòc


Àëãîðèòì


Êàê çàäàòü ãèïîòåçó ñòðîêîé èç
áèòc
Ëîãè÷íàÿ èäåÿX çàêîäèðîâàòü
êàæäóþ áóëåâñêóþ ïåðåìåííóþ
áèòîìY íàïðèìåðD ãèïîòåçà

(x1 = I)∧(x2 = H)∧(x3 = I) ⇒
⇒ (f = I)

ïðåäñòàâëÿåòñÿ êàê

x1 x2 x3 f
I H I I

Àëãîðèòì


Íî êàê òîãäà çàêîäèðîâàòü
ãèïîòåçó

(x1 = H) ∧ (x2 = I) ⇒ (f = H)?

x1 x2 x3 f
H I ??? H


Àëãîðèòì

Ïðåäñòàâëåíèå ãèïîòåç

Îáû÷íî äëÿ êîäèðîâàíèÿ ãèïîòåç èñïîëüçóþò ïî îäíîìó áèòó
íà êàæäîå çíà÷åíèå àòðèáóòàY åñëè ñòîèò ID çíà÷èòD ýòî
çíà÷åíèå ó÷àñòâóåò â ïîñûëêå ãèïîòåçûY çíà÷åíèÿ îäíîãî è òîãî
æå àòðèáóòà ñîåäèíÿþòñÿD êîíå÷íîD êàê y‚F

x1 x2 x3 f
IH HI II I
Ñòðîêà II çíà÷èòD ÷òî íà ýòîò àòðèáóò ìîæíî íå îáðàùàòü
âíèìàíèÿF À äëÿ öåëåâîé ôóíêöèè ìîæíî îñòàâèòü îäèí áèò
ãèïîòåçà ñî ñëåäñòâèåì ¾áóäåò êàêîåEòî çíà÷åíèå¿ íå èìååò
ñìûñëàF


Àëãîðèòì

Ãèïîòåçû èç íåñêîëüêèõ ïðàâèë

Äî ñèõ ïîð ìû êîäèðîâàëè
îäíî ïðàâèëî @îäíó âåòêó
äåðåâàAF ÍîD íàïðèìåðD ýòî
äåðåâî ñîîòâåòñòâóåò
íåñêîëüêèì ïðàâèëàìF Èõ ìû
áóäåì çàïèñûâàòü ïðîñòîé
êîíêàòåíàöèåé ñòðîêF
Óïðàæíåíèå. Âûðàçèòü ýòî
äåðåâî áèòîâîé ñòðîêîé ïî
íàøåé ñõåìåF


Àëãîðèòì

Êðîññîâåð

Ïðè ðàçìíîæåíèè îñîáü äîëæíà óíàñëåäîâàòü ÷åðòû îáîèõ
ïðåäêîâF Êàê ýòîãî äîñòè÷ü íà áèòîâûõ ñòðîêàõc


Àëãîðèòì

Êðîññîâåð

Ïðè ðàçìíîæåíèè îñîáü äîëæíà óíàñëåäîâàòü ÷åðòû îáîèõ
ïðåäêîâF Êàê ýòîãî äîñòè÷ü íà áèòîâûõ ñòðîêàõc

Êðîññîâåð @™rossoverA îïåðàöèÿD êîòîðàÿ ïî çàäàííîé
ìàñêå äåëàåò èç äâóõ ñòðîê îäíóF
Åñòü íåñêîëüêî ðàçíûõ âèäîâ êðîññîâåðàF


Àëãîðèòì

Âèäû êðîññîâåðà

ƒingleEpoint ™rossoverX

Èñõîäíûå ñòðîêè Ìàñêà Ðåçóëüòàò
10011HIHII
HHIHI01100 IIIIIHHHHH IHHIIHIIHH


Àëãîðèòì


hou˜leEpoint ™rossover

IHH11010II
001HIHII00 HHHIIIIIHH HHIHIHIIHH


Àëãîðèòì


…niform ™rossover

I00I1HI01I
0HI0I01IH0 HIIHIHHIIH HHHHIHIHIH


Àëãîðèòì

Êðîññîâåð íà ñòðîêàõ ïåðåìåííîé äëèíû

Âñå ýòè âèäû äëÿ ñòðîê îäèíàêîâîé äëèíûF Íî íàøè
ãèïîòåçû èç íåñêîëüêèõ ïðàâèëD è ñòðîêè ðàçíîé äëèíûF

×òî äåëàòüc


Àëãîðèòì


ÐåøåíèåX
Èñïîëüçóåì dou˜leEpoint ™rossover òàêD ÷òîáû ñîõðàíÿòü
ïîñòîÿííîå ðàññòîÿíèå äî êðà¼â ïðàâèëF
ÍàïðèìåðD ïðàâèëà äëèíû SD è ìû ñëó÷àéíî âûáðàëè äâå
òî÷êè èç ãèïîòåçû
H[HIHI IIH]IH.
Òîãäà âî âòîðîé ãèïîòåçå íóæíî âûáèðàòü òàêèå òî÷êèD
÷òîáû ðàññòîÿíèå îò ëåâîé òî÷êè äî ëåâîãî êðàÿ ïðàâèëà è
îò ïðàâîé òî÷êè äî ïðàâîãî êðàÿ ïðàâèëà áûëè òåìè æåF
ÍàïðèìåðD â ïðàâèëå äëèíû IS ìîãóò áûòü âàðèàíòûX
I[IH]II HIHIH HIIIH I[IHII HIH]IH HIIIH
I[IHII HIHIH HII]IH IIHII H[IH]IH HIIIH
IIHII H[IHIH HII]IH IIHII HIHIH H[II]IH

Àëãîðèòì


Òåïåðü êðîññîâåð áóäåò ïîðîæäàòü êîððåêòíûå ãèïîòåçûX
Èñõîäíûå ñòðîêè Ðåçóëüòàò

H‘HIHI IIH“IH HIHIH
I‘IH“II HIHIH HIIIH IHIHI IIHII HIHIH HIIIH


Àëãîðèòì

Ìóòàöèè

Ìóòàöèè íà áèòîâûõ ñòðîêàõX
Èçìåíèòü îäèí ñëó÷àéíûé áèòF
Ñäåëàòü íåñóùåñòâåííûì @çàáèòü åäèíè÷êàìèA îäèí
ñëó÷àéíûé àòðèáóòF
FFF


Àëãîðèòì

Fitness

Ôóíêöèÿ Fitness äîëæíà çàâèñåòü îò òîãîD íàñêîëüêî
õîðîøî ãèïîòåçà ñïðàâëÿåòñÿ ñ çàäà÷åéF
Â ñëó÷àå çàäà÷è êëàññèôèêàöèè ðàçóìíàÿ ôóíêöèÿX

Correct(h)
Fitness(h) = TotalExamples
2
,

ãäå Correct(h) êîëè÷åñòâî ïðèìåðîâD âåðíî
ðàñêëàññèôèöèðîâàííûõ ãèïîòåçîé hD TotalExamples
îáùåå êîëè÷åñòâî ïðèìåðîâF


Àëãîðèòì

Âñïîìíèì îáùóþ ñõåìó

ïîòîìêîâ.


Àëãîðèòì

×òî îñòàëîñü

Ìû óæå íàó÷èëèñüX
Äåëàòü êðîññîâåðF
ÌóòèðîâàòüF
Ïîäñ÷èòûâàòü ôóíêöèþ FitnessF
Îñòàëîñü
Íàó÷èòüñÿ âûáèðàòü ñàìûõ ïðèñïîñîáëåííûõF


Àëãîðèòì

Âûáîð ñàìûõ ïðèñïîñîáëåííûõ

Çàäà¼ì äîëþ âûæèâøèõ s îñòàëüíàÿ ÷àñòü ïîïóëÿöèè
áóäåò çàìåíåíà íà ðåçóëüòàòû êðîññîâåðà äðóãîé ÷àñòèF
Íóæíî âûáðàòü sN ãèïîòåç èç ïîïóëÿöèè ðàçìåðà NF

Ìåòîä ðóëåòêè @roulette wheel sele™tionAX ó êàæäîé ãèïîòåçû
hi âåðîÿòíîñòü áûòü âûáðàííîé

Pr (hi ) =
Fitness(hi )
N Fitness(h )
j =1 j


Àëãîðèòì



Òóðíèðíûé ìåòîä @tourn—ment sele™tionAX ñëó÷àéíî
âûáèðàåì äâå ãèïîòåçûF Ñ ôèêñèðîâàííîé âåðîÿòíîñòüþ p
âûæèâàåò áîëåå ïðèñïîñîáëåííàÿD ñ âåðîÿòíîñòüþ I − p
ìåíåå ïðèñïîñîáëåííàÿF


Àëãîðèòì



Ðàíãîâûé ìåòîä @r—nking sele™tionAX ñíà÷àëà ñîðòèðóåì
ãèïîòåçû ïî ïðèñïîñîáëåííîñòèF Çàòåì êàê â ìåòîäå
ðóëåòêèD íî âåðîÿòíîñòü âûæèòü ïðîïîðöèîíàëüíà íå
çíà÷åíèþ Fitness(h)D à ìåñòóD êîòîðîå çàíÿëà ãèïîòåçàF


Àëãîðèòì



Ìû áóäåì èñïîëüçîâàòü ìåòîä ðóëåòêèF


Àëãîðèòì

Àëãîðèòì

Genetic (N , p , s , m, Fitness, Fitnessmax )
Ñîçäàòü N ñëó÷àéíûõ ãèïîòåç H = {h1 , . . . , hn }.
Äëÿ êàæäîé ãèïîòåçû h ∈ H âû÷èñëèòü Fitness(h).
Ïîêà maxh Fitness(h) Fitnessmax :
H = ∅.
Ñëó÷àéíî âûáðàòü sN ãèïîòåç èç H è äîáàâèòü èõ â H .
Âåðîÿòíîñòü âûáðàòü ãèïîòåçó hi Pr (hi ) = NFitness(hi )(hj ) .
j Fitness
=1

Ñëó÷àéíî âûáðàòü 2 ïàð ãèïîòåç èç H ñ òåìè æå
(1−s )p

âåðîÿòíîñòÿìè. Äëÿ êàæäîé ïàðû (hi , hj ) çàïóñòèòü
îïåðàöèþ êðîññîâåðà è äîáàâèòü å¼ ðåçóëüòàò â H .
Ðàâíîìåðíî âûáðàòü mN ñëó÷àéíûõ ãèïîòåç èç H è â
êàæäîé èç íèõ èíâåðòèðîâàòü ñëó÷àéíûé áèò.
H=H .
Äëÿ êàæäîé ãèïîòåçû h ∈ H âû÷èñëèòü Fitness(h).
Âûäàòü argmaxÑåðãåé Íèêîëåíêî Ãåíåòè÷åñêèå àëãîðèòìû è äðóãèå ñþæåòû
Fitness(h).

Îñíîâíàÿ èäåÿ Îñíîâíàÿ èäåÿ
Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Íà÷àëüíûå äàííûå è ïîäðîáíàÿ ñõåìà
Ïðèìåð

Outline

Èäåÿ
Àëãîðèòì
Ïðèìåð

Ïðèìåð

Èñòîðèÿ

Åù¼ Òüþðèíã ïèñàë î ãåíåðàöèè ïðîãðàìì ïîñðåäñòâîì
ìóòàöèé è åñòåñòâåííîãî îòáîðàF
Çàòåì îá ýòîì âñïîìíèëè â ñåðåäèíå IWVHEõD áûëà
ðàçðàáîòàíà îñíîâíàÿ ïàðàäèãìàF


Ïðèìåð

Óñïåõè ãåíåòè÷åñêîãî ïðîãðàììèðîâàíèÿ

Áûë ïîëó÷åí ðÿä ðåçóëüòàòîâD êîòîðûå âïîëíå ìîãóò
ñîïåðíè÷àòü ñ ÷åëîâå÷åñêèìèF
ÍàïðèìåðD â PHHP ãîäó áûëè ðàçðàáîòàíû òðè
àâòîìàòè÷åñêèõ êîíòðîëëåðàD êîòîðûå áûëè ëó÷øåD ÷åì
âñå ðàíåå èçâåñòíûåF Íà ýòè êîíòðîëëåðû ïîäàíà
ïàòåíòíàÿ çàÿâêàD êîòîðóþD ñêîðåå âñåãîD óäîâëåòâîðÿòF
Ôàêòè÷åñêèD ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå óæå ìîæåò
ñîâåðøàòü íàñòîÿùèå îòêðûòèÿF
ÑìF http://www.genetic-programming.com


Ïðèìåð

Ãåíåòè÷åñêèå àëãîðèòìû

Âñïîìíèì ñõåìó ãåíåòè÷åñêîãî àëãîðèòìàX
ïîòîìêîâ.


Ïðèìåð

Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå

Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå ïðèìåíåíèå
ãåíåòè÷åñêèõ àëãîðèòìîâD ïîïóëÿöèåé êîòîðûõ ÿâëÿþòñÿ
ïðîãðàììû @àëãîðèòìûAF
ÒFåF ôàêòè÷åñêè ìû óæå çíàåìD ÷òî äåëàòüF Äàâàéòå
êîíêðåòèçèðóåìF


Ïðèìåð

Íà÷àëüíûå äàííûå

Ìû áóäåì ñòðîèòü ïðîãðàììó êàê äåðåâîF ×åëîâåê äîëæåí
óêàçàòüX
Íàáîð òåðìèíàëîâ íåçàâèñèìûõ ïåðåìåííûõD íóëüàðíûõ
ôóíêöèéD êîíñòàíò êîòîðûå áóäóò ñòîÿòü â ëèñòüÿõ
äåðåâàF
Íàáîð ïðèìèòèâíûõ ôóíêöèéD êîòîðûå áóäóò â äðóãèõ
óçëàõ äåðåâàF
Ìåðó ïðèñïîñîáëåííîñòè @(tness me—sureAF
Ïàðàìåòðû çàïóñêà ïðîãðàììû @óâèäèì íèæåAF
Êðèòåðèé îñòàíîâêè è öåëü âñåãî ïðîöåññàF


Ïðèìåð

Áîëåå ïîäðîáíàÿ ñõåìà


Ïðèìåð

Ñëó÷àéíîå ïîðîæäåíèå

Ñëó÷àéíî âûáèðàåì óçëû èç ñïèñêàD âêëþ÷àÿ òåðìèíàëûD
à çàòåì ãåíåðèðóåì ñëåäóþùèå óðîâíè íà îñíîâå àðíîñòè
âûáðàííûõ ôóíêöèéF
Ìîæíî çàäàòü ìàêñèìàëüíóþ ãëóáèíóF


Ïðèìåð

Ìóòàöèÿ

Âûáðàòü ñëó÷àéíûé óçåë è âûðàñòèòü èç íåãî íîâóþ
ñëó÷àéíóþ ïðîãðàììóF
Óçåë íå îáÿçàòåëüíî äîëæåí áûòü ëèñòîì


Ïðèìåð

Êðîññîâåð

Âûáðàòü äâå ñëó÷àéíûå ïðîãðàììûF
Âûáðàòü â íèõ äâà ñëó÷àéíûõ óçëà è ïîìåíÿòü ìåñòàìè
ïîääåðåâüÿD ðàñòóùèå èç ýòèõ óçëîâ
ÂàðèàíòX îäíó èç ïðîãðàìì íå òðîãàòüD òîëüêî ñêîïèðîâàòü
å¼ ïîääåðåâî âî âòîðóþF


Ïðèìåð

Ïîñòàíîâêà çàäà÷è

Áóäåì ðåàëèçîâûâàòü ïðîãðàììóD ïîäñ÷èòûâàþùóþ
ôóíêöèþ x 2 + x + IF
Ìíîæåñòâî òåðìèíàëîâ îäíà ïåðåìåííàÿ x è êîíñòàíòû
@íàïðèìåðD îò −S äî SAF
Ìíîæåñòâî ýëåìåíòàðíûõ ôóíêöèé {+, −, ∗, %}F


Ïðèìåð


Êàêóþ âûáðàòü ôóíêöèþ îøèáêèc


Ïðèìåð


Êàêóþ âûáðàòü ôóíêöèþ îøèáêèc
Ôóíêöèÿ îøèáêè èíòåãðàë îò ðàçíîñòè ìåæäó
ôóíêöèåéD êîòîðóþ ðåàëèçóåò ïðîãðàììà èç ïîïóëÿöèèD è
öåëåâîé ôóíêöèåé x 2 + x + IF


Ïðèìåð

Ïåðâûé øàã

Ñãåíåðèðîâàëè ñëó÷àéíóþ ïîïóëÿöèþX


Ïðèìåð

Ïåðâûé øàã

Å¼ ïðèñïîñîáëåííîñòü äàëåêà îò èäåàëàX


Ïðèìåð

Âòîðîé øàã

Âûáðàëè @—A äëÿ âîñïðîèçâîäñòâàF
Âûáðàëè @™A äëÿ ìóòàöèèD ïîìåíÿëè P íà äåðåâîD
ïîäñ÷èòûâàþùåå (x x )F %
Âûáðàëè @—A è @˜A äëÿ êðîññîâåðàD ïîìåíÿëè ìåñòàìè
äåðåâî ñ êîðíåì â + è xF

Ïðèìåð

Ïîñëå âòîðîãî øàãà

Ïîëó÷èëîñüX

Îñòàëîñü ïîäñ÷èòàòü ôóíêöèþ ïðèñïîñîáëåííîñòè íîâîé
ïîïóëÿöèè è óáåäèòüñÿD ÷òî â íåé åñòü èäåàëüíàÿ îñîáüF


Îñíîâíàÿ èäåÿ Ëàìàðê è Áîëäóèí
Ãåíåòè÷åñêîå ïðîãðàììèðîâàíèå Îïòèìèçàöèÿ ïðè ïîìîùè êîëîíèè ìóðàâü¼â
Äðóãèå ñþæåòû Àëãîðèòì èìèòàöèè îòæèãà

Outline

Èäåÿ
Àëãîðèòì
Ïðèìåð


Ëàìàðê

Æàí Áàòèñò Ïüåð Àíòóàí äå ÌîíåD øåâàëüå äå Ëàìàðê
@IURR!IVPWA ñîçäàë ïåðâóþ òåîðèþ áèîëîãè÷åñêîé
ýâîëþöèèF
Ó Ëàìàðêà îðãàíèçìû èçìåíÿëèñü ïîä âîçäåéñòâèåì
îêðóæàþùåé ñðåäû è óñëîâèé èõ æèçíåäåÿòåëüíîñòèF
Áèîëîãè÷åñêè Äàðâèí âñ¼Eòàêè áûë ïðàâF Íî äëÿ
ìàøèííîãî îáó÷åíèÿ ìîæíî è òàêèå ìåòîäû èñïîëüçîâàòüX
ïðîãðàììêè îáó÷àþòñÿ ïî õîäó æèçíè è ïåðåäàþò ýòî
ïîòîìêàìF



Áîëäóèí

Ýôôåêò Áîëäóèíà âîçíèêàåòD êîãäà íóæíî ó÷åñòü
îáó÷àåìîñòü îñîáåé â ïîïóëÿöèèF
Âìåñòî òðåòüåé ðóêè ìîæíî âûðàùèâàòü ñåáå ìîçãD
êîòîðûé áóäåò ëó÷øå óïðàâëÿòü ïåðâûìè äâóìÿF
À ïðè âûñîêîé îáó÷àåìîñòè @÷åëîâåêD íàïðèìåðA ãåíîòèï
èãðàåò î÷åíü ìàëåíüêóþ ðîëüF
Íåêèé tr—deo' ìåæäó ïðèñïîñîáëåííîñòüþ è îáó÷àåìîñòüþ
ìîæíî èññëåäîâàòü è â ìàøèííîì îáó÷åíèèF



Ýôôåêò Áîëäóèíà è íåéðîííûå ñåòè

Äàâàéòå ïðèìåíèì ýòî ê äâóì èçâåñòíûì íàì ìåòîäàìX
íåéðîííûì ñåòÿì è ãåíåòè÷åñêèì àëãîðèòìàìF
Îñîáü íåéðîííàÿ ñåòü ãëóáèíû P ñ N âõîäàìèD M
íåéðîíàìè íà ñêðûòîì óðîâíå è N íåéðîíàìè íà âûõîäåF
Ó òàêîé îñîáè îáðàçóþòñÿ (N + I)M + (M + I)N ãåíîâD
ñîîòâåòñòâóþùèõ âåñàì íåéðîííîé ñåòèF
Ïëþñ åù¼ ñòîëüêî æå áèíàðíûõ ãåíîâ ïëàñòè÷íîñòèD
êîòîðûå îïðåäåëÿþòD ìîæåò ëè âåñ èçìåíÿòüñÿ â ïðîöåññå
îáó÷åíèÿF




Èòåðàöèÿ àëãîðèòìà ñîñòîèò èç äâóõ ÷àñòåéF
Â òå÷åíèå ïåðâîé ÷àñòè èìåþùèåñÿ îñîáè îáó÷àþòñÿ íà
òåñòîâûõ ïðèìåðàõY ïðè ýòîì îáó÷åíèå ó÷èòûâàåò òàêæå
ãåíû ïëàñòè÷íîñòèX äëÿ âåñà w

∂Ev (w )
∆w = −ηp ,
∂w
v ∈V
ãäå η ñêîðîñòü îáó÷åíèÿD V òåñòîâûå ïðèìåðûD Ev
ôóíêöèÿ îøèáêèD à p ñîîòâåòñòâóþùèé w ãåí
ïëàñòè÷íîñòèF




Íà âòîðîì ýòàïå îáó÷åííûå íåéðîííûå ñåòè ó÷àñòâóþò â
ãåíåòè÷åñêèõ îïåðàöèÿõF
ÍàïðèìåðD ñ ôóíêöèåé ïðèñïîñîáëåííîñòè
N −1
I
Fitness = I.H − NPN (Outv ,i − Targetv ,i )2 ,
v ∈ V i =0
ãäå Targetv ,i çíà÷åíèå öåëåâîé ôóíêöèè íà iEì âûõîäå
ñåòè â v Eì òåñòîâîì ïðèìåðåD à Outv ,i ðåàëüíûé âûõîä
iEãî âûõîäíîãî íåéðîíà ñåòèF



Ðåçóëüòàòû

Â ðåçóëüòàòå ïîëó÷àåòñÿ òàêîå ïîâåäåíèåX ïîíà÷àëó â
ïîïóëÿöèè æèâóò â îñíîâíîì ëåãêîîáó÷àåìûå îñîáè ñ
ìàëûì êîëè÷åñòâîì çàôèêñèðîâàííûõ ãåíîâ ïëàñòè÷íîñòèF
Ïîòîì îíè ïîíåìíîãó îáó÷àþò òîò èëè èíîé âåñ è åãî
ôèêñèðóþòY â êîíå÷íîì ñ÷¼òå ïîíåìíîãó âûäåëÿåòñÿ
îïòèìàëüíàÿ îñîáü ñî âñåìè ôèêñèðîâàííûìè ãåíàìèF



Áèîëîãèÿ âîïðîñà

Âñ¼ íà÷àëîñü ñ ðàáîò ÏüåðàEÏîëÿ Ãðàññå ïðî
òåðìèòîâGìóðàâü¼âF
ÎêàçàëîñüD ÷òî ìóðàâüè îáìåíèâàþòñÿ èíôîðìàöèåé
ïîñðåäñòâîì ëîêàëüíûõ ñîîáùåíèéD îñòàâëÿåìûõ â
îêðóæàþùåé ñðåäåX ìóðàâüè îñòàâëÿþò ôåðîìîíûD êîãäà
èäóò ê åäå èëè îò åäûD à äðóãèå ìóðàâüè ìîãóò ýòè
ôåðîìîíû ÷óâñòâîâàòü è èçìåíÿòü ñâî¼ ïîâåäåíèåF
Ýêñïåðèìåíòû íàä ìóðàâüÿìè â ñâî¼ âðåìÿ êðèòèêîâàë
ÔåéíìàíD íî ñóòü îò ýòîãî íå òåðÿåòñÿF



Äâà ìîñòà

Êëàññè÷åñêèé ýêñïåðèìåíò äâà ìîñòàF
Îò ìóðàâü¼â ê åäå âåäóò äâà ìîñòà îäèíàêîâîé äëèíûF
Ïîíà÷àëó ìóðàâüè õîäÿò ðàâíîìåðíîF



Äâà ìîñòà

Ïîòîì èçEçà ôëóêòóàöèé îäèí ìîñò ñòàíîâèòñÿ ÷óòü áîëåå
ïîñåùàåìûìF
È ïðîøåäøèå ïî íåìó ìóðàâüè îñòàâëÿþò áîëüøå
ôåðîìîíîâD çíà÷èòD åù¼ áîëüøå ìóðàâü¼â èäóò òóäàD è
âñêîðå îíè âñå õîäÿò ïî îäíîìó ìîñòóF
Âîò ïðèìåð ïîëîæèòåëüíîé îáðàòíîé ñâÿçèF



Äâà ìîñòà

À åñëè ìîñòû îêàæóòñÿ ñóùåñòâåííî ðàçíîé äëèíûD òî
ïîëó÷èòñÿD ÷òî ïî áîëåå êîðîòêîìó ïóòè ìóðàâüè
âîçâðàùàþòñÿ ðàíüøåF
È òàì ðàíüøå îêàæåòñÿ áîëüøå ôåðîìîíîâF
È óæå íèêàêèõ ôëóêòóàöèé áóäåò âûáðàíà áîëåå
êîðîòêàÿ äîðîãàF
Ýòó ìûñëü è õî÷åòñÿ èñïîëüçîâàòü â ðåøåíèè çàäà÷
îïòèìèçàöèèF



Çàäà÷à êîììèâîÿæåðà

Åñòåñòâåííî ïîïðîáîâàòü ïðèìåíèòü ê çàäà÷å
êîììèâîÿæåðàF
Åñòü ïîëíûé ãðàô ñ ðàññòîÿíèÿìè íà ð¼áðàõD è åñòü íàáîð
èñêóññòâåííûõ ìóðàâü¼âF
Ïîýòîìó ó êàæäîãî ðåáðà åñòü åù¼ ïåðåìåííàÿ
¾ôåðîìîí¿F
Íà êàæäîì øàãå àëãîðèòìà ìóðàâåé âûáèðàåò ñëåäóþùóþ
âåðøèíó èç òåõD êîòîðûå îí åù¼ íå ïîñåùàëD ñ
âåðîÿòíîñòüþD ïðîïîðöèîíàëüíîé å¼ ôåðîìîíóF
À ïîòîì ïîäïðàâëÿåò çíà÷åíèå ýòîãî ôåðîìîíàF



Îáùàÿ ìîäåëü

Äàâàéòå ôîðìàëüíî çàïèøåì ìîäåëü çàäà÷è îïòèìèçàöèèF
S ïðîñòðàíñòâî âîçìîæíûõ ðåøåíèéD îïðåäåë¼ííîå íà
|D |
ìíîæåñòâå ïåðåìåííûõ Xi D ãäå Xi ∈ {vi1 , . . . , vi }F i

Ω íàáîð îãðàíè÷åíèéF
f : S → R öåëåâàÿ ôóíêöèÿF



Êîììèâîÿæ¼ð

Çàäà÷ó êîììèâîÿæ¼ðà ìîæíî îïèñàòü êàê íàáîð
ïåðåìåííûõ Xi D ïðèíèìàþùèõ çíà÷åíèÿ âî ìíîæåñòâå
âåðøèí V Y Xi = v çíà÷èòD ÷òî íà iEì øàãå ìû ïîéä¼ì â
âåðøèíó i @èç âåðøèíû Xi −1 AF
Êîìïîíåíòû ðåøåíèÿ âîçìîæíûå çíà÷åíèÿ êàæäîé èç
ïåðåìåííîé ýòî ð¼áðà cij = (i , j )Y òàêîå ðåáðî îçíà÷àåòD
÷òî ïîñëå i íóæíî èäòè â jF
Çíà÷åíèå ôåðîìîíà τij êàê ðàç è îïðåäåëÿåòñÿ íà ýòèõ
êîìïîíåíòàõF



Ìåòàñõåìà îïòèìèçàöèè ìóðàâüÿìè

ÈíèöèàëèçèðîâàòüF
Ïîêà íå âûïîëíåíî óñëîâèå îñòàíîâêèX
1 Ïîñòðîèòü ðåøåíèÿ ìóðàâü¼â.
2 Ïðèìåíèòü ëîêàëüíûé ïîèñê (íåîáÿçàòåëüíî).
3 Èçìåíèòü çíà÷åíèÿ ôåðîìîíîâ.



Äëÿ çàäà÷è êîììèâîÿæ¼ðà

I Ïîñòðîèòü ðåøåíèÿ ìóðàâü¼âF
Ìóðàâåé ñòðîèò ðåøåíèå èç cij F Íà÷èíàåò ñ ïóñòîãîX s0 = ∅F
Ïîòîì íà øàãå i äîáàâëÿåò îäíî ðåáðî èç íàáîðà
äîñòóïíûõ ð¼áåðF
Ôàêòè÷åñêè ïîëó÷àåòñÿ áëóæäàíèå ïî íàøåìó ïîëíîìó
ãðàôóF
Âûáîð ñëåäóþùåãî ðåáðà çàâèñèò îò êîíêðåòíîãî
àëãîðèòìà @÷óòü ïîçæåAF




P Ëîêàëüíûé ïîèñêF
Îáû÷íî â ðåàëüíûõ ïðèìåíåíèÿõ ïîñòðîåííûå íà øàãå I
ðåøåíèÿ îïòèìèçèðóþò ëîêàëüíûì ïîèñêîìF
ÍàïðèìåðD ìîæíî ñëó÷àéíûì îáðàçîì ïîìåíÿòü ïàðó
ð¼áåð è ïîñìîòðåòüD íå ïîëó÷èòñÿ ëè ëó÷øåD ÷åì áûëîF
Íî ýòî íåîáÿçàòåëüíûé øàãF




Q Èçìåíèòü çíà÷åíèÿ ôåðîìîíîâF
À òåïåðü íóæíî ïîäïðàâèòü ôåðîìîíû â ïðàâèëüíóþ
ñòîðîíóF
Îáû÷íî äåëàþò òàêX âîîáùå âñå ôåðîìîíû íåìíîæêî
èñïàðÿþòñÿD ïîñëå ÷åãî õîðîøèå ðåøåíèÿ ïîëó÷àþò
á¡ëüøóþ íàäáàâêóD ÷åì ïëîõèåF
î



Êîíêðåòíûå àëãîðèòìû: AS

ent ƒystemX èñòîðè÷åñêè ïåðâûé òàêîé àëãîðèòìF
Ôåðîìîí àïäåéòÿò âñå ìóðàâüèX
m
τij := (I − ρ)τij + ∆τk .
ij
k =1
Çäåñü ρ ñêîðîñòü èñïàðåíèÿD ∆τk êîëè÷åñòâî
ij
ôåðîìîíàD êîòîðûé äîáàâèò ìóðàâåé k ðåáðó (i , j )X

Q /Lk , åñëè k èñïîëüçîâàë (i , j ) â ïóòè.
∆τk =
ij
H, åñëè íå èñïîëüçîâàë.



Êîíêðåòíûå àëãîðèòìû: AS

À íà ýòàïå ïîñòðîåíèÿ ðåøåíèÿ ìóðàâüè âûáèðàþò ðåáðî
ñòîõàñòè÷åñêè ñ âåðîÿòíîñòüþD ïðîïîðöèîíàëüíîé

τα ηβ ,
ij ij
ãäå ηij = d1 D dij ðàññòîÿíèå îò i äî jF
ij



Êîíêðåòíûå àëãîðèòìû: MMAS

w—xEwin ent ƒystemX ïðîäîëæåíèå ýòèõ èäåéF
Îãðàíè÷èì τ èíòåðâàëîì [τmin , τmax ]F
Ïðàâèëî áóäåò ó÷èòûâàòü òîëüêî ∆τbest D êîòîðîå ðàâíî
ij
I/Lbest D åñëè (i , j ) ïðèíàäëåæèò ëó÷øåìó íàéäåííîìó ïóòèF



Êîíêðåòíûå àëãîðèòìû: MMAS

Íîâîå çíà÷åíèå ðàññ÷èòûâàåòñÿ êàê
τij = (I − ρ)τij + m=1 ∆τbest F
k ij
Çäåñü best ìîæåò îçíà÷àòü ëèáî ¾ëó÷øèé çà ïîñëåäíþþ
èòåðàöèþ¿D ëèáî ¾âîîáùå ëó÷øèé ïîêà ÷òî¿F
Ñîáñòâåííî ïðàâèëî àïäåéòàX

τmin , åñëè τ τmin ,

 ij
τij := åñëè τij ∈ [τmin , τmax ],
 ij
τ ,

τ ,
max åñëè τij τmax .



Êîíêðåòíûå àëãîðèòìû: ACS

ent golony ƒystem ââîäèò åù¼ ëîêàëüíûå èçìåíåíèÿ
ôåðîìîíîâF
Ïîñëå êàæäîãî øàãà ïîñòðîåíèÿ ïóòè ìóðàâüèøêè
ïîäïðàâëÿþò ôåðîìîíûD íà÷àâøèåñÿ ñ τ0 X

τij = (I − φ)τij + φτ0 .

Ñìûñë â òîìD ÷òî êîãäà ìóðàâüè ïîëçóò ïî ðåáðóD îíè îò
íåãî ¾îòáèâàþò çàïàõ¿D è óìåíüøàþòñÿ íåæåëàòåëüíûå
ýôôåêòûD î êîòîðûõ ìû ãîâîðèëèX íå âñå ñêàïëèâàþòñÿ â
îäíîì è òîì æå íåîïòèìàëüíîì ðåáðåF



Êîíêðåòíûå àëãîðèòìû: ACS

À o1ine upd—te ôåðîìîíîâ äåëàåò òîëüêî îäèí @ëó÷øèéA
ìóðàâåéX

(I − ρ)τij + ρ∆τij , (i , j ) åñòü â ëó÷øåì ïóòè,
τij :=
H, â ïðîòèâíîì ñëó÷àå.



×òî èçâåñòíî

ÄîêàçàíîD ÷òî ìóðàâüèíûå àëãîðèòìû äåéñòâèòåëüíî
ñõîäÿòñÿ ê îïòèìàëüíûì ðåøåíèÿìF
ÏðîáëåìûD â îáùåìD òå æåD ÷òî â ãåíåòè÷åñêèõ àëãîðèòìàõF
Åñòü óñïåøíûå ïðèìåíåíèÿ ê ðåøåíèþ x€Eïîëíûõ çàäà÷D
îñîáåííî ê çàäà÷àì ðóòèíãà â òåëåêîììóíèêàöèîííûõ
ñåòÿõF
Ãëàâíûé ñïîñîá óëó÷øåíèÿ ïðèìåíåíèå ëîêàëüíîé
îïòèìèçàöèè íà âòîðîì ìåòàEøàãåF



Ñóòü ìåòàëëóðãè÷åñêàÿ

Èìèòàöèÿ îòæèãà @simul—ted —nne—lingA â ñàìîì ïðÿìîì
ñìûñëå3
Îòæèã ýòî êîãäà ìàòåðèàë íàãðåâàþòD à ïîòîì
ïîíåìíîæêó îõëàæäàþòF
Ïðè íàãðåâå àòîìû äâèãàþòñÿ ïîáûñòðåå @âûëåçàþò èç
ñâîèõ ëîêàëüíûõ ìèíèìóìîâA è íà÷èíàþò áëóæäàòü ïî
ñîñòîÿíèÿì ñ âûñîêîé ýíåðãèåéF
Ïîñòåïåííîå îõëàæäåíèå äà¼ò èì øàíñ çàñòûòü â áîëåå
ãëîáàëüíîì ìèíèìóìåD ÷åì ðàíüøå îáðàçîâàòü áîëåå
êðóïíûå êðèñòàëëû ñ ìåíüøèìè äåôåêòàìèF
Áîëåå òîãîD âðåìÿ îò âðåìåíè èõ äàæå îáðàòíî
ïîäîãðåâàþòD åñëè ÷òîEòî èä¼ò íå òàêF



Ñóòü àëãîðèòìè÷åñêàÿ

Íà êàæäîì øàãå àëãîðèòìà òåêóùåå ðåøåíèå çàìåíÿåòñÿ
íà áëèçëåæàùóþ òî÷êóD âûáðàííóþ ñ âåðîÿòíîñòüþD
çàâèñÿùåé îò ðàçíîñòè ìåæäó çíà÷åíèÿìè ôóíêöèè è îò
òåìïåðàòóðû T F
Òåìïåðàòóðà ïîíåìíîæêó óìåíüøàåòñÿX ñíà÷àëà ðåøåíèÿ
áåðóò ïî÷òè ñëó÷àéíîD çàòåì âñ¼ áëèæå è áëèæå ê
ïðåäûäóùåìóF
Ôîðìàëüíî ýòî àäàïòàöèÿ àëãîðèòìà
ÌåòðîïîëèñàEÃàñòèíãñàF
ÈD êîíå÷íîD å¼ ìîæíî èñïîëüçîâàòü äëÿ ñýìïëèíãà @êîãäà
âåðîÿòíîñòü âèäà p (x ) = Z e −E (x ) AF
1

Íî ìû ïîêà íå áóäåìF



Áëóæäàíèå

Íà êàæäîì øàãå àëãîðèòì îïðåäåëÿåòD â êàêîé s ïåðåéòè
èç s F
s âûáèðàåòñÿ èç ñîñåäåé @íàïðèìåðD èç ïóòåé â çàäà÷å
êîììèâîÿæ¼ðàD îòëè÷àþùèõñÿ íà îäíó òðàíñïîçèöèþAF
Ó s è s åñòü ýíåðãèÿ e = E (s ) è e = E (s )D îíà æå
öåëåâàÿ ôóíêöèÿF
Âåðîÿòíîñòü ïåðåéòè èç s â s çàâèñèò îò ýíåðãèé è
òåêóùåé òåìïåðàòóðû p (e , e , T )F



Ñâîéñòâà p

p (e , e , T ) äîëæíà áûòü íåîòðèöàòåëüíîD äàæå êîãäà
e eD òFåF äîëæåí áûòü ñïîñîá âûáðàòüñÿ èç ëîêàëüíîãî
ìèíèìóìàF
Ïðè T → H p (e , e , T ) äîëæíà ñòðåìèòüñÿ ê íóëþ ïðè
e eD òFåF ÷åì íèæå òåìïåðàòóðàD òåì ñïîêîéíåå ìû
ïðîñòî äâèæåìñÿ ê ëîêàëüíîìó ìèíèìóìóF
×àùå âñåãî T óìåíüøàåòñÿ ñ ðîñòîì e − eD òFåF íåáîëüøèå
øàãè ïðåäïî÷òèòåëüíåå áîëüøèõF



Ñâîéñòâà T

Îñòàëîñü ïîíÿòüD ÷òî ïðîèñõîäèò ñ òåìïåðàòóðîéF
Îíà ïîíåìíîãó óìåíüøàåòñÿD íî êàêc Ýòî íàçûâàåòñÿ
ðàñïèñàíèå îòæèãà @—nne—ling s™heduleAF
×åì ìåäëåííåå îíà óìåíüøàåòñÿD òåì áîëüøå âåðîÿòíîñòüD
÷òî ìû ïðèä¼ì ê ãëîáàëüíîìó ìèíèìóìó @íóD âî âñÿêîì
ñëó÷àåD ê ìèíèìóìó ïîëó÷øåAF
ÍîD åñòåñòâåííîD òåì äîëüøå ðàáîòàåò àëãîðèòìF



Ñïàñèáî çà âíèìàíèå!

ve™ture notes è ñëàéäû áóäóò ïîÿâëÿòüñÿ íà ìîåé
homep—geX
http://logic.pdmi.ras.ru/∼sergey/index.php?page=teaching
Ïðèñûëàéòå ëþáûå çàìå÷àíèÿD ðåøåíèÿ óïðàæíåíèéD
íîâûå ÷èñëåííûå ïðèìåðû è ïðî÷åå ïî àäðåñàìX
sergey@logic.pdmi.ras.ruD snikolenko@gmail.com
Çàõîäèòå â ÆÆ smartnikF


20080323 machine learning_nikolenko_lecture05

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (14)

En vedette

En vedette (9)

Plus de Computer Science Club

Plus de Computer Science Club (20)

20080323 machine learning_nikolenko_lecture05