Thesis : Contraints and Observability In Markov Decision Processes

DAMASwww.damas.ift.ulaval.ca
Intro Contraintes Observabilité Décentralisé Futur Conc ? ? ?
Contraintes et observabilité
dans les systèmes de Markov décentralisés
Camille Besse
Département d’Informatique et de Génie Logiciel
http://damas.ift.ulaval.ca
Septembre 2010
DAMASwww.damas.ift.ulaval.ca Camille Besse 1 / 32

Intro Contraintes Observabilité Décentralisé Futur Conc ? ? ? IA et Planiﬁcation Plan
Prologue
Cette présentation ...

Prologue
ne s’adresse pas à un public averti

Prologue
contient seulement 8.5% de formules mathématiques

Prologue
est composée à 82.4% d’images et exemples

Prologue
se veut compréhensible par tous et toutes

Prologue
¯ Donc si vous avez des questions ...

Prologue
¯ Donc si vous avez des questions ...
N’hésitez pas et posez les ! ! !

Exemple introductif
Imaginons une ferme automatisée ...

Exemple introductif
Où travaille un robot ...

Exemple introductif
devant réaliser plusieurs tâches journalières :

Exemple introductif
Nourrir les poules
Traire les vaches
Arroser le potager
(etc ...)

Exemple introductif
Nourrir les poules
Traire les vaches
Arroser le potager
(etc ...)
Ce robot n’est malheureusement pas parfait

Exemple introductif
Nourrir les poules
Traire les vaches
Arroser le potager
(etc ...)
¯ Les tâches qu’il réalise peuvent parfois prendre plus de temps
¯ Il a en plus des chances d’échouer (ou de mal réaliser ces tâches)

Exemple introductif
Nourrir les poules
Traire les vaches
Arroser le potager
(etc ...)
¯ Les tâches qu’il réalise peuvent parfois prendre plus de temps
¯ Il a en plus des chances d’échouer (ou de mal réaliser ces tâches)
Comment modéliser ce problème de planiﬁcation ?

Exemple introductif
St
0
0
0

Exemple introductif
A
t
apoules
avaches
apotager

Exemple introductif
rt
rpoules
rvaches
rpotager

Exemple introductif
St
0
0
0
apotager

Exemple introductif
St+1
0
0
1
apotager
rpotager

Exemple introductif
St+1
0
0
1
avaches

Exemple introductif
St+2
0
0
1
avaches
0

Exemple introductif
Représentation graphique d’un Processus décisionnel de Markov
rt−1 rt rt+1 rT
St−2 St−1 St St+1 ST
A
t−1
A
t
A
t+1
A
T
T T T T
O O O O
R R R R

Exemple introductif
Et en partiellement observable ?
St
0
?
?

Exemple introductif
Et en partiellement observable ?
St+1
?
?
1

Exemple introductif
Représentation graphique en partiellement observable
r1 r2 r3 rT
S0 S1 S2 S3 ST
O0 O1 O2 O3
A
1
A
2
A
3
A
T

Exemple introductif
Et en multiagent ?
St
?
?
?
A
t
1
A
t
2

Exemple introductif
Représentation graphique en multiagent
S0 S1 S2 S3 ST
O0
1
O0
2
O1
1
O1
2
O2
1
O2
2
O3
1
O3
2
A
1
1
A
1
2
A
2
1
A
2
2
A
3
1
A
3
2
A
T
1
A
T
2
Agent 1
Agent 2

Contributions et plan de la présentation
Processus Décisionnel de Markov
Légende
Modèle Existant

Problèmes de Satisfaction
de Contraintes Markoviens
Légende
Modèle Existant
Modèle Proposé

NEREUS
Légende
Modèle Existant
Modèle Proposé
Problème

R-FRTDP
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

R-FRTDP
+ Bornes
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Partiellement Observable
R-FRTDP
+ Bornes
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
R-FRTDP
+ Bornes
+ Bornes PAC
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
Multiagent
R-FRTDP
+ Bornes
+ Bornes PAC
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
Multiagent
Décentralisé
R-FRTDP
+ Bornes
+ Bornes PAC
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
Multiagent
Décentralisé
R-FRTDP
dRollout
+ Bornes
+ Bornes PAC
NEREUS
Déménageurs
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
Multiagent
Décentralisé
R-FRTDP
dRollout
+ Bornes
+ Bornes PAC
NEREUS
Patrouille
Déménageurs
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Intro Contraintes Observabilité Décentralisé Futur Conc ? ? ? CSPs DCSPs MaCSPs Exemple Résultats
Plan
1ere
Partie : Contraintes et Modèles de Markov
R-FRTDP
+ Bornes
NEREUS

Problèmes de satisfaction de contraintes
2
4
5
3
1

Problèmes de satisfaction de contraintes dynamiques
2
4
5
3
1

Problèmes de Markov avec satisfaction de contraintes
Solutions
st+1 st+1 st+1
CSPt+1 CSPt+1 CSPt+1
st CSPt
a0 ... ai ... aσ

Exemple illustratif à la ferme

Arbre de résolution d’un MDP classique
Pou, V, Pot
0, 0, 0
Pou, Pou
1, 0, 0 0, 0, 0
Pou, V
1, 1, 0 1, 0, 0 0, 1, 0 0, 0, 0
Pou, Pot
1, 0, 1 1, 0, 0 0, 0, 1 0, 0, 0
V, V
0, 1, 0 0, 0, 0
V, Pou
1, 1, 0 0, 1, 0 1, 0, 0 0, 0, 0
V, Pot
0, 1, 1 0, 1, 0 0, 0, 1 0, 0, 0
Pot , Pot
0, 0, 1 0, 0, 0
Pot , V
0, 1, 1 0, 0, 1 0, 1, 0 0, 0, 0
Pot , Pou
1, 0, 1 0, 0, 1 1, 0, 0 0, 0, 0

Arbre de résolution d’un MDP classique
Pou, V, Pot
0, 0, 0
Pou, Pou
1, 0, 0 0, 0, 0
Pou, V
1, 1, 0 1, 0, 0 0, 1, 0 0, 0, 0
Pou, Pot
1, 0, 1 1, 0, 0 0, 0, 1 0, 0, 0
V, V
0, 1, 0 0, 0, 0
V, Pou
1, 1, 0 0, 1, 0 1, 0, 0 0, 0, 0
V, Pot
0, 1, 1 0, 1, 0 0, 0, 1 0, 0, 0
Pot , Pot
0, 0, 1 0, 0, 0
Pot , V
0, 1, 1 0, 0, 1 0, 1, 0 0, 0, 0
Pot , Pou
1, 0, 1 0, 0, 1 1, 0, 0 0, 0, 0
7 états possibles selon les probabilités
pour 9 actions jointes

Arbre de résolution d’un MaCSP avec allDiff
Pou, V, Pot
0, 0, 0
Pou, V
1, 1, 0 1, 0, 0 0, 1, 0 0, 0, 0
Pou, Pot
1, 0, 1 1, 0, 0 0, 0, 1 0, 0, 0
V, Pou
1, 1, 0 0, 1, 0 1, 0, 0 0, 0, 0
V, Pot
0, 1, 1 0, 1, 0 0, 0, 1 0, 0, 0
Pot , V
0, 1, 1 0, 0, 1 0, 1, 0 0, 0, 0
Pot , Pou
1, 0, 1 0, 0, 1 1, 0, 0 0, 0, 0

Arbre de résolution d’un MaCSP avec allDiff
Pou, V, Pot
0, 0, 0
Pou, V
1, 1, 0 1, 0, 0 0, 1, 0 0, 0, 0
Pou, Pot
1, 0, 1 1, 0, 0 0, 0, 1 0, 0, 0
V, Pou
1, 1, 0 0, 1, 0 1, 0, 0 0, 0, 0
V, Pot
0, 1, 1 0, 1, 0 0, 0, 1 0, 0, 0
Pot , V
0, 1, 1 0, 0, 1 0, 1, 0 0, 0, 0
Pot , Pou
1, 0, 1 0, 0, 1 1, 0, 0 0, 0, 0
7 états possibles selon les probabilités
pour seulement 6 actions jointes

Résultats théoriques
Gain dans un problème d’allocation séquentiel
Dans un problème d’allocation de ressources à des tâches, le gain en
facteur de branchement de l’utilisation de la contrainte allDiff qui
imposent que toutes les ressources soient appliquées à des tâches
différentes est égal à :
Gain =
|T||X|
C
|X|
|T|

Gain =
|T||X|
C
|X|
|T|
Complexité du modèle en pire cas
Trouver une politique pour un MaCSP, qui obtiendrait une récompense
espérée d’au moins C, est #P.

Gain =
|T||X|
C
|X|
|T|
Complexité du modèle en pire cas
Trouver une politique pour un MaCSP, qui obtiendrait une récompense
espérée d’au moins C, est #P.
Mais cela fonctionne très bien en pratique puisque le nombre de
variables est très inférieur au nombre d’états.

Résultats empiriques
10
100
1000
10000
100000
1e+006
1 2 3 4 5 6 7 8
Time(ms)
Number of Tasks
MaCSP
MDP

Intro Contraintes Observabilité Décentralisé Futur Conc ? ? ? Bases Problème Bijection Théorie Pratique
Plan
2eme
Partie : Contraintes et Observabilité dans
les Modèles de Markov
Multiagent
Décentralisé
Quasi-Déterministe + Bornes PAC
Incendie

L’état de croyance
r1 r2 r3 rT
S0 S1 S2 S3 ST
O0 O1 O2 O3
A
1
1 A
2
1 A
3
1 A
T
1

L’état de croyance
r1 r2 r3 rT
S0 S1 S2 S3 ST
O0 O1 O2 O3
b0
b1
b2
b3
A
1
1 A
2
1 A
3
1 A
T
1

L’état de croyance : un exemple
b(s)

Complexité des modèles de Markov selon
l’observabilité
NonePartial
& Noisy
Joint
& Perfect
Complete
& Noisy
Complete
& Perfect
NEXP
EXP
ΣP
poly ⊆ PSPACE
ΣP
k
ΣP
1 = NP
P
Observability
Complexity

l’observabilité
NonePartial
& Noisy
Joint
& Perfect
Complete
& Noisy
Complete
& Perfect
NEXP
EXP
ΣP
poly ⊆ PSPACE
ΣP
k
ΣP
1 = NP
P
(M)MDP∞
Observability
Complexity

l’observabilité
NonePartial
& Noisy
Joint
& Perfect
Complete
& Noisy
Complete
& Perfect
NEXP
EXP
ΣP
poly ⊆ PSPACE
ΣP
k
ΣP
1 = NP
P
(M)MDP∞
(M)POMDP
Observability
Complexity

l’observabilité
NonePartial
& Noisy
Joint
& Perfect
Complete
& Noisy
Complete
& Perfect
NEXP
EXP
ΣP
poly ⊆ PSPACE
ΣP
k
ΣP
1 = NP
P
(M)MDP∞
DEC-POMDP
(M)POMDP
Observability
Complexity

l’observabilité
NonePartial
& Noisy
Joint
& Perfect
Complete
& Noisy
Complete
& Perfect
NEXP
EXP
ΣP
poly ⊆ PSPACE
ΣP
k
ΣP
1 = NP
P
(M)MDP∞
DEC-POMDP
(M)POMDP
UMDP
UMDP∞
DEC-MDP
Free Com.
DEC-MDP-COM
Free Com.
DEC-POMDP-COM
Observability
Complexity

l’observabilité
NonePartial
& Noisy
Joint
& Perfect
Complete
& Noisy
Complete
& Perfect
NEXP
EXP
ΣP
poly ⊆ PSPACE
ΣP
k
ΣP
1 = NP
P
Gap
(M)MDP∞
DEC-POMDP
(M)POMDP
UMDP
UMDP∞
DEC-MDP
Free Com.
DEC-MDP-COM
Free Com.
DEC-POMDP-COM
? ? ?
Observability
Complexity

Modèle avec observation bijective
Observabilité bijective
∃o1 ∈ Ω, ∀a ∈ A, ∀s ∈ So1
,
with So1
= {s ∈ S|∃o1 ∈ Ω, P(o1|s, a) > P(o|s, a), ∀o = o1},
then |Ω| = |S| and |So1
| = 1

États Observations
s1
s2
s3
s4
s5
o1
o2
o3
o4
o5

ν = 3, θ = 0.8États Observations
s1
s2
s3
s4
s5
o1
o2
o3
o4
o5
P(o1|s1) = 0.8
P(o2|s1) = 0.1
P(o3|s1) = 0.1

s1
s2
s3
s4
s5
o1
o2
o3
o4
o5
P(o1|s2) = 0.1
P(o2|s2) = 0.8
P(o3|s2) = 0.1

s1
s2
s3
s4
s5
o1
o2
o3
o4
o5
P(o2|s3) = 0.1
P(o3|s3) = 0.8
P(o4|s3) = 0.1

s1
s2
s3
s4
s5
o1
o2
o3
o4
o5
P(o3|s4) = 0.1
P(o4|s4) = 0.8
P(o5|s4) = 0.1

s1
s2
s3
s4
s5
o1
o2
o3
o4
o5
P(o3|s5) = 0.1
P(o4|s5) = 0.1
P(o5|s5) = 0.8

Résultats théoriques obtenus
Convergence de l’état de croyance en probabilité
Sous l’hypothèse d’observation bijective, l’état de croyance bk
est tel
que bk
(s) 1 − ε ssi
n
1
2 ln νθ
(1−θ)
ln
1 − ε
ε
1 + ν1− k
2 +
k
2
(1)

0 10 20 30 40 50
0
0.2
0.4
0.6
0.8
1
K
P(bK
>1−ε)
θ = 0.9
θ = 0.8
θ = 0.7
θ = 0.6

0 10 20 30 40 50
0
0.2
0.4
0.6
0.8
1
K
P(bK
>1−ε)
θ = 0.9
θ = 0.8
θ = 0.7
θ = 0.6
Réduction de la complexité en pire cas pour les POMDPs
Étant donné un POMDP à horizon inﬁni avec actions déterministes et
respectant l’hypothèse d’observabilité bijective, trouver une politique
qui permette d’obtenir une récompense escomptée espérée donnée
avec une forte probabilité est ΣP
2k−1.

0 10 20 30 40 50
0
0.2
0.4
0.6
0.8
1
K
P(bK
>1−ε)
θ = 0.9
θ = 0.8
θ = 0.7
θ = 0.6
Réduction de la complexité en pire cas pour les DEC-POMDPs
Étant donné un DEC-POMDP à horizon inﬁni avec actions
déterministes et respectant l’hypothèse d’observabilité bijective,
trouver une politique qui permette d’obtenir une récompense
escomptée espérée donnée avec une forte probabilité est PSPACE.

NonePartial
& Noisy
Joint
& Perfect
Complete
& Noisy
Complete
& Perfect
NEXP
EXP
ΣP
poly ⊆ PSPACE
ΣP
k
ΣP
1 = NP
P
Gap
Observability
Complexity
(M)MDP∞
(M)POMDP
DEC-POMDP
QDET-POMDP
QDET-DEC-POMDP

avec actions stochastiques
0 10 20 30 40 50
0
0.5
1
1.5
2
2.5
3
3.5
σa
2
= .05 σo
2
= 0.12892 θ = 0.92214
K
P(bK
>1−ε)
±2σ2
±σ2
Mean

Intro Contraintes Observabilité Décentralisé Futur Conc ? ? ? DecPOMDPs Rollout No Comm Résultats
Plan
3eme
Partie : Observabilité dans les modèles de
Markov décentralisés
Multiagent
Décentralisé
dRollout
Patrouille Déménageurs

Bases sur les POMDPs décentralisés
S0 S1 S2 S3 ST
O0
1
O0
2
O1
1
O1
2
O2
1
O2
2
O3
1
O3
2
A
1
1
A
1
2
A
2
1
A
2
2
A
3
1
A
3
2
A
T
1
A
T
2
Agent 1
Agent 2

S0 S1 S2 S3 ST
O1
1
O1
2
O2
1
O2
2
O3
1
O3
2
b0
1
b0
2
b1
1
b1
2
b2
1
b2
2
b3
1
b3
2
A
1
1
A
1
2
A
2
1
A
2
2
A
3
1
A
3
2
A
T
1
A
T
2
Agent 1
Agent 2

S0 S1 S2 S3 ST
O1
1
O1
2
O2
1
O2
2
O3
1
O3
2
b0
1
b0
2
b1
1
b1
2
b2
1
b2
2
b3
1
b3
2
b0
1
b0
2
A
1
1
A
1
2
A
2
1
A
2
2
A
3
1
A
3
2
A
T
1
A
T
2
Agent 1
Agent 2

S0 S1 S2 S3 ST
O1
1
O1
2
O2
1
O2
2
O3
1
O3
2
b0
1
b0
2
b1
1
b1
2
b2
1
b2
2
b3
1
b3
2
b0
1
b0
2
b1
1
b1
2
A
1
1
A
1
2
A
2
1
A
2
2
A
3
1
A
3
2
A
T
1
A
T
2
Agent 1
Agent 2

S0 S1 S2 S3 ST
O1
1
O1
2
O2
1
O2
2
O3
1
O3
2
b0
1
b0
2
b1
1
b1
2
b2
1
b2
2
b3
1
b3
2
b0
1
b0
2
b1
1
b1
2
b2
1
b2
2
A
1
1
A
1
2
A
2
1
A
2
2
A
3
1
A
3
2
A
T
1
A
T
2
Agent 1
Agent 2

S0 S1 S2 S3 ST
O1
1
O1
2
O2
1
O2
2
O3
1
O3
2
b0
1
b0
2
b1
1
b1
2
b2
1
b2
2
b3
1
b3
2
b0
1
b0
2
b1
1
b1
2
b2
1
b2
2
b3
1
b3
2
A
1
1
A
1
2
A
2
1
A
2
2
A
3
1
A
3
2
A
T
1
A
T
2
Agent 1
Agent 2

Algorithme de Rollout décentralisé
b0
1

b0
1
b1aa
1
b1ab
1
aa
oa
ob

b0
1
b1aa
1
b1ab
1
b1ba
1
b1bb
1
aa
oa
ob
ab
oa
ob

b0
1
b1aa
1
b1ab
1
b1ba
1
b1bb
1
b1ca
1
b1cb
1
aa
oa
ob
ab
oa
ob
ac oa
ob

b0
1
b1aa
1
b1ab
1
b1ba
1
b1bb
1
b1ca
1
b1cb
1
V(bTaa
1
)
V(bTab
1
)
V(bTba
1
)
V(bTbb
1
)
V(bTca
1
)
V(bTcb
1
)
aa
oa
ob
ab
oa
ob
ac oa
ob
H(b1aa
1 )
H(b1ab
1 )
H(b1ba
1 )
H(b1bb
1 )
H(b1ca
1 )
H(b1cb
1 )

b0
1
b1aa
1
b1ab
1
b1ba
1
b1bb
1
b1ba
1
b1bb
1
b1ca
1
b1cb
1
V(bTaa
1
)
V(bTab
1
)
V(bTba
1
)
V(bTbb
1
)
V(bTca
1
)
V(bTcb
1
)
V(bTba
1
)
V(bTbb
1
)
aa
oa
ob
ab
oa
ob
ab
oa
ob
ac oa
ob
H(b1aa
1 )
H(b1ab
1 )
H(b1ba
1 )
H(b1bb
1 )
H(b1ca
1 )
H(b1cb
1 )
H(b1ba
1 )
H(b1bb
1 )

b0
1
b1aa
1
b1ab
1
b1ba
1
b1bb
1
b1ba
1
b1bb
1
b1ca
1
b1cb
1
V(bTaa
1
)
V(bTab
1
)
V(bTba
1
)
V(bTbb
1
)
V(bTca
1
)
V(bTcb
1
)
V(bTba
1
)
V(bTbb
1
)
aa
oa
ob
ab
oa
ob
ab
oa
ob
ac
oa
ob
H(b1aa
1 )
H(b1ab
1 )
H(b1ba
1 )
H(b1bb
1 )
H(b1ca
1 )
H(b1cb
1 )
H(b1ba
1 )
H(b1bb
1 )
b0
2
b1aa
2
b1ab
2
b1ba
2
b1bb
2
b1ca
2
b1cb
2
V(bTaa
2
)
V(bTab
2
)
V(bTba
2
)
V(bTbb
2
)
V(bTca
2
)
V(bTcb
2
)
aa
oa
ob
ab
oa
ob
ac
oa
ob
H(b1aa
1 )
H(b1ab
1 )
H(b1ba
1 )
H(b1bb
1 )
H(b1ca
1 )
H(b1cb
1 )

Planiﬁcation en ligne avec observabilité décentralisée
et sans communication
Observation la plus probable
oi ← oi , o−i
où o−i = arg max
o−i ∈Ω−i
O( oi , o−i |a, s )bt
i (s )
bt+1
i (s ) =
O(oi |a, s ) s∈S T (s |s, a)bt
i (s)
s,s ∈S O(oi |a, s )T (s |s, a)bt
i (s)
(1)

bt+1
i (s ) = max
o−i
bt+1
i (s ) (1)
bt+1
i (s ) =
o−i ∈Ω−i
O(o|a, s ) s∈S T (s |s, a)bt
i (s)
s,s ∈S O(o|a, s )T (s |s, a)bt
i (s)
, o = oi , o−i (2)

bt+1
i (s ) = max
o−i
bt+1
i (s ) (1)
bt+1
i (s ) = Eo−i
bt+1
i (s ) (2)

Résultats expérimentaux
Problème du déménageurs
+10 +100 +10

Résultats expérimentaux
Problème du déménageurs
-60
-40
-20
0
20
40
60
5 10 15
AAR
Horizon
MDP
MDP*
IMBDP
IMBDP*
Rollout
Rollout*
(a) Value vs Horizon
1
10
100
1000
10000
100000
5 10 15
Timeperstep(ms)
Horizon
MDP*
IMBDP*
Rollout*
(b) Time (s) vs Horizon

Intro Contraintes Observabilité Décentralisé Futur Conc ? ? ? En cours Possibles
Plan
4eme
partie : Applications des outils développés
Multiagent
Quasi-Déterministe + Bornes PAC
PatrouilleDirigeable

Extensions en cours
Groupe de patrouille autonome – J.S. Marier

Extensions en cours
0.2
1.0
1.5
1.0
0.5

Extensions en cours
Les agents :
Sont contraints dans leurs actions par un graphe de localisations
à surveiller aussi souvent que possible ;
Observent avec certitude leur position et communiquent celle-ci
aux autre agents ;
Peuvent communiquer leur état local et leur politique locale avec
une fréquence sufﬁsamment élevée ;
N’ont pas accès à l’information qu’ils surveillent.

Extensions en cours
(c) Wheel
0
(d) Cloverleaf (e) Cuboctahedron
(f) Map-A (g) Map-B

Extensions en cours
0
100
200
300
400
500
600
700
Wheel Clover Cubo Map-A Map-B
C-AEMS
Reactive
(h) AAR
1,00E-05
1,00E-04
1,00E-03
1,00E-02
1,00E-01
1,00E+00
1,00E+01
1,00E+02
Wheel Clover Cubo Map-A Map-B
C-AEMS
Reactive
(i) Time(s)

Extensions en cours
Apprentissage de POMDPs continus – P. Dallaire
L’agent :
Doit maintenir une hauteur relative de zero ;
Observe sa hauteur en continu additionnée d’un bruit Gaussien
(en cloche) ;
Choisis un action monter/descendre en continu ;
Ne connaît pas sa dynamique.

Extensions en cours
Apprentissage de POMDPs continus – P. Dallaire
10 20 30 40 50 60 70 80 90 100
−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
Hauteur(m)
Nombre de pas d’apprentissage

Extensions possibles
Extension du modèle MaCSP au multiagent
Représentations des interactions agents par contraintes
Étude des modèles d’observabilité bijective avec transition
stochastique
et étude de l’équilibre génération / absorption d’entropie
Extension des modèles d’observabilité bijective aux POMDPs
continus
Étude de la communication pour la synchronisation en ligne des
états de croyance
À quel moment et quoi communiquer ?

Intro Contraintes Observabilité Décentralisé Futur Conc ? ? ? Contributions Conclusion
Rappel des Contributions
Légende
Modèle Existant

Légende
Modèle Existant
Modèle Proposé

NEREUS
Légende
Modèle Existant
Modèle Proposé
Problème

R-FRTDP
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

R-FRTDP
+ Bornes
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
R-FRTDP
+ Bornes
+ Bornes PAC
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
Multiagent
R-FRTDP
+ Bornes
+ Bornes PAC
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
Multiagent
Décentralisé
R-FRTDP
+ Bornes
+ Bornes PAC
NEREUS
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
Multiagent
Décentralisé
R-FRTDP
dRollout
+ Bornes
+ Bornes PAC
NEREUS
Déménageurs
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Quasi-Déterministe
Multiagent
Décentralisé
R-FRTDP
dRollout
+ Bornes
+ Bornes PAC
NEREUS
Patrouille
Déménageurs
Légende
Modèle Existant
Modèle Proposé
Algorithme
Problème

Conclusion
Abandon des concepts d’intentions, engagements. On ne
raisonne que sur la valeur.
Meilleur précision sur l’optimalité de la planification
Pouvoir de modélisation très large
Extrêmement sensible au modèle utilisé
Extrêmement sensible à la définition de la fonction de
récompense
Problèmes très difficile à résoudre sans approximations
Multiplication de modèles spécifiques plus faciles à résoudre
¯ Prendre en compte la spécificité du problème dans la
modélisation est indispensable

Questions
Merci de votre attention
? ? ?

Bibliography
Articles comme premier auteur
Camille Besse and Brahim Chaib-draa.
An Efﬁcient Model for Dynamic and Constrained Resource Allocation Problems.
In Proc. of the 2nd Inter. Workshop on Constraint Satisfaction Techniques for Planning and Scheduling Problems, September 2007.
Parallel Rollout for Online Solution of Dec-POMDP.
In Proc. of 21st Inter. FLAIRS Conf., May 2008.
Quasi-Deterministic Partially Observable Markov Decision Processes.
In Proc. of 16th Inter. Conf. On Neural Information Processing, pages 237–246, December 2009.
Quasi-Deterministic POMDPs and Dec-POMDPs.
In Proc. of 9th Inter. Conf. On Autonomous Agents and MultiAgent Systems (Extended Abstract), May 2010.
Quasi-Deterministic POMDPs and Dec-POMDPs.
In Proc. of 5th Inter. Workshop On Multiagent Sequential Decision Making in Uncertain Domains, May 2010.
Camille Besse, Pierrick Plamondon, and Brahim Chaib-draa.
R-FRTDP. A Real-Time DP Algorithm with Tight Bounds for a Stochastic Resource Allocation Problem.
In Proc. of the 20th Canadian Conf. on Artiﬁcial Intelligence, May 2007.

Bibliography
Articles comme second auteur
Patrick Dallaire, Camille Besse, and Brahim Chaib-draa.
Learning Gaussian Process Models from Uncertain Data.
Patrick Dallaire, Camille Besse, and Brahim Chaib-draa.
Approximate Inference of Latent Functions from Uncertain Data with Gaussian Processes.
Neurocomputing, page To appear, 201X.
Patrick Dallaire, Camille Besse, Stéphane Ross, and Brahim Chaib-draa.
Bayesian Reinforcement Learning in POMDPs with Gaussian Processes.
In Proc. of the Inter. Conf. on Intelligent Robots and Systems, 2009.
Jean-Samuel Marier, Camille Besse, and Brahim Chaib-draa.
A Markov Model for Multiagent Patrolling in Continuous Time.
Jean-Samuel Marier, Camille Besse, and Brahim Chaib-draa.
Solving the Continuous Time Multiagent Patrol Problem.
In Proc. of 2010 IEEE Inter. Conf. on Robotics and Automation, 2010.

Thesis : Contraints and Observability In Markov Decision Processes

Contenu connexe

En vedette

Thesis : Contraints and Observability In Markov Decision Processes