Systèmes multi-agents & flux du trafic aérien

Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion

´
Decouverte des parcours SMA

` ´
Systemes multi-agents distribues pour le management
ˆ ´
et le controle des flux du trafic aerien

Mohamed IMLI

´
Universite Paris Descartes

13 Decembre 2012

´
Encadre par Mr : Pavlos Moraitis

Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien

Introduction
´
´
´
Conclusion

Plan
1 Introduction
2 ´
FACET
` ´
Systeme d’evaluation
3 ´
Choix de l’agent
Actions de l’agent
Apprentissage de l’agent
´
Structure de la recompense de l’agent
´ ´
Estimation de la difference de recompense
4 ´
Avec congestion unique
Avec deux congestions
5 Conclusion
Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Introduction

´
Gestion des flux du trafic aerien:
´ ´
Un des defis de l’industrie aerospaciale
40000 vols commercials par jour aux Etats-Unis
` ´ ´ ` ` ´
Le systeme actuel est centralise et herarchique : tres lent a reagir aux
changements
322272 heures de retard par an !
Cout : environ 3 Milliards $ par an !
ˆ

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Introduction

´
Gestion des flux du trafic aerien:
´
Trouver des solutions fiables et evolutives :
⇒ importance primordiale
Objectif de NGATS :
⇒ acceuillir 3 fois plus de trafic actuel
` ´
Probleme naturellement distribue :
⇒ Solution naturelle : utilisation d’une approche Multi-agents
´ ´ ´ ´
une solution pre-determinee et centralisee est fortement sous-optimale !

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Approche Multi-agents

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion


`
Attribution de l’agent a une position dans un espace 2D
⇒ Un plan de vol est une suite de positions

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion


`
Objectif de chaque agent :
⇒ garder la distance de securite entre les avions
´ ´

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion


`
Objectif de chaque agent :
⇒ garder la distance de securite entre les avions
´ ´
Actions :
⇒ Accelerer ou ralentir le ﬂux local
´
⇒ Apprentissage par renforcement

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Apprentissage par renforcement

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

´
Methode Monte Carlo

But ?
⇒ Calcul de la moyenne d’une variable aleatoire
´
Principe ?
E [f (X )] = f (Xi ) ∑ (1)
i

Mohamed IMLI ´ ´

Introduction
´
FACET
´
` ´
´
Conclusion

FACET (Future ATM Concepts Evaluation Tool)

Figure : Facet

´ ´ ´
Simulateur du traﬁc aerien developpe par NASA :
Projection des plans de vols dans le temps
⇒ tester des algorithmes multi-agents

Mohamed IMLI ´ ´

Introduction
´
FACET
´
` ´
´
Conclusion

` ´

´ `
Fonction d’evaluation des performances du systeme :

G(z ) = −((1 − α)B (z ) + α C (z )) (2)

B (z ) : penalite du retard de tous les avions du systeme
´ ´ `
C (z ) : penalite pour la congestion totale du systeme
´ ´ `
´ `
z : l’etat actuel du systeme
` ´ ´
α : Une constante a determiner

Mohamed IMLI ´ ´

Introduction
´
FACET
´
` ´
´
Conclusion

` ´

´ `
Fonction d’evaluation des performances du systeme :

G(z ) = −((1 − α)B (z ) + α C (z )) (2)

B (z ) : penalite du retard de tous les avions du systeme
´ ´ `
C (z ) : penalite pour la congestion totale du systeme
´ ´ `
´ `
z : l’etat actuel du systeme
` ´ ´
α : Une constante a determiner
L’objectif du systeme : Maximiser G(z )
`

Mohamed IMLI ´ ´

Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Conclusion ´ ´

Choix de l’agent

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

Choix de l’agent

´
Le plus evident ?
⇒ Considerer chaque avion comme agent
´

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

Choix de l’agent

´
Le plus evident ?
´
`
cette approche pose des problemes :
⇒ Un grand systeme massivement multi-agents
`
⇒ L’apprentissage est tres lent
`

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

Choix de l’agent

´
Le plus evident ?
´
`
cette approche pose des problemes :
⇒ Un grand systeme massivement multi-agents
`
⇒ L’apprentissage est tres lent
`
Solution ?
⇒ Assigner des agents a des positions sur un espace a 2D
` `
⇒ Une zone sur le sol de l’espace aerien
´
⇒ Deﬁnie par ses coordonnees
´ ´

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

`
Architecture du systeme multi-agent

´
Figure : Schema de l’architecture des agents

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´


Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´


´
Un choix evident ?
⇒ Soumettre les avions aux agents ..

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´


´
Un choix evident ?
´ `
cette approche pose egalement des problemes :
⇒ Les plans de vols seront moins ﬁables et compliques
´
⇒ probleme d’ordonnecement
`

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´


´
Un choix evident ?
´ `
cette approche pose egalement des problemes :
⇒ Les plans de vols seront moins ﬁables et compliques
´
⇒ probleme d’ordonnecement
`
Solution ?
⇒ Action : garder la distance de securite entre les avions
´ ´
⇒ Cette distance s’appelle MIT
⇒ L’agent augmente au diminue la distance MIT

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´


Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´


` ´
L’agent cherche a maximiser sa recompense
⇒ Objectif : apprendre les meilleurs valeurs de MIT

Q (a) = (1 − ε)Q (a) + ε(R )
´ (3)

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´


` ´
L’agent cherche a maximiser sa recompense
⇒ Objectif : apprendre les meilleurs valeurs de MIT

Q (a) = (1 − ε)Q (a) + ε(R )
´ (3)

` ´
a chaque etape l’agent choisi :
L’action a avec la probabilite : 1 − ε
´
→
Exploitation de sa connaissance
´ ´
Une action aleatoire avec la probabilite : ε
→
Exploration des autres actions

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

´

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

´

`
Une premiere approche ?
⇒ performance du systeme
`

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

´

`
`
cette approche n’est pas la meilleure
⇒ Ralentissement de l’apprentissage

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

´

`
`
cette approche n’est pas la meilleure
⇒ Ralentissement de l’apprentissage
Solution ?
⇒ Considerer la difference de la recompense :
´ ´ ´

Di = G(z ) − G(z − zi + ci ) (4)

zi est l’action de l’agent i

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

´ ´

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

´ ´

⇒ Impossible de calculer directement Di

Mohamed IMLI ´ ´

´
´
´
Conclusion ´ ´

´ ´

⇒ Impossible de calculer directement Di
Solution ?
⇒ Faire une estimation

Diest1 = Gf (f (z )) − Gf (f (z ) − E (f (z )/zi ) + E (f (z )/ci )) (5)

Diest2 = Gf (f (z )) − Gf (f (z ) − E (f (z )/zi ) + E (f (z ))) (6)

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Simulation avec congestion unique

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Simulation avec deux congestions

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Nombre d’agents

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Inﬂuence de α

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Cout de calcul
ˆ

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Conclusion

´
Une solution distribuee adaptative
Pas de changement radical

Mohamed IMLI ´ ´

Introduction
´
´
´
Conclusion

Conclusion

´
Une solution distribuee adaptative
Pas de changement radical
D’autres pistes ?
Chercher d’autres algorithmes
Etendre la notion d’agent aux secteurs

Mohamed IMLI ´ ´

Systèmes multi-agents & flux du trafic aérien

Contenu connexe

En vedette

Systèmes multi-agents & flux du trafic aérien