Introduction                                                     ´                       Management des flux du trafic aerie...
Introduction                                                         ´                           Management des flux du tra...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction   Choix de l’agent                                                      ´                        Management d...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                     ´                       Management des flux du trafic aerie...
Introduction                                                     ´                       Management des flux du trafic aerie...
Introduction                                                      ´                        Management des flux du trafic aer...
Introduction                                                     ´                       Management des flux du trafic aerie...
Introduction                                                     ´                       Management des flux du trafic aerie...
Prochain SlideShare
Chargement dans…5
×

Systèmes multi-agents & flux du trafic aérien

1 126 vues

Publié le

Systèmes multi-agents pour la gestion et le contrôle des flux du trafic aérien, cette présentation est basée sur le travail de Adrian Agogino [ Chercheur à NASA ] et kangan Tumer [ chercheur à l'université Oregon State ,USA ]

Publié dans : Technologie
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
1 126
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
93
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Systèmes multi-agents & flux du trafic aérien

  1. 1. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations Conclusion ´Decouverte des parcours SMA ` ´ Systemes multi-agents distribues pour le management ˆ ´ et le controle des flux du trafic aerien Mohamed IMLI ´ Universite Paris Descartes 13 Decembre 2012 ´ Encadre par Mr : Pavlos Moraitis Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  2. 2. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionPlan 1 Introduction 2 ´ Management des flux du trafic aerien FACET ` ´ Systeme d’evaluation 3 ´ Agent Intelligent du Management des flux du trafic aerien Choix de l’agent Actions de l’agent Apprentissage de l’agent ´ Structure de la recompense de l’agent ´ ´ Estimation de la difference de recompense 4 ´ Resultats des simulations Avec congestion unique Avec deux congestions 5 Conclusion Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  3. 3. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionIntroduction ´ Gestion des flux du trafic aerien: ´ ´ Un des defis de l’industrie aerospaciale 40000 vols commercials par jour aux Etats-Unis ` ´ ´ ` ` ´ Le systeme actuel est centralise et herarchique : tres lent a reagir aux changements 322272 heures de retard par an ! Cout : environ 3 Milliards $ par an ! ˆ Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  4. 4. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionIntroduction ´ Gestion des flux du trafic aerien: ´ Trouver des solutions fiables et evolutives : ⇒ importance primordiale Objectif de NGATS : ⇒ acceuillir 3 fois plus de trafic actuel ` ´ Probleme naturellement distribue : ⇒ Solution naturelle : utilisation d’une approche Multi-agents ´ ´ ´ ´ une solution pre-determinee et centralisee est fortement sous-optimale ! Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  5. 5. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionApproche Multi-agents Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  6. 6. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionApproche Multi-agents ` Attribution de l’agent a une position dans un espace 2D ⇒ Un plan de vol est une suite de positions Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  7. 7. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionApproche Multi-agents ` Attribution de l’agent a une position dans un espace 2D ⇒ Un plan de vol est une suite de positions Objectif de chaque agent : ⇒ garder la distance de securite entre les avions ´ ´ Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  8. 8. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionApproche Multi-agents ` Attribution de l’agent a une position dans un espace 2D ⇒ Un plan de vol est une suite de positions Objectif de chaque agent : ⇒ garder la distance de securite entre les avions ´ ´ Actions : ⇒ Accelerer ou ralentir le flux local ´ ⇒ Apprentissage par renforcement Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  9. 9. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionApprentissage par renforcement Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  10. 10. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations Conclusion ´Methode Monte Carlo But ? ⇒ Calcul de la moyenne d’une variable aleatoire ´ Principe ? E [f (X )] = f (Xi ) ∑ (1) i Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  11. 11. Introduction ´ Management des flux du trafic aerien FACET ´ Agent Intelligent du Management des flux du trafic aerien ` ´ Systeme d’evaluation ´ Resultats des simulations ConclusionFACET (Future ATM Concepts Evaluation Tool) Figure : Facet ´ ´ ´ Simulateur du trafic aerien developpe par NASA : Projection des plans de vols dans le temps ⇒ tester des algorithmes multi-agents Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  12. 12. Introduction ´ Management des flux du trafic aerien FACET ´ Agent Intelligent du Management des flux du trafic aerien ` ´ Systeme d’evaluation ´ Resultats des simulations Conclusion ` ´Systeme d’evaluation ´ ` Fonction d’evaluation des performances du systeme : G(z ) = −((1 − α)B (z ) + α C (z )) (2) B (z ) : penalite du retard de tous les avions du systeme ´ ´ ` C (z ) : penalite pour la congestion totale du systeme ´ ´ ` ´ ` z : l’etat actuel du systeme ` ´ ´ α : Une constante a determiner Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  13. 13. Introduction ´ Management des flux du trafic aerien FACET ´ Agent Intelligent du Management des flux du trafic aerien ` ´ Systeme d’evaluation ´ Resultats des simulations Conclusion ` ´Systeme d’evaluation ´ ` Fonction d’evaluation des performances du systeme : G(z ) = −((1 − α)B (z ) + α C (z )) (2) B (z ) : penalite du retard de tous les avions du systeme ´ ´ ` C (z ) : penalite pour la congestion totale du systeme ´ ´ ` ´ ` z : l’etat actuel du systeme ` ´ ´ α : Une constante a determiner L’objectif du systeme : Maximiser G(z ) ` Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  14. 14. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseChoix de l’agent Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  15. 15. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseChoix de l’agent ´ Le plus evident ? ⇒ Considerer chaque avion comme agent ´ Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  16. 16. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseChoix de l’agent ´ Le plus evident ? ⇒ Considerer chaque avion comme agent ´ ` cette approche pose des problemes : ⇒ Un grand systeme massivement multi-agents ` ⇒ L’apprentissage est tres lent ` Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  17. 17. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseChoix de l’agent ´ Le plus evident ? ⇒ Considerer chaque avion comme agent ´ ` cette approche pose des problemes : ⇒ Un grand systeme massivement multi-agents ` ⇒ L’apprentissage est tres lent ` Solution ? ⇒ Assigner des agents a des positions sur un espace a 2D ` ` ⇒ Une zone sur le sol de l’espace aerien ´ ⇒ Definie par ses coordonnees ´ ´ Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  18. 18. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompense `Architecture du systeme multi-agent ´ Figure : Schema de l’architecture des agents Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  19. 19. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseActions de l’agent Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  20. 20. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseActions de l’agent ´ Un choix evident ? ⇒ Soumettre les avions aux agents .. Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  21. 21. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseActions de l’agent ´ Un choix evident ? ⇒ Soumettre les avions aux agents .. ´ ` cette approche pose egalement des problemes : ⇒ Les plans de vols seront moins fiables et compliques ´ ⇒ probleme d’ordonnecement ` Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  22. 22. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseActions de l’agent ´ Un choix evident ? ⇒ Soumettre les avions aux agents .. ´ ` cette approche pose egalement des problemes : ⇒ Les plans de vols seront moins fiables et compliques ´ ⇒ probleme d’ordonnecement ` Solution ? ⇒ Action : garder la distance de securite entre les avions ´ ´ ⇒ Cette distance s’appelle MIT ⇒ L’agent augmente au diminue la distance MIT Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  23. 23. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseApprentissage de l’agent Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  24. 24. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseApprentissage de l’agent ` ´ L’agent cherche a maximiser sa recompense ⇒ Objectif : apprendre les meilleurs valeurs de MIT Q (a) = (1 − ε)Q (a) + ε(R ) ´ (3) Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  25. 25. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompenseApprentissage de l’agent ` ´ L’agent cherche a maximiser sa recompense ⇒ Objectif : apprendre les meilleurs valeurs de MIT Q (a) = (1 − ε)Q (a) + ε(R ) ´ (3) ` ´ a chaque etape l’agent choisi : L’action a avec la probabilite : 1 − ε ´ → Exploitation de sa connaissance ´ ´ Une action aleatoire avec la probabilite : ε → Exploration des autres actions Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  26. 26. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompense ´Structure de la recompense de l’agent Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  27. 27. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompense ´Structure de la recompense de l’agent ` Une premiere approche ? ⇒ performance du systeme ` Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  28. 28. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompense ´Structure de la recompense de l’agent ` Une premiere approche ? ⇒ performance du systeme ` cette approche n’est pas la meilleure ⇒ Ralentissement de l’apprentissage Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  29. 29. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompense ´Structure de la recompense de l’agent ` Une premiere approche ? ⇒ performance du systeme ` cette approche n’est pas la meilleure ⇒ Ralentissement de l’apprentissage Solution ? ⇒ Considerer la difference de la recompense : ´ ´ ´ Di = G(z ) − G(z − zi + ci ) (4) zi est l’action de l’agent i Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  30. 30. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompense ´ ´Estimation de la difference de recompense Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  31. 31. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompense ´ ´Estimation de la difference de recompense ⇒ Impossible de calculer directement Di Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  32. 32. Introduction Choix de l’agent ´ Management des flux du trafic aerien Actions de l’agent ´ Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent ´ Resultats des simulations ´ Structure de la recompense de l’agent Conclusion ´ ´ Estimation de la difference de recompense ´ ´Estimation de la difference de recompense ⇒ Impossible de calculer directement Di Solution ? ⇒ Faire une estimation Diest1 = Gf (f (z )) − Gf (f (z ) − E (f (z )/zi ) + E (f (z )/ci )) (5) Diest2 = Gf (f (z )) − Gf (f (z ) − E (f (z )/zi ) + E (f (z ))) (6) Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  33. 33. Introduction ´ Management des flux du trafic aerien Avec congestion unique ´ Agent Intelligent du Management des flux du trafic aerien Avec deux congestions ´ Resultats des simulations ConclusionSimulation avec congestion unique Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  34. 34. Introduction ´ Management des flux du trafic aerien Avec congestion unique ´ Agent Intelligent du Management des flux du trafic aerien Avec deux congestions ´ Resultats des simulations ConclusionSimulation avec deux congestions Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  35. 35. Introduction ´ Management des flux du trafic aerien Avec congestion unique ´ Agent Intelligent du Management des flux du trafic aerien Avec deux congestions ´ Resultats des simulations ConclusionNombre d’agents Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  36. 36. Introduction ´ Management des flux du trafic aerien Avec congestion unique ´ Agent Intelligent du Management des flux du trafic aerien Avec deux congestions ´ Resultats des simulations ConclusionInfluence de α Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  37. 37. Introduction ´ Management des flux du trafic aerien Avec congestion unique ´ Agent Intelligent du Management des flux du trafic aerien Avec deux congestions ´ Resultats des simulations ConclusionCout de calcul ˆ Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  38. 38. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionConclusion ´ Une solution distribuee adaptative Pas de changement radical Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien
  39. 39. Introduction ´ Management des flux du trafic aerien ´ Agent Intelligent du Management des flux du trafic aerien ´ Resultats des simulations ConclusionConclusion ´ Une solution distribuee adaptative Pas de changement radical D’autres pistes ? Chercher d’autres algorithmes Etendre la notion d’agent aux secteurs Mohamed IMLI ´ ´ SMA distribues : Management des flux du trafic aerien

×