Gestion dynamique des tˆaches dans les grappes 
une approche `a base de machines virtuelles 
Fabien Hermenier 
´Equipe ASC...
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles 
Recon...
Contexte 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuel...
Contexte 
Grappe de serveurs 
◮ des machines (noeuds) interconnect´ees mettent `a disposition leurs 
ressources (mat´eriel...
Contexte 
Le gestionnaire de ressources 
◮ service responsable de l’ex´ecution des tˆaches sur la grappe 
◮ consulte les d...
Contexte 
Le gestionnaire de ressources 
◮ service responsable de l’ex´ecution des tˆaches sur la grappe 
◮ consulte les d...
Contexte 
Des besoins en ordonnancement vari´es 
Des objectifs diff´erents 
◮ diff´erentes strat´egies d’ordonnancement 
◮...
Contexte 
Diff´erentes approches pour l’ordonnancement 
Gestion statique des tˆaches 
(ex : EDF [Liu et al., JACM’73], EAS...
Contexte 
Diff´erentes approches pour l’ordonnancement 
Gestion dynamique des tˆaches 
(ex : gang-scheduling, co-schedulin...
Contexte 
Gestion dynamique des tˆaches 
Des op´erations techniquement complexes 
◮ allocation dynamique des ressources 
◮...
Contexte 
Probl´ematique de la th`ese 
Les approches dynamiques : 
th´eoriquement plus efficaces, n´eglig´ees en pratique ...
Contexte 
Contributions 
◮ une approche flexible pour l’impl´ementation d’ordonnanceurs 
◮ utilisation de la programmation...
Ordonnancement flexible avec des contraintes 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architectu...
Ordonnancement flexible avec des contraintes 
Ordonnancement flexible avec des contraintes 
La programmation par contraint...
Ordonnancement flexible avec des contraintes 
Ordonnancement flexible avec des contraintes 
Notre approche 
◮ une mod´elis...
Une architecture reposant sur les machines virtuelles 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une a...
Une architecture reposant sur les machines virtuelles 
Une architecture reposant sur les machines virtuelles 
La virtualis...
Une architecture reposant sur les machines virtuelles 
Une architecture reposant sur les machines virtuelles 
Chaque compo...
Reconfiguration dynamique 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les...
Reconfiguration dynamique 
Reconfiguration dynamique 
◮ r´e-agencer les tˆaches 
◮ les besoins en ressources des composant...
Reconfiguration dynamique 
Cycle de vie des machines virtuelles 
Des actions 
◮ pour changer l’´etat 
d’une VM 
◮ pour re-...
Reconfiguration dynamique 
La reconfiguration dynamique 
Ex´ecuter une action 
◮ `a un coˆut 
◮ temps d’ex´ecution 
(a) Te...
Reconfiguration dynamique 
La reconfiguration dynamique 
Ex´ecuter une action 
◮ `a un coˆut 
◮ temps d’ex´ecution 
◮ impa...
Reconfiguration dynamique 
La reconfiguration dynamique 
Ex´ecuter une action 
◮ `a un coˆut 
◮ temps d’ex´ecution 
◮ impa...
Reconfiguration dynamique 
Planifier la reconfiguration 
Assurer la faisabilit´e des actions 
◮ des actions doivent ˆetre ...
Reconfiguration dynamique 
Planifier la reconfiguration 
Assurer la faisabilit´e des actions 
◮ des actions doivent ˆetre ...
Reconfiguration dynamique 
Optimiser la reconfiguration 
Un besoin de r´eactivit´e 
◮ les besoins en ressources des tˆache...
Reconfiguration dynamique 
Optimiser la reconfiguration 
Notre approche 
◮ des contraintes fixent l’´etat des VMs de la no...
Applications 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines vir...
Applications un prototype : Entropy 
Entropy 
Objectifs 
◮ un prototype pour la validation de nos travaux 
◮ une auto-opti...
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
Base de connaissances 
◮ une mod´elisation de l’ordonnancem...
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
Supervision 
◮ interrogation d’un syst`eme de supervision p...
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
D´ecision 
◮ analyse l’´etat courant de la grappe 
◮ d´edui...
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
Planification 
◮ reconfiguration dynamique : calcule le pla...
Applications un prototype : Entropy 
Boucle d’auto-adaptation 
Ex´ecution 
◮ adapte les actions aux sp´ecificit´es de la g...
Applications Consolidation dynamique 
Consolidation dynamique 
Disponibilit´e et occupation des ressources 
◮ taux d’occup...
Applications Consolidation dynamique 
Consolidation dynamique 
La consolidation dynamique 
◮ les besoins en ressources des...
Applications Consolidation dynamique 
Consolidation dynamique 
La consolidation dynamique 
◮ les besoins en ressources des...
Applications Consolidation dynamique 
Consolidation dynamique 
Impl´ementation dans Entropy 
◮ observation des besoins cou...
Applications Ordonnancement flexible de tˆaches 
Ordonnancement flexible de tˆaches 
Simplifier le d´eveloppement d’ordonn...
Applications Ordonnancement flexible de tˆaches 
Ordonnancement flexible de tˆaches 
Impl´ementation dans Entropy : 
le ch...
Applications Ordonnancement flexible de tˆaches 
Ordonnancement flexible de tˆaches 
Exemple d’algorithme 
◮ s´electionne ...
´E 
valuation 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines vi...
´E 
valuation 
´E 
valuation 
Objectifs 
◮ valider notre approche pour la r´eduction du temps de reconfiguration 
◮ estime...
´E 
valuation 
Micro-´evaluations 
Compar´e `a l’heuristique commune First 
Fit Decrease 
◮ un temps de r´esolution qui pe...
´E 
valuation 
Micro-´evaluations 
Compar´e `a l’heuristique commune First 
Fit Decrease 
◮ un temps de r´esolution qui pe...
´E 
valuation 
´E 
valuations sur grappes 
Compar´e `a FFD 
◮ r´eduire le coˆut d’une reconfiguration 
r´eduit son temps d...
´E 
valuation 
´E 
valuations sur grappes 
Compar´e `a FFD 
◮ r´eduire le coˆut d’une reconfiguration 
r´eduit son temps d...
´E 
valuation 
´E 
valuations sur grappes 
Compar´e `a FFD 
◮ r´eduire le coˆut d’une reconfiguration 
r´eduit son temps d...
Bilan 
Plan 
Contexte 
Ordonnancement flexible avec des contraintes 
Une architecture reposant sur les machines virtuelles...
Bilan 
Conclusion 
◮ la virtualisation facilite l’ex´ecution de strat´egies de gestion dynamique 
des tˆaches 
◮ la progra...
Bilan 
Perspectives de cette th`ese 
Ordonnancement 
◮ am´eliorer l’utilisabilit´e 
◮ une approche d´eclarative par un lan...
Bilan 
Bilan 
◮ la virtualisation 
◮ une solution adopt´ee dans les centres d’h´ebergement 
◮ un candidat s´erieux pour fa...
Bilan 
Diffusion 
◮ publications 
◮ conf´erence internationale : VEE’09 
◮ conf´erences nationale : CFSE’06, CFSE’07 
◮ at...
Prochain SlideShare
Chargement dans…5
×

Gestion dynamique des tâches dans les grappes. Une approche à base de machines virtuelles

372 vues

Publié le

Slides de la soutenance de thèse

Publié dans : Logiciels
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
372
Sur SlideShare
0
Issues des intégrations
0
Intégrations
4
Actions
Partages
0
Téléchargements
5
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Gestion dynamique des tâches dans les grappes. Une approche à base de machines virtuelles

  1. 1. Gestion dynamique des tˆaches dans les grappes une approche `a base de machines virtuelles Fabien Hermenier ´Equipe ASCOLA, ´Ecole des Mines de Nantes 26 novembre 2009 Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 1 / 42
  2. 2. Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 2 / 42
  3. 3. Contexte Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 3 / 42
  4. 4. Contexte Grappe de serveurs ◮ des machines (noeuds) interconnect´ees mettent `a disposition leurs ressources (mat´erielles, logicielles) ◮ des utilisateurs soumettent en continu des tˆaches dont l’ex´ecution requiert une grande quantit´e de ressources (calcul scientifique) Tˆaches ◮ des applications souvent distribu´ees dont les composants peuvent s’ex´ecuter sur des noeuds diff´erents ◮ les quantit´es de ressources (mat´erielles, logicielles) n´ecessaires `a leur ex´ecution sont d´ecrites par l’utilisateur Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 4 / 42
  5. 5. Contexte Le gestionnaire de ressources ◮ service responsable de l’ex´ecution des tˆaches sur la grappe ◮ consulte les descriptions des tˆaches et l’´etat de la grappe Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 5 / 42
  6. 6. Contexte Le gestionnaire de ressources ◮ service responsable de l’ex´ecution des tˆaches sur la grappe ◮ consulte les descriptions des tˆaches et l’´etat de la grappe ◮ s´electionne avec une strat´egie d’ordonnancement ◮ les tˆaches `a ex´ecuter ◮ les noeuds qui h´ebergeront les composants des tˆaches Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 5 / 42
  7. 7. Contexte Des besoins en ordonnancement vari´es Des objectifs diff´erents ◮ diff´erentes strat´egies d’ordonnancement ◮ r´eduire le temps d’attente avant l’ex´ecution des tˆaches ◮ r´eduire le nombre de noeuds n´ecessaire `a l’ex´ecution des tˆaches ◮ etc. ◮ des contraintes de placement des composants sp´ecifiques ◮ placement relativement `a des noeuds ou d’autres composants ◮ partitionnement de la grappe en fonction des utilisateurs ◮ etc. Des approches actuelles peu flexibles ◮ diff´erentes heuristiques ad-hoc ◮ des strat´egies d’ordonnancement au champ d’application limit´e Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 6 / 42
  8. 8. Contexte Diff´erentes approches pour l’ordonnancement Gestion statique des tˆaches (ex : EDF [Liu et al., JACM’73], EASY [Lifka, IPPS’95]) ◮ allocation statique des ressources aux composants ◮ ex´ecution sans pr´eemption de chaque tˆache ◮ avantages ◮ des op´erations techniquement simples ◮ des ordonnancements reproductibles ◮ inconv´enients ◮ r´eservation fixe de ressources pour une utilisation potentiellement variable ◮ tendance `a la sur-r´eservation Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 7 / 42
  9. 9. Contexte Diff´erentes approches pour l’ordonnancement Gestion dynamique des tˆaches (ex : gang-scheduling, co-scheduling [Feitelson et al., 95+]) ◮ allocation dynamique des ressources aux composants des tˆaches ◮ actions de manipulation `a la vol´ee du placement des composants et de l’´etat des tˆaches : migration, pr´eemption ◮ avantages ◮ allocation des ressources en fonction des besoins ◮ optimisation en continu de l’ordonnancement ◮ inconv´enients ◮ des ordonnancements non reproductibles ◮ une mise en oeuvre difficile Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 8 / 42
  10. 10. Contexte Gestion dynamique des tˆaches Des op´erations techniquement complexes ◮ allocation dynamique des ressources ◮ l’application doit s’adapter `a une disponibilit´e variable des ressources ◮ migration, pr´eemption ◮ l’int´egrit´e de l’application doit ˆetre assur´ee Des solutions limit´ees ◮ les approches ad-hoc n´ecessitent l’adaptation des applications ◮ les approches g´en´eriques supportent un type d’application restreint (ex : BLCR[Hargrove et al., SCIDAC’06]) ◮ des actions coˆuteuses en temps et en ressources Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 9 / 42
  11. 11. Contexte Probl´ematique de la th`ese Les approches dynamiques : th´eoriquement plus efficaces, n´eglig´ees en pratique ◮ des algorithmes d’ordonnancement peu adaptables ◮ un support pour l’ex´ecution contraignant ◮ une manipulation complexe des tˆaches Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 10 / 42
  12. 12. Contexte Contributions ◮ une approche flexible pour l’impl´ementation d’ordonnanceurs ◮ utilisation de la programmation par contraintes ◮ un support adapt´e `a la gestion dynamique des tˆaches ◮ utilisation des machines virtuelles ◮ une manipulation efficace des tˆaches ◮ la reconfiguration dynamique Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 11 / 42
  13. 13. Ordonnancement flexible avec des contraintes Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 12 / 42
  14. 14. Ordonnancement flexible avec des contraintes Ordonnancement flexible avec des contraintes La programmation par contraintes ◮ une approche pour la mod´elisation et la r´esolution de probl`emes combinatoire ◮ l’utilisateur mod´elise son probl`eme, le solveur le r´esoud ◮ des contraintes standard, r´eutilisables et composables comme briques ´el´ementaires des mod`eles ◮ une m´ethode de r´esolution exacte, g´en´erique, mais qui peut prendre du temps pour des probl`emes complexes Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 13 / 42
  15. 15. Ordonnancement flexible avec des contraintes Ordonnancement flexible avec des contraintes Notre approche ◮ une mod´elisation ◮ de la grappe et de ses ressources ◮ des tˆaches (´etats, besoins en ressources) ◮ de l’affectation des composants des tˆaches aux noeuds ◮ des contraintes additionnelles pour d´efinir des strat´egies d’ordonnancement sp´ecifiques ◮ forcer l’´etat des tˆaches ◮ forcer/interdire le placement de composants sur des noeuds ◮ corr´eler les placements de groupes de composants Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 14 / 42
  16. 16. Une architecture reposant sur les machines virtuelles Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 15 / 42
  17. 17. Une architecture reposant sur les machines virtuelles Une architecture reposant sur les machines virtuelles La virtualisation[Popek et Golberg, 1974] ◮ un nouveau niveau d’abstraction virtualise la couche mat´erielle ◮ les applications et l’environnement d’ex´ecution sont isol´es dans des machines virtuelles (VMs) ◮ l’hyperviseur contrˆole l’acc`es aux ressources des VMs Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 16 / 42
  18. 18. Une architecture reposant sur les machines virtuelles Une architecture reposant sur les machines virtuelles Chaque composant d’une tˆache est ex´ecut´e dans une machine virtuelle ◮ l’effort d’adaptation des applications `a la grappe est r´eduit ◮ le contrˆole des tˆaches est transparent et non-invasif ◮ les primitives pour une gestion dynamique des tˆaches existent au niveau de l’hyperviseur ◮ r´e-agencement : migration `a chaud [clark et al., NSDI’05] ◮ pr´eemption : suspension sur disque, reprise Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 17 / 42
  19. 19. Reconfiguration dynamique Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 18 / 42
  20. 20. Reconfiguration dynamique Reconfiguration dynamique ◮ r´e-agencer les tˆaches ◮ les besoins en ressources des composants ne sont plus satisfaits ◮ un meilleur ordonnancement est possible ◮ probl´ematiques ◮ planifier les actions manipulant les composants (les VMs) ◮ ex´ecuter la reconfiguration le plus rapidement possible Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 19 / 42
  21. 21. Reconfiguration dynamique Cycle de vie des machines virtuelles Des actions ◮ pour changer l’´etat d’une VM ◮ pour re-positionner une VM Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 20 / 42
  22. 22. Reconfiguration dynamique La reconfiguration dynamique Ex´ecuter une action ◮ `a un coˆut ◮ temps d’ex´ecution (a) Temps d’ex´ecution d’une migra-tion selon diff´erents contextes Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 21 / 42
  23. 23. Reconfiguration dynamique La reconfiguration dynamique Ex´ecuter une action ◮ `a un coˆut ◮ temps d’ex´ecution ◮ impact sur les performances des applications ◮ une fonction ´evalue le coˆut (temporelle) de chaque action (b) Surcoˆut li´e `a une migration selon diff´erents contextes Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 21 / 42
  24. 24. Reconfiguration dynamique La reconfiguration dynamique Ex´ecuter une action ◮ `a un coˆut ◮ temps d’ex´ecution ◮ impact sur les performances des applications ◮ une fonction ´evalue le coˆut (temporelle) de chaque action ◮ impacte sur la disponibilit´e des ressources des noeuds Action Impact sur les ressources Consommateur Lib´erateur Lancement X Arrˆet X Suspension X Reprise X Migration X X Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 21 / 42
  25. 25. Reconfiguration dynamique Planifier la reconfiguration Assurer la faisabilit´e des actions ◮ des actions doivent ˆetre s´equenc´ees Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 22 / 42
  26. 26. Reconfiguration dynamique Planifier la reconfiguration Assurer la faisabilit´e des actions ◮ des actions doivent ˆetre s´equenc´ees ◮ des migrations suppl´ementaires sur un noeud pivot cassent des inter-d´ependances Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 22 / 42
  27. 27. Reconfiguration dynamique Optimiser la reconfiguration Un besoin de r´eactivit´e ◮ les besoins en ressources des tˆaches varient dans le temps ◮ une reconfiguration doit ˆetre rapide pour rester coh´erente ◮ la somme des coˆuts des actions doit ˆetre la plus faible possible Des solutions pour r´eduire le temps de reconfiguration ◮ ex´ecuter le moins d’actions possibles ◮ ex´ecuter les actions les moins coˆuteuses ◮ parall´eliser les actions Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 23 / 42
  28. 28. Reconfiguration dynamique Optimiser la reconfiguration Notre approche ◮ des contraintes fixent l’´etat des VMs de la nouvelle configuration en fonction des ´etats souhait´es des tˆaches ◮ des contraintes assurent la disponibilit´e des ressources pour les VMs ◮ une heuristique calcule un plan r´ealisable de parall´elisme maximum associ´e `a une configuration ◮ une fonction objectif s´electionne la configuration de plan le moins coˆuteux Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 24 / 42
  29. 29. Applications Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 25 / 42
  30. 30. Applications un prototype : Entropy Entropy Objectifs ◮ un prototype pour la validation de nos travaux ◮ une auto-optimisation en continu de l’´etat et de la position de machines virtuelles Deux sc´enarios d´evelopp´es durant cette th`ese ◮ la consolidation dynamique ◮ l’ordonnancement flexible de tˆaches Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 26 / 42
  31. 31. Applications un prototype : Entropy Boucle d’auto-adaptation Base de connaissances ◮ une mod´elisation de l’ordonnancement de tˆaches sur une grappe avec le solveur de contraintes Choco ◮ une API pour d´efinir des contraintes sur le mod`ele Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  32. 32. Applications un prototype : Entropy Boucle d’auto-adaptation Supervision ◮ interrogation d’un syst`eme de supervision pr´e-install´e (actuellement Ganglia) ◮ capture l’´etat courant de la grappe Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  33. 33. Applications un prototype : Entropy Boucle d’auto-adaptation D´ecision ◮ analyse l’´etat courant de la grappe ◮ d´eduit un nouvel ´etat pour les tˆaches satisfaisant des contraintes ◮ un module personnalisable Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  34. 34. Applications un prototype : Entropy Boucle d’auto-adaptation Planification ◮ reconfiguration dynamique : calcule le plan le moins coˆuteux pour r´ealiser la transition entre l’´etat courant et le nouvel ´etat Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  35. 35. Applications un prototype : Entropy Boucle d’auto-adaptation Ex´ecution ◮ adapte les actions aux sp´ecificit´es de la grappe (actuellement des commandes SSH ou pour l’hyperviseur Xen) ◮ ex´ecute le plan de reconfiguration Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 27 / 42
  36. 36. Applications Consolidation dynamique Consolidation dynamique Disponibilit´e et occupation des ressources ◮ taux d’occupation de 53% en moyenne [Parallel Workload Archive] ◮ pour des grappes disponibles `a 100% La consolidation h´eberger plusieurs machines virtuelles sur un mˆeme noeud ◮ r´eduit la consommation ´energ´etique en cas de concentration ◮ augmente la capacit´e d’accueil de la grappe Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 28 / 42
  37. 37. Applications Consolidation dynamique Consolidation dynamique La consolidation dynamique ◮ les besoins en ressources des VMs varient et cr´eent des agencements non-viables Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 29 / 42
  38. 38. Applications Consolidation dynamique Consolidation dynamique La consolidation dynamique ◮ les besoins en ressources des VMs varient et cr´eent des agencements non-viables ◮ des migrations `a chaud r´e-agencent des VMs si besoin Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 29 / 42
  39. 39. Applications Consolidation dynamique Consolidation dynamique Impl´ementation dans Entropy ◮ observation des besoins courants en ressources CPU ◮ calcul du nombre de noeuds minimum pour h´eberger toutes les VMs ◮ la reconfiguration dynamique ◮ calcule une nouvelle configuration ◮ assure que les VMs seront h´eberg´ees sur le nombre minimum de noeuds Une approche avec des contraintes compar´ee `a une approche heuristique standard X plus flexible X un r´esultat th´eoriquement meilleur × un temps de calcul plus long Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 30 / 42
  40. 40. Applications Ordonnancement flexible de tˆaches Ordonnancement flexible de tˆaches Simplifier le d´eveloppement d’ordonnanceurs ◮ d´evelopper des ordonnanceurs pour grappe est complexe ◮ le d´eveloppeur doit `a la fois consid´erer ◮ le probl`eme li´e `a la s´election des tˆaches ◮ les probl`emes li´es `a l’application de l’ordonnancement choisi Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 31 / 42
  41. 41. Applications Ordonnancement flexible de tˆaches Ordonnancement flexible de tˆaches Impl´ementation dans Entropy : le changement de contexte dans les grappes ◮ le d´eveloppeur de l’algorithme ◮ se focalise sur la s´election des tˆaches `a ex´ecuter ◮ prouve par un exemple basique qu’un agencement viable existe ◮ le changement de contexte se charge de la mise en place de la solution en un minimum de temps ◮ suspend, reprend, lance et arrˆete des tˆaches ◮ migre si n´ecessaire des composants Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 32 / 42
  42. 42. Applications Ordonnancement flexible de tˆaches Ordonnancement flexible de tˆaches Exemple d’algorithme ◮ s´electionne les tˆaches `a ex´ecuter d`es qu’il existe suffisamment de ressources libres sur la grappe ◮ le changement de contexte assure ◮ la pr´eemption des tˆaches en cas de surcharge ◮ une ex´ecution au plus tˆot ◮ une adaptation `a des besoins en ressources variables Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 33 / 42
  43. 43. ´E valuation Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 34 / 42
  44. 44. ´E valuation ´E valuation Objectifs ◮ valider notre approche pour la r´eduction du temps de reconfiguration ◮ estimer les temps de r´esolution de nos diff´erents modules ◮ comparer la qualit´e des solutions rapport´ee `a des approches heuristiques ◮ estimer l’impact sur les performances Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 35 / 42
  45. 45. ´E valuation Micro-´evaluations Compar´e `a l’heuristique commune First Fit Decrease ◮ un temps de r´esolution qui peut ˆetre important (c) ´Evolution de la r´esolution du probl`eme de consolidation dynamique Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 36 / 42
  46. 46. ´E valuation Micro-´evaluations Compar´e `a l’heuristique commune First Fit Decrease ◮ un temps de r´esolution qui peut ˆetre important ◮ contrebalanc´e par la qualit´e des r´esultats (d) R´eduction du coˆut de la re-configuration compar´ee `a FFD pour diff´erentes classes de configuration Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 36 / 42
  47. 47. ´E valuation ´E valuations sur grappes Compar´e `a FFD ◮ r´eduire le coˆut d’une reconfiguration r´eduit son temps d’ex´ecution ◮ une plus grande r´eactivit´e ◮ des reconfigurations plus fr´equentes (e) Coˆut et dur´ee des reconfigu-rations r´ealis´ees lors de l’ex´ecution d’applications de la suite NASGrid Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 37 / 42
  48. 48. ´E valuation ´E valuations sur grappes Compar´e `a FFD ◮ r´eduire le coˆut d’une reconfiguration r´eduit son temps d’ex´ecution ◮ une plus grande r´eactivit´e ◮ des reconfigurations plus fr´equentes ◮ un impact r´eduit sur les performances (+11%) (f) Temps d’ex´ecution d’applications de la suite NASGrid selon l’approche pour la reconfiguration Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 37 / 42
  49. 49. ´E valuation ´E valuations sur grappes Compar´e `a FFD ◮ r´eduire le coˆut d’une reconfiguration r´eduit son temps d’ex´ecution ◮ une plus grande r´eactivit´e ◮ des reconfigurations plus fr´equentes ◮ un impact r´eduit sur les performances (+11%) ◮ une meilleure utilisation des ressources (-50%) (g) Temps d’ex´ecution d’applications de la suite NASGrid selon l’approche pour la reconfiguration Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 37 / 42
  50. 50. Bilan Plan Contexte Ordonnancement flexible avec des contraintes Une architecture reposant sur les machines virtuelles Reconfiguration dynamique Applications ´Evaluation Bilan Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 38 / 42
  51. 51. Bilan Conclusion ◮ la virtualisation facilite l’ex´ecution de strat´egies de gestion dynamique des tˆaches ◮ la programmation par contraintes ◮ facilite le d´eveloppement de strat´egies sp´ecifiques ◮ propose des solutions de qualit´e qui justifient un temps de r´esolution long ◮ le prototype Entropy valide empiriquement l’approche Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 39 / 42
  52. 52. Bilan Perspectives de cette th`ese Ordonnancement ◮ am´eliorer l’utilisabilit´e ◮ une approche d´eclarative par un langage d´edi´e ◮ augmenter la flexibilit´e du processus de reconfiguration ◮ une approche contraintes pure Entropy ◮ consid´erer d’autres types de ressources ◮ bande passante et latence r´eseau ◮ int´egrer Entropy dans des gestionnaires de grappes `a base de VMs existants ◮ une meilleure visibilit´e ◮ identifier `a de nouveaux besoins, cas d’utilisation, et valider la granularit´e de notre mod`ele Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 40 / 42
  53. 53. Bilan Bilan ◮ la virtualisation ◮ une solution adopt´ee dans les centres d’h´ebergement ◮ un candidat s´erieux pour faciliter l’ordonnancement ◮ des actions manipulant les machines virtuelles encore trop basiques ◮ l’informatique en nuage, un domaine ´emergent ◮ l’h´ebergement n’est plus `a la charge de l’utilisateur ◮ les syst`emes devront assurer un placement satisfaisant des besoins concrets ◮ ordonnancement reposant sur des contraintes ◮ une approche adapt´ee `a la taille de ces architectures immenses ? Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 41 / 42
  54. 54. Bilan Diffusion ◮ publications ◮ conf´erence internationale : VEE’09 ◮ conf´erences nationale : CFSE’06, CFSE’07 ◮ atelier international : XHPC’06 ◮ poster : OSDI’08 ◮ valorisation ◮ Entropy est disponible sous licence LGPL ◮ tests en cours `a la Direction G´en´erale des FInances Publiques ◮ un projet ANR reprenant nos travaux : Self-XL Fabien Hermenier (ASCOLA) Gestion dynamique des tˆaches dans les grappes 26/11/2009 42 / 42

×