CloudStack chez Inria
Florent Paillot - Inria 19 Juin 2013
SOMMAIRE
1. De l’intégration continue à CloudStack
2. Les développements internes
3. Architecture CloudStack déployée
4. De l’exploitation à la panne
5. Bilan et perspectives
19/06/2013Florent Paillot - Inria
De l’intégration continue à
cloudstack
Florent Paillot - Inria 19/06/2013
1
INTRODUCTION
L’Intégration Continue est une pratique, empruntée à l’eXtreme
Programming, qui permet d’améliorer la qualité et la fiabilité d’un
logiciel en vérifiant à chaque nouvelle modification que les
fonctionnalités du logiciel restent opérationnelles.
19/06/2013Florent Paillot - Inria
Quelques chiffres
19/06/2013Florent Paillot - Inria
• La plateforme d’intégration continue d’Inria c’est :
• Un lancement officiel en Janvier 2013
• 129 projets
• 236 VM
• 308 utilisateurs
Historique du besoin
19/06/2013Florent Paillot - Inria
• Intégration continue = bonne pratique de développement
• Plusieurs initiatives dans les centres Inria
• Adoption forte par les utilisateurs des outils proposés
• Volonté de proposer ces outils à une échelle nationale
Les objectifs du projet
19/06/2013Florent Paillot - Inria
• Mettre en place une offre de service d'intégration continue
pour les développements scientifiques
• Enrichir l'offre d'un service de mise à disposition automatique
de machines de compilations
• Offrir un workflow robuste pour utiliser les logiciels
d'intégration continue
L’offre proposée aux chercheurs
19/06/2013Florent Paillot - Inria
Du SaaS pour leur faciliter la vie …
… de l’IaaS pour les rendre heureux.
Les composants de l’intégration continue
19/06/2013Florent Paillot - Inria
• Un portail utilisateur
• Des serveurs d’intégration (les maitres)
• Des serveurs pour la compilation (les esclaves)
Architecture générale de la plateforme
19/06/2013Florent Paillot - Inria
Une solution pour les gouverner tous
19/06/2013Florent Paillot - Inria
• Nous sommes en Mars 2011
• Quelle solution choisir :
• CloudStack ?
• OpenStack ?
• Eucalyptus ?
• vCloud Director ?
Florent Paillot - Inria 19/06/2013
Les développements internes
2
Le portail
19/06/2013Florent Paillot - Inria
• Son rôle :
• Inscription des utilisateurs / des projets
• Administration des projets
• Hébergement des outils d’intégration continue (Jenkins)
• Documentation
Interface de gestion des esclaves
19/06/2013Florent Paillot - Inria
Interface de gestion des esclaves
19/06/2013Florent Paillot - Inria
CloudStack
19/06/2013Florent Paillot - Inria
• Support d’OSX comme esclave de compilation
• Patch intégré dans la prochaine version de cloudstack
• Création d’esclaves 32 bits
• En cours de développement
• Support des architectures ARM
• En cours de développement
Florent Paillot - Inria 19/06/2013
Architecture CloudStack déployée
3
Les composants CloudStack
19/06/2013Florent Paillot - Inria
• Une zone, un pod
• 4 Clusters
• Un compte par projet
• Le contrôleur CloudStack est une VM
Les hyperviseurs
19/06/2013Florent Paillot - Inria
• 16 hyperviseurs KVM en CentOS 6
• Châssis Dell C6000
Le stockage
19/06/2013Florent Paillot - Inria
• Stockage primaire : GFS 2
• LUN iSCSI sur des baies Dell Equallogic
• Stockage secondaire : NFS
• NetApp
Le réseau
19/06/2013Florent Paillot - Inria
• Un vlan dédié pour héberger la zone
• Un réseau privé de classe B
• Fonction de routage avec « le monde extérieur » assurées par
une VM
Florent Paillot - Inria 19/06/2013
De l’exploitation à la gestion de la
panne
4
Exploitation quotidienne
19/06/2013Florent Paillot - Inria
• Surveillance :
• Nagios + Munin
• Portail cloudstack
• Opérations de maintenance :
• Mise à jour des hyperviseurs
Exploitation quotidienne
19/06/2013Florent Paillot - Inria
Les pannes
19/06/2013Florent Paillot - Inria
• Quand le réseau et le stockage s’emballent:
• Mêmes faiblesses que la virtualisation
• Quelle couche est responsable ?
• Une analyse post-mortem parfois complexe
Florent Paillot - Inria 19/06/2013
Bilan et perspectives
5
Le futur
19/06/2013Florent Paillot - Inria
• Passage en version 4.x
• Amélioration de la fiabilité de l’infrastructure KVM
• Résolution du problème de SPOF pour le routage extérieur
• Facturation / Capacity planning
Merci

INRIA continuous integration plaftorm

  • 1.
    CloudStack chez Inria FlorentPaillot - Inria 19 Juin 2013
  • 2.
    SOMMAIRE 1. De l’intégrationcontinue à CloudStack 2. Les développements internes 3. Architecture CloudStack déployée 4. De l’exploitation à la panne 5. Bilan et perspectives 19/06/2013Florent Paillot - Inria
  • 3.
    De l’intégration continueà cloudstack Florent Paillot - Inria 19/06/2013 1
  • 4.
    INTRODUCTION L’Intégration Continue estune pratique, empruntée à l’eXtreme Programming, qui permet d’améliorer la qualité et la fiabilité d’un logiciel en vérifiant à chaque nouvelle modification que les fonctionnalités du logiciel restent opérationnelles. 19/06/2013Florent Paillot - Inria
  • 5.
    Quelques chiffres 19/06/2013Florent Paillot- Inria • La plateforme d’intégration continue d’Inria c’est : • Un lancement officiel en Janvier 2013 • 129 projets • 236 VM • 308 utilisateurs
  • 6.
    Historique du besoin 19/06/2013FlorentPaillot - Inria • Intégration continue = bonne pratique de développement • Plusieurs initiatives dans les centres Inria • Adoption forte par les utilisateurs des outils proposés • Volonté de proposer ces outils à une échelle nationale
  • 7.
    Les objectifs duprojet 19/06/2013Florent Paillot - Inria • Mettre en place une offre de service d'intégration continue pour les développements scientifiques • Enrichir l'offre d'un service de mise à disposition automatique de machines de compilations • Offrir un workflow robuste pour utiliser les logiciels d'intégration continue
  • 8.
    L’offre proposée auxchercheurs 19/06/2013Florent Paillot - Inria Du SaaS pour leur faciliter la vie … … de l’IaaS pour les rendre heureux.
  • 9.
    Les composants del’intégration continue 19/06/2013Florent Paillot - Inria • Un portail utilisateur • Des serveurs d’intégration (les maitres) • Des serveurs pour la compilation (les esclaves)
  • 10.
    Architecture générale dela plateforme 19/06/2013Florent Paillot - Inria
  • 11.
    Une solution pourles gouverner tous 19/06/2013Florent Paillot - Inria • Nous sommes en Mars 2011 • Quelle solution choisir : • CloudStack ? • OpenStack ? • Eucalyptus ? • vCloud Director ?
  • 12.
    Florent Paillot -Inria 19/06/2013 Les développements internes 2
  • 13.
    Le portail 19/06/2013Florent Paillot- Inria • Son rôle : • Inscription des utilisateurs / des projets • Administration des projets • Hébergement des outils d’intégration continue (Jenkins) • Documentation
  • 14.
    Interface de gestiondes esclaves 19/06/2013Florent Paillot - Inria
  • 15.
    Interface de gestiondes esclaves 19/06/2013Florent Paillot - Inria
  • 16.
    CloudStack 19/06/2013Florent Paillot -Inria • Support d’OSX comme esclave de compilation • Patch intégré dans la prochaine version de cloudstack • Création d’esclaves 32 bits • En cours de développement • Support des architectures ARM • En cours de développement
  • 17.
    Florent Paillot -Inria 19/06/2013 Architecture CloudStack déployée 3
  • 18.
    Les composants CloudStack 19/06/2013FlorentPaillot - Inria • Une zone, un pod • 4 Clusters • Un compte par projet • Le contrôleur CloudStack est une VM
  • 19.
    Les hyperviseurs 19/06/2013Florent Paillot- Inria • 16 hyperviseurs KVM en CentOS 6 • Châssis Dell C6000
  • 20.
    Le stockage 19/06/2013Florent Paillot- Inria • Stockage primaire : GFS 2 • LUN iSCSI sur des baies Dell Equallogic • Stockage secondaire : NFS • NetApp
  • 21.
    Le réseau 19/06/2013Florent Paillot- Inria • Un vlan dédié pour héberger la zone • Un réseau privé de classe B • Fonction de routage avec « le monde extérieur » assurées par une VM
  • 22.
    Florent Paillot -Inria 19/06/2013 De l’exploitation à la gestion de la panne 4
  • 23.
    Exploitation quotidienne 19/06/2013Florent Paillot- Inria • Surveillance : • Nagios + Munin • Portail cloudstack • Opérations de maintenance : • Mise à jour des hyperviseurs
  • 24.
  • 25.
    Les pannes 19/06/2013Florent Paillot- Inria • Quand le réseau et le stockage s’emballent: • Mêmes faiblesses que la virtualisation • Quelle couche est responsable ? • Une analyse post-mortem parfois complexe
  • 26.
    Florent Paillot -Inria 19/06/2013 Bilan et perspectives 5
  • 27.
    Le futur 19/06/2013Florent Paillot- Inria • Passage en version 4.x • Amélioration de la fiabilité de l’infrastructure KVM • Résolution du problème de SPOF pour le routage extérieur • Facturation / Capacity planning
  • 28.