Mesos
Apache Mesos, ou comment
exploiter les ressources de
votre datacenter ?
#XebiConFr
Jérôme Doucet
Jean-Pascal Thiery
#XebiConFr
Bonjour Mesos
#XebiConFr
Histoire : l’avant Mesos
• Les grands du Web utilisent le cloud comme
solution élastique
• Dés qu’un besoin de ...
#XebiConFr
Histoire : La genèse
Florian Leibert
Benjamin Hindman
Tobi Knaup
2010 : incubator
2013 : top-level
2009
#XebiConFr
Mesos,
dans les grandes lignes
• Clustering générique
• Interface de partage de ressources
• Support d’applicat...
#XebiConFr
Cas d’usage
• Toutes applications
distribuées
• Augmenter la densité
applicative
Mesos Appli
distribuée
#XebiConFr
REX Mesos
Avant Mesos :
• QA : 843 composants sur 400 serveurs
• Prod : 843 composants sur 700 serveurs
Après M...
#XebiConFr
Probléme
La vie ce n’est pas ça :
#XebiConFr
Hum Hum…
La vie c’est ça :
#XebiConFr
Sous le capot
Mesos
#XebiConFr
Partage de ressources
Master
Slave
Slave
Slave
Slave
cpu: 2
mem: 2048 cpu: 4
mem: 16384
cpu: 2
mem: 4096
cpu: 3...
#XebiConFr
Framework
Scheduler
Lance des tâches
( )
Executor
Exécute les tâches
Maintient le journal de ressources
Relaie ...
#XebiConFr
Place de marché
Executor
Master
Slave
Slave
Scheduler
Enregistrement Évènements / Offres
#XebiConFr
Executor
Master
Slave
Slave
Scheduler
Tâches Évènements / Offres
Place de marché
#XebiConFr
Mesos lave plus blanc
• Ressources arbitraires
par slave
• Intégrées dans les
offres
• Tags pour donner du
cont...
#XebiConFr
Go production ?
Toile de tente
ou
parachute ?
#XebiConFr
DevOps tu seras
#XebiConFr
Points d’attention
• Mesos master
• Scheduler
#XebiConFr
Single point of truth
#XebiConFr
Architecture pour de vrai
Master
Slave Slave Slave Slave Slave
MasterMaster
Stand
By
Stand
By
Zookeeper
#XebiConFr
Architecture pour de vrai
Master
Slave Slave Slave Slave Slave
MasterMaster
Stand
By
Stand
By
Scheduler Schedul...
#XebiConFr
Une dernière chose
Mais où sont déployé(e)s :
• mes applications ?
• mes logs ?
• mes données ?
Service discove...
#XebiConFr
Mesos
et son écosystème
#XebiConFr
Mesos, seul.
#XebiConFr
L’écosystème Mesos
#XebiConFr
Framework : SDK
#XebiConFr
Framework : Les acteurs
Scheduler
• Est notifié par le master de la mise à
disposition de ressources.
• Demande ...
#XebiConFr
Cron
#XebiConFr
Chronos
#XebiConFr
Init, SystemD
#XebiConFr
Marathon
#XebiConFr
Marathon
#XebiConFr
Marathon
Déploiement
élastique Haute disponibilité
Système
d’évènementsAPI REST
Service Discovery
#XebiConFr
Un cas d’usage
#XebiConFr
Mesos : orchestrateur de
Micro-services
#XebiConFr
Mesos : orchestrateur de
Micro-services
Mesos
• État des ressources disponibles sur le cluster
Docker
• Isolati...
#XebiConFr
Mesos, Jenkins et Docker
Mesos
• État des ressources disponibles sur le cluster
Docker
• Isolation des Jobs
Jen...
#XebiConFr
En conclusion ?
• Un must have pour :
• Optimiser les ressources
d’un cluster
• Les applications
distribuées
• ...
#XebiConFr
Des questions ?
Mesos
Apache Mesos, ou comment
exploiter les ressources de
votre datacenter ?
#XebiConFr
Jérôme Doucet
Jean-Pascal Thiery
Prochain SlideShare
Chargement dans…5
×

XebiConFr - 15 - Apache Mesos, ou comment exploiter les ressources de votre datacenter ?

542 vues

Publié le

Apache Mesos est le système d'exploitation du datacenter. Alors que les architectures microservices prennent leur essort, vous seriez en droit de vous demander comment faire pour optimiser l'exploitation des ressources de votre datacenter.

La virtualisation a permis de réduire les coûts liés à l'infrastructure en mutualisant les ressources. Il est maintenant possible de créer une machine virtuelle en quelques minutes. Les architectures microservices permettent de redimensionner le nombre de services au plus près des besoins et les quelques minutes de déploiement/provionning de la VMs ne permettent pas de tirer partie des promesses des architectures microservice. Mais alors, comment faire ? Venez découvrir comment Mesos, Marathon et Docker vous permettent d'exploiter au mieux les ressources de votre Datacenter.

La vidéo de la conférence est à retrouver sur : http://www.xebicon.fr/programme.html

Publié dans : Logiciels
0 commentaire
2 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
542
Sur SlideShare
0
Issues des intégrations
0
Intégrations
6
Actions
Partages
0
Téléchargements
16
Commentaires
0
J’aime
2
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

XebiConFr - 15 - Apache Mesos, ou comment exploiter les ressources de votre datacenter ?

  1. 1. Mesos Apache Mesos, ou comment exploiter les ressources de votre datacenter ? #XebiConFr Jérôme Doucet Jean-Pascal Thiery
  2. 2. #XebiConFr Bonjour Mesos
  3. 3. #XebiConFr Histoire : l’avant Mesos • Les grands du Web utilisent le cloud comme solution élastique • Dés qu’un besoin de ressource se présente => Création de VM • Twitter constate que seul 10% de leurs ressources facturées sont réellement utilisées
  4. 4. #XebiConFr Histoire : La genèse Florian Leibert Benjamin Hindman Tobi Knaup 2010 : incubator 2013 : top-level 2009
  5. 5. #XebiConFr Mesos, dans les grandes lignes • Clustering générique • Interface de partage de ressources • Support d’applications distribuées
  6. 6. #XebiConFr Cas d’usage • Toutes applications distribuées • Augmenter la densité applicative Mesos Appli distribuée
  7. 7. #XebiConFr REX Mesos Avant Mesos : • QA : 843 composants sur 400 serveurs • Prod : 843 composants sur 700 serveurs Après Mesos : • QA : 1503 composants sur 39 serveurs 1,2 composants / serveurs 12,5 composants / serveurs X 10 Sources : REX HubSpot sur Singularity
  8. 8. #XebiConFr Probléme La vie ce n’est pas ça :
  9. 9. #XebiConFr Hum Hum… La vie c’est ça :
  10. 10. #XebiConFr Sous le capot Mesos
  11. 11. #XebiConFr Partage de ressources Master Slave Slave Slave Slave cpu: 2 mem: 2048 cpu: 4 mem: 16384 cpu: 2 mem: 4096 cpu: 32 mem: 131072
  12. 12. #XebiConFr Framework Scheduler Lance des tâches ( ) Executor Exécute les tâches Maintient le journal de ressources Relaie les tâches aux slaves Mesos Master
  13. 13. #XebiConFr Place de marché Executor Master Slave Slave Scheduler Enregistrement Évènements / Offres
  14. 14. #XebiConFr Executor Master Slave Slave Scheduler Tâches Évènements / Offres Place de marché
  15. 15. #XebiConFr Mesos lave plus blanc • Ressources arbitraires par slave • Intégrées dans les offres • Tags pour donner du contexte
  16. 16. #XebiConFr Go production ? Toile de tente ou parachute ?
  17. 17. #XebiConFr DevOps tu seras
  18. 18. #XebiConFr Points d’attention • Mesos master • Scheduler
  19. 19. #XebiConFr Single point of truth
  20. 20. #XebiConFr Architecture pour de vrai Master Slave Slave Slave Slave Slave MasterMaster Stand By Stand By Zookeeper
  21. 21. #XebiConFr Architecture pour de vrai Master Slave Slave Slave Slave Slave MasterMaster Stand By Stand By Scheduler Scheduler Stand By Zookeeper
  22. 22. #XebiConFr Une dernière chose Mais où sont déployé(e)s : • mes applications ? • mes logs ? • mes données ? Service discovery Centralisation des logs Système de fichier distribué
  23. 23. #XebiConFr Mesos et son écosystème
  24. 24. #XebiConFr Mesos, seul.
  25. 25. #XebiConFr L’écosystème Mesos
  26. 26. #XebiConFr Framework : SDK
  27. 27. #XebiConFr Framework : Les acteurs Scheduler • Est notifié par le master de la mise à disposition de ressources. • Demande l’exécution de tâches au master. Executor • Réalise les taches soumises par le master.
  28. 28. #XebiConFr Cron
  29. 29. #XebiConFr Chronos
  30. 30. #XebiConFr Init, SystemD
  31. 31. #XebiConFr Marathon
  32. 32. #XebiConFr Marathon
  33. 33. #XebiConFr Marathon Déploiement élastique Haute disponibilité Système d’évènementsAPI REST Service Discovery
  34. 34. #XebiConFr Un cas d’usage
  35. 35. #XebiConFr Mesos : orchestrateur de Micro-services
  36. 36. #XebiConFr Mesos : orchestrateur de Micro-services Mesos • État des ressources disponibles sur le cluster Docker • Isolation des services Marathon • Monitoring technique et applicatif des services • Cartographie des services • Déploiement automatique des services Auteur aujourd’hui, 11:56 peut être mettre les logos plutôt que d’écrire Messos, docker et marathon
  37. 37. #XebiConFr Mesos, Jenkins et Docker Mesos • État des ressources disponibles sur le cluster Docker • Isolation des Jobs Jenkins • Execution des Jobs
  38. 38. #XebiConFr En conclusion ? • Un must have pour : • Optimiser les ressources d’un cluster • Les applications distribuées • Mais : • Ne fait pas tout
  39. 39. #XebiConFr Des questions ?
  40. 40. Mesos Apache Mesos, ou comment exploiter les ressources de votre datacenter ? #XebiConFr Jérôme Doucet Jean-Pascal Thiery

×