SlideShare une entreprise Scribd logo
1  sur  20
Télécharger pour lire hors ligne
Compte Rendu
Architectures et technologie virtualisation
NFS, MPI, Programmation Sérial & Parallèle avec Condor
Scénarios et Simulations avec CloudAnalyst
UNIVERSITÉ ABDELAMLEK ESSADI
FACULTE DES SCIENCES ET TECHNIQUES DE TANGER
MASTER : « SYSTEMES INFORMATIQUES ET RESEAUX »
 Réalisé par : - Encadré par :
- Rouzi Ayoub Mr. C. ELAMRANI
MASTER-SIR R a p p o r t | 2
AYOUB ROUZI
Plan :
Introduction ……………………………………………………………………………………………………………………….........
1/ Installation de Condor sur les machines Master et Slaves : ......................................................
2) Installation et configuration de serveur NFS : ..............................................………………………….
3) Installation et Teste d’un Framework MPI :....................................................................................
4) Réalisation d’un test avec Vanilla/Parallèle : .................................................................................
5) Cloud Analyste : simulation d’un scenario : ..................................................................................
Conclusion : ...............................................................................................................................................
MASTER-SIR R a p p o r t | 3
AYOUB ROUZI
Condor : Introduction
« Condor (renommé HTCondor en octobre 2012) est un kit de composants logiciel
(Framework) open source de parallélisassions de traitement pour la parallélisassions à
distribution grossière de tâches de calcul lourdes. Il peut être utilisé pour gérer une charge
de travail sur une grappe de serveurs dédiée, et/ou pour délester une charge de travail sur
des postes de travail inactifs (grille informatique). Condor tourne sur les systèmes Linux,
Unix, Mac OS X, FreeBSD, et sur les systèmes Windows actuels. Condor peut aisément faire
collaborer des ressources dédiées (grappes de calculateurs en batterie) et des postes de
travail non-dédiés (grille informatique) en un seul environnement de calcul intégré.
- Installation : on télécharge le package htdoncodr à partir du site
On tape les commandes suivantes :
- $ sudo apt-get update
- $ sudo apt-get install openssh-server
- $ sudo apt-get install htcondor
HTCondor: Machines Master
 Adresse du Master : 192.168.58.102
MASTER-SIR R a p p o r t | 4
AYOUB ROUZI
On configure le fichier hosts :
On redémarre le service networking pour les 3 machines on utilise la commande :
$ sudo service networking restart.
On génère les clés de SSH sur la machine master on tape la commande :
$ ssh-keygen -t dsa
Puis ajoutons maintenant la clé générée de SSH à chacun des autres machines des slaves :
$ ssh-copy-id slave@slave, $ ssh-copy-id slave3@slave3
On ouvre le fichier de configuration condor :
MASTER-SIR R a p p o r t | 5
AYOUB ROUZI
HTCondor: Machines slaves
- IP Slave 1 : 192.168.58.101
- IP Slave 2 : 192.168.58.104
Fichier de configuration condor :
on teste le fonctionnement : $ condor_status
MASTER-SIR R a p p o r t | 6
AYOUB ROUZI
Installation et configuration de serveur NFS :
« Network File System (ou NFS, système de fichiers en réseau) est à l'origine un protocole développé par Sun
Microsystems en 1984 qui permet à un ordinateur d'accéder à des fichiers via un réseau. ... NFS est compatible
avec IPv6 sur la plupart des systèmes. » Wikipedia.
Sur le serveur hôte, nous devons installer le paquet nfs-kernel-server, ce qui nous permettra de partager nos
répertoires :
$ sudo apt-get install nfs-kernel-server
On démarre le service nfs-kernel-server: $ sudo service nfs-kernel-server start
On install nfs client:
$ sudo apt-get install nfs-common
On crée un répertoire « cloud1 » pour le partage des données :
$ sudo mkdir /cloud1
Installation et Teste d’un Framework MPI :
« MPI (Message Passing Interface), conçue en 1993-94, est une norme définissant une bibliothèque de
fonctions, utilisable avec les langages C, C++ et Fortran. Elle permet d'exploiter des ordinateurs distants ou
multiprocesseurs par passage de messages. » Wikipedia.
Pour moi j’ai choisi d’installer OpenMPI
L’installation se fait simplement avec deux commandes :
$ sudo apt-get install libopenmpi-dev || $ sudo apt-get install openmpi-bin
MASTER-SIR R a p p o r t | 7
AYOUB ROUZI
Pour compiler et exécuter l’application on lance les commandes suivantes :
Notre programme s’exécute avec succès alors OpenMPI est bien fonctionner :
 test avec Vanilla/Parallèle universe:
Avant de pouvoir soumettre un travail à Condor, nous allons besoin d'un travail. Nous allons écrire rapidement un
petit programme en C ou bien C++.
Tout d'abord, créant un programme en C++ appelé sum_serial.cpp qui calcule la somme de 1 à 1000 :
On le compile et l’exécute :
Maintenant que nous avons un Job :
 Universe: signifie le mode de soumettre un (parallel, universe, MPI…).
 Executable: le nom de programme.
 Log: C'est le nom d'un fichier où Condor va enregistrer des informations sur l'exécution de notre job.
 Output: Où Condor devrait mettre la sortie standard du job.
 Erreur: Où Condor devrait mettre sortie d'erreur de notre job.
MASTER-SIR R a p p o r t | 8
AYOUB ROUZI
 Pour soumettre le travail on tape : $ condor_submit submit
Fichier du log :
 soumettre Un « Job » avec Parallel universe :
Programme de test qui calcule la somme de 1 à 1000 on utilise MPI :
MASTER-SIR R a p p o r t | 9
AYOUB ROUZI
Configuration du job :
Pour soumettre le travail on tape :
$ Condor_submit submit
Fichier log :
MASTER-SIR R a p p o r t | 10
AYOUB ROUZI
Cloud analyste Scénario 1 : Khdemti – Version bêta 1.0 (Local) :
- Situation : Lancement dans une région limitée : MAROC
- Caractéristiques du projet :
o Plateforme Marocaine du freelance et projets
o Traffic de 100 visiteurs par jours
o Hébergement Web : « OVH CLOUD PACK 1 »
- Objectif :
o Navigation confortable (plus de 100 pages)
o Réponses d’opérations rapides (Articles, projets, prestations…)
o Réponses simultanés (messages, emails…)
Table 1 - Bases d'utilisateurs utilisées dans l'expérience :
User base Region Time zone Peak hrs (local) Peak hrs (gmt) Simultanious users
during peak hrs
Simultanious
users off peak hrs
UB5
Morocco
Afrique
GMT+0 20:00 – 21:00 20:00 – 21:00 100 10
UB
Figure 1 : Khdemti version Bêta
MASTER-SIR R a p p o r t | 11
AYOUB ROUZI
Fiche de simulation :
- Configuration générale :
- Configuration générale (2)
- Configuration du datacenter :
MASTER-SIR R a p p o r t | 12
AYOUB ROUZI
- Configurations avancées
On change la politique d'équilibrage de charge dans un seul DataCenter :
- Equally Spread Current Execution Load :
MASTER-SIR R a p p o r t | 13
AYOUB ROUZI
- Throttled :
 Besoin de migration vers un pack hébergement cloud plus grand
Scénario 2 : Khdemti – Version Stable 2.0 (Afrique) :
- Situation : Lancement dans un continent : AFRIQUE
- Caractéristiques du projet :
o Plateforme Marocaine du freelance et projets
o Traffic de 600 visiteurs par jours
o Hébergement Web : « Amazon Elastic Cloud Computing (Amazon EC2) »
- Objectif :
o Navigation confortable (plus de 550 pages)
o Réponses d’opérations rapides (formulaires, Articles, projets, prestations…)
o Réponses simultanés (chat, Paiement, emails…)
MASTER-SIR R a p p o r t | 14
AYOUB ROUZI
Table 2 - Bases d'utilisateurs utilisées dans l'expérience :
User base Region Time zone Peak hrs (local) Peak hrs (gmt) Simultanious users
during peak hrs
Simultanious
users off peak hrs
UB5 Afrique GMT+2 20:00 – 21:00 22:00 – 00:00 250 50
Fiche de simulation :
- Configuration générale :
- Configuration générale (2)
MASTER-SIR R a p p o r t | 15
AYOUB ROUZI
- Configuration du Datacenter :
- Configurations avancées
On change la politique d'équilibrage de charge dans un seul DataCenter :
MASTER-SIR R a p p o r t | 16
AYOUB ROUZI
- Equally Spread Current Execution Load :
- Throttled :
 Site Web a besoin d'évolutivité par l'intermédiaire de l'équilibrage de charge
 Besoin de migration vers un pack hébergement cloud plus grand
Scénario 3 : Khdemti – Version Stable 3.0 (International) :
- Situation : Lancement international
- Caractéristiques du projet :
o Plateforme international du freelance et projets
o Traffic de 4000 visiteurs par jours
o Serveur Web : « Amazon Elastic Cloud Computing (Amazon EC2) »
- Objectif :
o Navigation confortable (plus de 3550 pages)
o Réponses d’opérations rapides (formulaires, Articles, projets, prestations…)
MASTER-SIR R a p p o r t | 17
AYOUB ROUZI
o Réponses simultanés (chat, notifications, Paiement, emails…)
Google Analytiques :
Fiche de simulation :
- Configuration générale :
MASTER-SIR R a p p o r t | 18
AYOUB ROUZI
- Configuration générale (2)
- Configuration du Datacenter :
MASTER-SIR R a p p o r t | 19
AYOUB ROUZI
- Configurations avancées
On change la politique d'équilibrage de charge dans un seul DataCenter :
- Equally Spread Current Execution Load :
- Throttled :
MASTER-SIR R a p p o r t | 20
AYOUB ROUZI
 Conclusion :
Après l’analyse des résultats nous remarquons qu’on doit faire le Choix des paramètres
optimaux avec « Round Robin » qui nous donne au meilleur temps de réponse, donc ce
dernier sera le bon choix pour le relier avec notre USER BASE qui se trouve sur la région 4.
Ce travail m’a permis d'enrichir et d’approfondir mes connaissances en virtualisation à
travers la simulation de ces services coté master et client sous Linux.

Contenu connexe

Tendances

Elastix call center_manual_french
Elastix call center_manual_frenchElastix call center_manual_french
Elastix call center_manual_frenchBayrem Kaddoussi
 
Mise en place d’un système de détection
Mise en place d’un système de détectionMise en place d’un système de détection
Mise en place d’un système de détectionManassé Achim kpaya
 
Pfsense 121202023417-phpapp02
Pfsense 121202023417-phpapp02Pfsense 121202023417-phpapp02
Pfsense 121202023417-phpapp02Mohamed Houssem
 
BAYE_O_FALL-SAIDOU_MBODJI-LabUT.pdf
BAYE_O_FALL-SAIDOU_MBODJI-LabUT.pdfBAYE_O_FALL-SAIDOU_MBODJI-LabUT.pdf
BAYE_O_FALL-SAIDOU_MBODJI-LabUT.pdfBayeOusseynouFall
 
Mise en place de zabbix sur Ubuntu 22.04
Mise en place de zabbix sur Ubuntu 22.04Mise en place de zabbix sur Ubuntu 22.04
Mise en place de zabbix sur Ubuntu 22.04ImnaTech
 
Guide pfsense
Guide pfsenseGuide pfsense
Guide pfsenser_sadoun
 
DevOps avec Ansible et Docker
DevOps avec Ansible et DockerDevOps avec Ansible et Docker
DevOps avec Ansible et DockerStephane Manciot
 
Détecter et réparer les pannes d
Détecter et réparer les pannes dDétecter et réparer les pannes d
Détecter et réparer les pannes dPaul Kamga
 
[오픈소스컨설팅]Zabbix Installation and Configuration Guide
[오픈소스컨설팅]Zabbix Installation and Configuration Guide[오픈소스컨설팅]Zabbix Installation and Configuration Guide
[오픈소스컨설팅]Zabbix Installation and Configuration GuideJi-Woong Choi
 
Metasploit et Metasploitable2 : exploiter VSFTPD v2.3.4
Metasploit et Metasploitable2 : exploiter VSFTPD v2.3.4 Metasploit et Metasploitable2 : exploiter VSFTPD v2.3.4
Metasploit et Metasploitable2 : exploiter VSFTPD v2.3.4 Khalid EDAIG
 
Administration des services réseaux
Administration des services réseauxAdministration des services réseaux
Administration des services réseauxFethi Kiwa
 
Mise en place d’un serveur de messagerie sous Windows
Mise en place d’un serveur de messagerie sous WindowsMise en place d’un serveur de messagerie sous Windows
Mise en place d’un serveur de messagerie sous WindowsJeff Hermann Ela Aba
 
Supervision d'un réseau informatique avec Nagios
Supervision d'un réseau informatique avec NagiosSupervision d'un réseau informatique avec Nagios
Supervision d'un réseau informatique avec Nagioschristedy keihouad
 
Dynomite: A Highly Available, Distributed and Scalable Dynamo Layer--Ioannis ...
Dynomite: A Highly Available, Distributed and Scalable Dynamo Layer--Ioannis ...Dynomite: A Highly Available, Distributed and Scalable Dynamo Layer--Ioannis ...
Dynomite: A Highly Available, Distributed and Scalable Dynamo Layer--Ioannis ...Redis Labs
 
Estimating Future Initial Margin with Machine Learning
Estimating Future Initial Margin with Machine LearningEstimating Future Initial Margin with Machine Learning
Estimating Future Initial Margin with Machine LearningAndres Hernandez
 
모두의 쿠버네티스 (Kubernetes for everyone)
모두의 쿠버네티스 (Kubernetes for everyone)모두의 쿠버네티스 (Kubernetes for everyone)
모두의 쿠버네티스 (Kubernetes for everyone)Eunwoo Cho
 
Proxmox ve-datasheet
Proxmox ve-datasheetProxmox ve-datasheet
Proxmox ve-datasheetMiguel Angel
 
Protocole d’authetification PPP
Protocole d’authetification PPPProtocole d’authetification PPP
Protocole d’authetification PPPZakaria El ktaoui
 

Tendances (20)

Elastix call center_manual_french
Elastix call center_manual_frenchElastix call center_manual_french
Elastix call center_manual_french
 
Mise en place d’un système de détection
Mise en place d’un système de détectionMise en place d’un système de détection
Mise en place d’un système de détection
 
Pfsense 121202023417-phpapp02
Pfsense 121202023417-phpapp02Pfsense 121202023417-phpapp02
Pfsense 121202023417-phpapp02
 
BAYE_O_FALL-SAIDOU_MBODJI-LabUT.pdf
BAYE_O_FALL-SAIDOU_MBODJI-LabUT.pdfBAYE_O_FALL-SAIDOU_MBODJI-LabUT.pdf
BAYE_O_FALL-SAIDOU_MBODJI-LabUT.pdf
 
Mise en place de zabbix sur Ubuntu 22.04
Mise en place de zabbix sur Ubuntu 22.04Mise en place de zabbix sur Ubuntu 22.04
Mise en place de zabbix sur Ubuntu 22.04
 
Guide pfsense
Guide pfsenseGuide pfsense
Guide pfsense
 
DevOps avec Ansible et Docker
DevOps avec Ansible et DockerDevOps avec Ansible et Docker
DevOps avec Ansible et Docker
 
Détecter et réparer les pannes d
Détecter et réparer les pannes dDétecter et réparer les pannes d
Détecter et réparer les pannes d
 
[오픈소스컨설팅]Zabbix Installation and Configuration Guide
[오픈소스컨설팅]Zabbix Installation and Configuration Guide[오픈소스컨설팅]Zabbix Installation and Configuration Guide
[오픈소스컨설팅]Zabbix Installation and Configuration Guide
 
Metasploit et Metasploitable2 : exploiter VSFTPD v2.3.4
Metasploit et Metasploitable2 : exploiter VSFTPD v2.3.4 Metasploit et Metasploitable2 : exploiter VSFTPD v2.3.4
Metasploit et Metasploitable2 : exploiter VSFTPD v2.3.4
 
Administration des services réseaux
Administration des services réseauxAdministration des services réseaux
Administration des services réseaux
 
Mise en place d’un serveur de messagerie sous Windows
Mise en place d’un serveur de messagerie sous WindowsMise en place d’un serveur de messagerie sous Windows
Mise en place d’un serveur de messagerie sous Windows
 
Supervision d'un réseau informatique avec Nagios
Supervision d'un réseau informatique avec NagiosSupervision d'un réseau informatique avec Nagios
Supervision d'un réseau informatique avec Nagios
 
Dynomite: A Highly Available, Distributed and Scalable Dynamo Layer--Ioannis ...
Dynomite: A Highly Available, Distributed and Scalable Dynamo Layer--Ioannis ...Dynomite: A Highly Available, Distributed and Scalable Dynamo Layer--Ioannis ...
Dynomite: A Highly Available, Distributed and Scalable Dynamo Layer--Ioannis ...
 
Présentation Docker
Présentation DockerPrésentation Docker
Présentation Docker
 
Estimating Future Initial Margin with Machine Learning
Estimating Future Initial Margin with Machine LearningEstimating Future Initial Margin with Machine Learning
Estimating Future Initial Margin with Machine Learning
 
graylog.pptx
graylog.pptxgraylog.pptx
graylog.pptx
 
모두의 쿠버네티스 (Kubernetes for everyone)
모두의 쿠버네티스 (Kubernetes for everyone)모두의 쿠버네티스 (Kubernetes for everyone)
모두의 쿠버네티스 (Kubernetes for everyone)
 
Proxmox ve-datasheet
Proxmox ve-datasheetProxmox ve-datasheet
Proxmox ve-datasheet
 
Protocole d’authetification PPP
Protocole d’authetification PPPProtocole d’authetification PPP
Protocole d’authetification PPP
 

Similaire à NFS, MPI, Programmation Sérial & Parallèle avec Condor Scénarios et Simulations avec CloudAnalyst

Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]ANEO
 
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...OpenNebula Project
 
System Center 2012 Configuration Manager R2 : Quoi de neuf ?
System Center 2012 Configuration Manager R2 : Quoi de neuf ?System Center 2012 Configuration Manager R2 : Quoi de neuf ?
System Center 2012 Configuration Manager R2 : Quoi de neuf ?Microsoft Technet France
 
Cloud rasberryfinal
Cloud rasberryfinal Cloud rasberryfinal
Cloud rasberryfinal yacine sebihi
 
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinLudovic Piot
 
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide
 
Reseau entreprise
Reseau entrepriseReseau entreprise
Reseau entrepriseSAIDRAISS2
 
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesBreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesXavier MARIN
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Alexandre Touret
 
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis GroupIBM France Lab
 
Rapport d’installation d’un serveur de messagerie avec le Webmail Roundcube
Rapport d’installation d’un serveur de  messagerie avec le Webmail RoundcubeRapport d’installation d’un serveur de  messagerie avec le Webmail Roundcube
Rapport d’installation d’un serveur de messagerie avec le Webmail RoundcubeBalla Moussa Doumbouya
 
Consul, un vrai couteau suisse
Consul, un vrai couteau suisseConsul, un vrai couteau suisse
Consul, un vrai couteau suisseXavierPestel
 
Paris ember js lab #6 - Taking over server-side rendering websites
Paris ember js lab #6 - Taking over server-side rendering websitesParis ember js lab #6 - Taking over server-side rendering websites
Paris ember js lab #6 - Taking over server-side rendering websitesGuillaume Gérard
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Alexandre Touret
 
Présentation CoreOS
Présentation CoreOSPrésentation CoreOS
Présentation CoreOSgcatt
 
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-likeSfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-likeTristan Maindron
 

Similaire à NFS, MPI, Programmation Sérial & Parallèle avec Condor Scénarios et Simulations avec CloudAnalyst (20)

12-Factor
12-Factor12-Factor
12-Factor
 
Configuration Nimbus
Configuration NimbusConfiguration Nimbus
Configuration Nimbus
 
Infrastructure as code drupal
Infrastructure as code drupalInfrastructure as code drupal
Infrastructure as code drupal
 
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
 
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
 
System Center 2012 Configuration Manager R2 : Quoi de neuf ?
System Center 2012 Configuration Manager R2 : Quoi de neuf ?System Center 2012 Configuration Manager R2 : Quoi de neuf ?
System Center 2012 Configuration Manager R2 : Quoi de neuf ?
 
Cloud rasberryfinal
Cloud rasberryfinal Cloud rasberryfinal
Cloud rasberryfinal
 
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
 
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
 
Reseau entreprise
Reseau entrepriseReseau entreprise
Reseau entreprise
 
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesBreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
 
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
 
Rapport d’installation d’un serveur de messagerie avec le Webmail Roundcube
Rapport d’installation d’un serveur de  messagerie avec le Webmail RoundcubeRapport d’installation d’un serveur de  messagerie avec le Webmail Roundcube
Rapport d’installation d’un serveur de messagerie avec le Webmail Roundcube
 
Consul, un vrai couteau suisse
Consul, un vrai couteau suisseConsul, un vrai couteau suisse
Consul, un vrai couteau suisse
 
Paris ember js lab #6 - Taking over server-side rendering websites
Paris ember js lab #6 - Taking over server-side rendering websitesParis ember js lab #6 - Taking over server-side rendering websites
Paris ember js lab #6 - Taking over server-side rendering websites
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
 
Présentation CoreOS
Présentation CoreOSPrésentation CoreOS
Présentation CoreOS
 
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-likeSfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
 
Ocs
OcsOcs
Ocs
 

Plus de Ayoub Rouzi

Khdemti.com: We revolutionize the way project owners and freelancers work tog...
Khdemti.com: We revolutionize the way project owners and freelancers work tog...Khdemti.com: We revolutionize the way project owners and freelancers work tog...
Khdemti.com: We revolutionize the way project owners and freelancers work tog...Ayoub Rouzi
 
Reseaux mobiles: Rapport Projet : « Lien radio »
Reseaux mobiles: Rapport Projet : « Lien radio »Reseaux mobiles: Rapport Projet : « Lien radio »
Reseaux mobiles: Rapport Projet : « Lien radio »Ayoub Rouzi
 
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...Ayoub Rouzi
 
Application Android: Projet assurance
Application Android: Projet assuranceApplication Android: Projet assurance
Application Android: Projet assuranceAyoub Rouzi
 
Rapport DVWA: File Upload
Rapport DVWA: File UploadRapport DVWA: File Upload
Rapport DVWA: File UploadAyoub Rouzi
 
Rapport DVWA: CSRF
Rapport DVWA: CSRFRapport DVWA: CSRF
Rapport DVWA: CSRFAyoub Rouzi
 
Ateliers d’une application Web vulnérable
Ateliers d’une application Web vulnérable Ateliers d’une application Web vulnérable
Ateliers d’une application Web vulnérable Ayoub Rouzi
 
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0Ayoub Rouzi
 
WannaCry / Wannacrypt Ransomware
WannaCry / Wannacrypt RansomwareWannaCry / Wannacrypt Ransomware
WannaCry / Wannacrypt RansomwareAyoub Rouzi
 
Mobile ip - IT entités fonctionnelles de Mobile IP
Mobile ip - IT entités fonctionnelles de Mobile IPMobile ip - IT entités fonctionnelles de Mobile IP
Mobile ip - IT entités fonctionnelles de Mobile IPAyoub Rouzi
 
Résumé projet Smart Traffic Managment System Real Time (STMSRT)
Résumé projet Smart Traffic Managment System Real Time (STMSRT)Résumé projet Smart Traffic Managment System Real Time (STMSRT)
Résumé projet Smart Traffic Managment System Real Time (STMSRT)Ayoub Rouzi
 
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...Ayoub Rouzi
 
Smart traffic managment system real time (stmsrt)
Smart traffic managment system real time (stmsrt)Smart traffic managment system real time (stmsrt)
Smart traffic managment system real time (stmsrt)Ayoub Rouzi
 
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?Ayoub Rouzi
 
Programmation des cartes Arduino - Se familiariser avec la programmation Simple
Programmation des cartes Arduino - Se familiariser avec la programmation SimpleProgrammation des cartes Arduino - Se familiariser avec la programmation Simple
Programmation des cartes Arduino - Se familiariser avec la programmation SimpleAyoub Rouzi
 
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINO
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINOProjet Radare de Recule - MANIPULATION AVEC L’ARDUINO
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINOAyoub Rouzi
 
Presentation kernel - Kernel Linux - Configuration – Compilation & installation
Presentation kernel - Kernel Linux - Configuration –  Compilation & installationPresentation kernel - Kernel Linux - Configuration –  Compilation & installation
Presentation kernel - Kernel Linux - Configuration – Compilation & installationAyoub Rouzi
 
Rapport Kernel Linux - Configuration – Compilation & installation
Rapport Kernel Linux - Configuration –  Compilation & installationRapport Kernel Linux - Configuration –  Compilation & installation
Rapport Kernel Linux - Configuration – Compilation & installationAyoub Rouzi
 

Plus de Ayoub Rouzi (20)

Khdemti.com: We revolutionize the way project owners and freelancers work tog...
Khdemti.com: We revolutionize the way project owners and freelancers work tog...Khdemti.com: We revolutionize the way project owners and freelancers work tog...
Khdemti.com: We revolutionize the way project owners and freelancers work tog...
 
Reseaux mobiles: Rapport Projet : « Lien radio »
Reseaux mobiles: Rapport Projet : « Lien radio »Reseaux mobiles: Rapport Projet : « Lien radio »
Reseaux mobiles: Rapport Projet : « Lien radio »
 
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
 
Application Android: Projet assurance
Application Android: Projet assuranceApplication Android: Projet assurance
Application Android: Projet assurance
 
Scheduler & SLA
Scheduler & SLAScheduler & SLA
Scheduler & SLA
 
Rapport DVWA: File Upload
Rapport DVWA: File UploadRapport DVWA: File Upload
Rapport DVWA: File Upload
 
Rapport DVWA: CSRF
Rapport DVWA: CSRFRapport DVWA: CSRF
Rapport DVWA: CSRF
 
Ateliers d’une application Web vulnérable
Ateliers d’une application Web vulnérable Ateliers d’une application Web vulnérable
Ateliers d’une application Web vulnérable
 
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
 
L'estime de soi
L'estime de soiL'estime de soi
L'estime de soi
 
WannaCry / Wannacrypt Ransomware
WannaCry / Wannacrypt RansomwareWannaCry / Wannacrypt Ransomware
WannaCry / Wannacrypt Ransomware
 
Mobile ip - IT entités fonctionnelles de Mobile IP
Mobile ip - IT entités fonctionnelles de Mobile IPMobile ip - IT entités fonctionnelles de Mobile IP
Mobile ip - IT entités fonctionnelles de Mobile IP
 
Résumé projet Smart Traffic Managment System Real Time (STMSRT)
Résumé projet Smart Traffic Managment System Real Time (STMSRT)Résumé projet Smart Traffic Managment System Real Time (STMSRT)
Résumé projet Smart Traffic Managment System Real Time (STMSRT)
 
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
 
Smart traffic managment system real time (stmsrt)
Smart traffic managment system real time (stmsrt)Smart traffic managment system real time (stmsrt)
Smart traffic managment system real time (stmsrt)
 
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
 
Programmation des cartes Arduino - Se familiariser avec la programmation Simple
Programmation des cartes Arduino - Se familiariser avec la programmation SimpleProgrammation des cartes Arduino - Se familiariser avec la programmation Simple
Programmation des cartes Arduino - Se familiariser avec la programmation Simple
 
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINO
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINOProjet Radare de Recule - MANIPULATION AVEC L’ARDUINO
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINO
 
Presentation kernel - Kernel Linux - Configuration – Compilation & installation
Presentation kernel - Kernel Linux - Configuration –  Compilation & installationPresentation kernel - Kernel Linux - Configuration –  Compilation & installation
Presentation kernel - Kernel Linux - Configuration – Compilation & installation
 
Rapport Kernel Linux - Configuration – Compilation & installation
Rapport Kernel Linux - Configuration –  Compilation & installationRapport Kernel Linux - Configuration –  Compilation & installation
Rapport Kernel Linux - Configuration – Compilation & installation
 

NFS, MPI, Programmation Sérial & Parallèle avec Condor Scénarios et Simulations avec CloudAnalyst

  • 1. Compte Rendu Architectures et technologie virtualisation NFS, MPI, Programmation Sérial & Parallèle avec Condor Scénarios et Simulations avec CloudAnalyst UNIVERSITÉ ABDELAMLEK ESSADI FACULTE DES SCIENCES ET TECHNIQUES DE TANGER MASTER : « SYSTEMES INFORMATIQUES ET RESEAUX »  Réalisé par : - Encadré par : - Rouzi Ayoub Mr. C. ELAMRANI
  • 2. MASTER-SIR R a p p o r t | 2 AYOUB ROUZI Plan : Introduction ………………………………………………………………………………………………………………………......... 1/ Installation de Condor sur les machines Master et Slaves : ...................................................... 2) Installation et configuration de serveur NFS : ..............................................…………………………. 3) Installation et Teste d’un Framework MPI :.................................................................................... 4) Réalisation d’un test avec Vanilla/Parallèle : ................................................................................. 5) Cloud Analyste : simulation d’un scenario : .................................................................................. Conclusion : ...............................................................................................................................................
  • 3. MASTER-SIR R a p p o r t | 3 AYOUB ROUZI Condor : Introduction « Condor (renommé HTCondor en octobre 2012) est un kit de composants logiciel (Framework) open source de parallélisassions de traitement pour la parallélisassions à distribution grossière de tâches de calcul lourdes. Il peut être utilisé pour gérer une charge de travail sur une grappe de serveurs dédiée, et/ou pour délester une charge de travail sur des postes de travail inactifs (grille informatique). Condor tourne sur les systèmes Linux, Unix, Mac OS X, FreeBSD, et sur les systèmes Windows actuels. Condor peut aisément faire collaborer des ressources dédiées (grappes de calculateurs en batterie) et des postes de travail non-dédiés (grille informatique) en un seul environnement de calcul intégré. - Installation : on télécharge le package htdoncodr à partir du site On tape les commandes suivantes : - $ sudo apt-get update - $ sudo apt-get install openssh-server - $ sudo apt-get install htcondor HTCondor: Machines Master  Adresse du Master : 192.168.58.102
  • 4. MASTER-SIR R a p p o r t | 4 AYOUB ROUZI On configure le fichier hosts : On redémarre le service networking pour les 3 machines on utilise la commande : $ sudo service networking restart. On génère les clés de SSH sur la machine master on tape la commande : $ ssh-keygen -t dsa Puis ajoutons maintenant la clé générée de SSH à chacun des autres machines des slaves : $ ssh-copy-id slave@slave, $ ssh-copy-id slave3@slave3 On ouvre le fichier de configuration condor :
  • 5. MASTER-SIR R a p p o r t | 5 AYOUB ROUZI HTCondor: Machines slaves - IP Slave 1 : 192.168.58.101 - IP Slave 2 : 192.168.58.104 Fichier de configuration condor : on teste le fonctionnement : $ condor_status
  • 6. MASTER-SIR R a p p o r t | 6 AYOUB ROUZI Installation et configuration de serveur NFS : « Network File System (ou NFS, système de fichiers en réseau) est à l'origine un protocole développé par Sun Microsystems en 1984 qui permet à un ordinateur d'accéder à des fichiers via un réseau. ... NFS est compatible avec IPv6 sur la plupart des systèmes. » Wikipedia. Sur le serveur hôte, nous devons installer le paquet nfs-kernel-server, ce qui nous permettra de partager nos répertoires : $ sudo apt-get install nfs-kernel-server On démarre le service nfs-kernel-server: $ sudo service nfs-kernel-server start On install nfs client: $ sudo apt-get install nfs-common On crée un répertoire « cloud1 » pour le partage des données : $ sudo mkdir /cloud1 Installation et Teste d’un Framework MPI : « MPI (Message Passing Interface), conçue en 1993-94, est une norme définissant une bibliothèque de fonctions, utilisable avec les langages C, C++ et Fortran. Elle permet d'exploiter des ordinateurs distants ou multiprocesseurs par passage de messages. » Wikipedia. Pour moi j’ai choisi d’installer OpenMPI L’installation se fait simplement avec deux commandes : $ sudo apt-get install libopenmpi-dev || $ sudo apt-get install openmpi-bin
  • 7. MASTER-SIR R a p p o r t | 7 AYOUB ROUZI Pour compiler et exécuter l’application on lance les commandes suivantes : Notre programme s’exécute avec succès alors OpenMPI est bien fonctionner :  test avec Vanilla/Parallèle universe: Avant de pouvoir soumettre un travail à Condor, nous allons besoin d'un travail. Nous allons écrire rapidement un petit programme en C ou bien C++. Tout d'abord, créant un programme en C++ appelé sum_serial.cpp qui calcule la somme de 1 à 1000 : On le compile et l’exécute : Maintenant que nous avons un Job :  Universe: signifie le mode de soumettre un (parallel, universe, MPI…).  Executable: le nom de programme.  Log: C'est le nom d'un fichier où Condor va enregistrer des informations sur l'exécution de notre job.  Output: Où Condor devrait mettre la sortie standard du job.  Erreur: Où Condor devrait mettre sortie d'erreur de notre job.
  • 8. MASTER-SIR R a p p o r t | 8 AYOUB ROUZI  Pour soumettre le travail on tape : $ condor_submit submit Fichier du log :  soumettre Un « Job » avec Parallel universe : Programme de test qui calcule la somme de 1 à 1000 on utilise MPI :
  • 9. MASTER-SIR R a p p o r t | 9 AYOUB ROUZI Configuration du job : Pour soumettre le travail on tape : $ Condor_submit submit Fichier log :
  • 10. MASTER-SIR R a p p o r t | 10 AYOUB ROUZI Cloud analyste Scénario 1 : Khdemti – Version bêta 1.0 (Local) : - Situation : Lancement dans une région limitée : MAROC - Caractéristiques du projet : o Plateforme Marocaine du freelance et projets o Traffic de 100 visiteurs par jours o Hébergement Web : « OVH CLOUD PACK 1 » - Objectif : o Navigation confortable (plus de 100 pages) o Réponses d’opérations rapides (Articles, projets, prestations…) o Réponses simultanés (messages, emails…) Table 1 - Bases d'utilisateurs utilisées dans l'expérience : User base Region Time zone Peak hrs (local) Peak hrs (gmt) Simultanious users during peak hrs Simultanious users off peak hrs UB5 Morocco Afrique GMT+0 20:00 – 21:00 20:00 – 21:00 100 10 UB Figure 1 : Khdemti version Bêta
  • 11. MASTER-SIR R a p p o r t | 11 AYOUB ROUZI Fiche de simulation : - Configuration générale : - Configuration générale (2) - Configuration du datacenter :
  • 12. MASTER-SIR R a p p o r t | 12 AYOUB ROUZI - Configurations avancées On change la politique d'équilibrage de charge dans un seul DataCenter : - Equally Spread Current Execution Load :
  • 13. MASTER-SIR R a p p o r t | 13 AYOUB ROUZI - Throttled :  Besoin de migration vers un pack hébergement cloud plus grand Scénario 2 : Khdemti – Version Stable 2.0 (Afrique) : - Situation : Lancement dans un continent : AFRIQUE - Caractéristiques du projet : o Plateforme Marocaine du freelance et projets o Traffic de 600 visiteurs par jours o Hébergement Web : « Amazon Elastic Cloud Computing (Amazon EC2) » - Objectif : o Navigation confortable (plus de 550 pages) o Réponses d’opérations rapides (formulaires, Articles, projets, prestations…) o Réponses simultanés (chat, Paiement, emails…)
  • 14. MASTER-SIR R a p p o r t | 14 AYOUB ROUZI Table 2 - Bases d'utilisateurs utilisées dans l'expérience : User base Region Time zone Peak hrs (local) Peak hrs (gmt) Simultanious users during peak hrs Simultanious users off peak hrs UB5 Afrique GMT+2 20:00 – 21:00 22:00 – 00:00 250 50 Fiche de simulation : - Configuration générale : - Configuration générale (2)
  • 15. MASTER-SIR R a p p o r t | 15 AYOUB ROUZI - Configuration du Datacenter : - Configurations avancées On change la politique d'équilibrage de charge dans un seul DataCenter :
  • 16. MASTER-SIR R a p p o r t | 16 AYOUB ROUZI - Equally Spread Current Execution Load : - Throttled :  Site Web a besoin d'évolutivité par l'intermédiaire de l'équilibrage de charge  Besoin de migration vers un pack hébergement cloud plus grand Scénario 3 : Khdemti – Version Stable 3.0 (International) : - Situation : Lancement international - Caractéristiques du projet : o Plateforme international du freelance et projets o Traffic de 4000 visiteurs par jours o Serveur Web : « Amazon Elastic Cloud Computing (Amazon EC2) » - Objectif : o Navigation confortable (plus de 3550 pages) o Réponses d’opérations rapides (formulaires, Articles, projets, prestations…)
  • 17. MASTER-SIR R a p p o r t | 17 AYOUB ROUZI o Réponses simultanés (chat, notifications, Paiement, emails…) Google Analytiques : Fiche de simulation : - Configuration générale :
  • 18. MASTER-SIR R a p p o r t | 18 AYOUB ROUZI - Configuration générale (2) - Configuration du Datacenter :
  • 19. MASTER-SIR R a p p o r t | 19 AYOUB ROUZI - Configurations avancées On change la politique d'équilibrage de charge dans un seul DataCenter : - Equally Spread Current Execution Load : - Throttled :
  • 20. MASTER-SIR R a p p o r t | 20 AYOUB ROUZI  Conclusion : Après l’analyse des résultats nous remarquons qu’on doit faire le Choix des paramètres optimaux avec « Round Robin » qui nous donne au meilleur temps de réponse, donc ce dernier sera le bon choix pour le relier avec notre USER BASE qui se trouve sur la région 4. Ce travail m’a permis d'enrichir et d’approfondir mes connaissances en virtualisation à travers la simulation de ces services coté master et client sous Linux.