SlideShare une entreprise Scribd logo
1  sur  20
Télécharger pour lire hors ligne
Compte Rendu
Architectures et technologie virtualisation
NFS, MPI, Programmation Sérial & Parallèle avec Condor
Scénarios et Simulations avec CloudAnalyst
UNIVERSITÉ ABDELAMLEK ESSADI
FACULTE DES SCIENCES ET TECHNIQUES DE TANGER
MASTER : « SYSTEMES INFORMATIQUES ET RESEAUX »
 Réalisé par : - Encadré par :
- Rouzi Ayoub Mr. C. ELAMRANI
MASTER-SIR R a p p o r t | 2
AYOUB ROUZI
Plan :
Introduction ……………………………………………………………………………………………………………………….........
1/ Installation de Condor sur les machines Master et Slaves : ......................................................
2) Installation et configuration de serveur NFS : ..............................................………………………….
3) Installation et Teste d’un Framework MPI :....................................................................................
4) Réalisation d’un test avec Vanilla/Parallèle : .................................................................................
5) Cloud Analyste : simulation d’un scenario : ..................................................................................
Conclusion : ...............................................................................................................................................
MASTER-SIR R a p p o r t | 3
AYOUB ROUZI
Condor : Introduction
« Condor (renommé HTCondor en octobre 2012) est un kit de composants logiciel
(Framework) open source de parallélisassions de traitement pour la parallélisassions à
distribution grossière de tâches de calcul lourdes. Il peut être utilisé pour gérer une charge
de travail sur une grappe de serveurs dédiée, et/ou pour délester une charge de travail sur
des postes de travail inactifs (grille informatique). Condor tourne sur les systèmes Linux,
Unix, Mac OS X, FreeBSD, et sur les systèmes Windows actuels. Condor peut aisément faire
collaborer des ressources dédiées (grappes de calculateurs en batterie) et des postes de
travail non-dédiés (grille informatique) en un seul environnement de calcul intégré.
- Installation : on télécharge le package htdoncodr à partir du site
On tape les commandes suivantes :
- $ sudo apt-get update
- $ sudo apt-get install openssh-server
- $ sudo apt-get install htcondor
HTCondor: Machines Master
 Adresse du Master : 192.168.58.102
MASTER-SIR R a p p o r t | 4
AYOUB ROUZI
On configure le fichier hosts :
On redémarre le service networking pour les 3 machines on utilise la commande :
$ sudo service networking restart.
On génère les clés de SSH sur la machine master on tape la commande :
$ ssh-keygen -t dsa
Puis ajoutons maintenant la clé générée de SSH à chacun des autres machines des slaves :
$ ssh-copy-id slave@slave, $ ssh-copy-id slave3@slave3
On ouvre le fichier de configuration condor :
MASTER-SIR R a p p o r t | 5
AYOUB ROUZI
HTCondor: Machines slaves
- IP Slave 1 : 192.168.58.101
- IP Slave 2 : 192.168.58.104
Fichier de configuration condor :
on teste le fonctionnement : $ condor_status
MASTER-SIR R a p p o r t | 6
AYOUB ROUZI
Installation et configuration de serveur NFS :
« Network File System (ou NFS, système de fichiers en réseau) est à l'origine un protocole développé par Sun
Microsystems en 1984 qui permet à un ordinateur d'accéder à des fichiers via un réseau. ... NFS est compatible
avec IPv6 sur la plupart des systèmes. » Wikipedia.
Sur le serveur hôte, nous devons installer le paquet nfs-kernel-server, ce qui nous permettra de partager nos
répertoires :
$ sudo apt-get install nfs-kernel-server
On démarre le service nfs-kernel-server: $ sudo service nfs-kernel-server start
On install nfs client:
$ sudo apt-get install nfs-common
On crée un répertoire « cloud1 » pour le partage des données :
$ sudo mkdir /cloud1
Installation et Teste d’un Framework MPI :
« MPI (Message Passing Interface), conçue en 1993-94, est une norme définissant une bibliothèque de
fonctions, utilisable avec les langages C, C++ et Fortran. Elle permet d'exploiter des ordinateurs distants ou
multiprocesseurs par passage de messages. » Wikipedia.
Pour moi j’ai choisi d’installer OpenMPI
L’installation se fait simplement avec deux commandes :
$ sudo apt-get install libopenmpi-dev || $ sudo apt-get install openmpi-bin
MASTER-SIR R a p p o r t | 7
AYOUB ROUZI
Pour compiler et exécuter l’application on lance les commandes suivantes :
Notre programme s’exécute avec succès alors OpenMPI est bien fonctionner :
 test avec Vanilla/Parallèle universe:
Avant de pouvoir soumettre un travail à Condor, nous allons besoin d'un travail. Nous allons écrire rapidement un
petit programme en C ou bien C++.
Tout d'abord, créant un programme en C++ appelé sum_serial.cpp qui calcule la somme de 1 à 1000 :
On le compile et l’exécute :
Maintenant que nous avons un Job :
 Universe: signifie le mode de soumettre un (parallel, universe, MPI…).
 Executable: le nom de programme.
 Log: C'est le nom d'un fichier où Condor va enregistrer des informations sur l'exécution de notre job.
 Output: Où Condor devrait mettre la sortie standard du job.
 Erreur: Où Condor devrait mettre sortie d'erreur de notre job.
MASTER-SIR R a p p o r t | 8
AYOUB ROUZI
 Pour soumettre le travail on tape : $ condor_submit submit
Fichier du log :
 soumettre Un « Job » avec Parallel universe :
Programme de test qui calcule la somme de 1 à 1000 on utilise MPI :
MASTER-SIR R a p p o r t | 9
AYOUB ROUZI
Configuration du job :
Pour soumettre le travail on tape :
$ Condor_submit submit
Fichier log :
MASTER-SIR R a p p o r t | 10
AYOUB ROUZI
Cloud analyste Scénario 1 : Khdemti – Version bêta 1.0 (Local) :
- Situation : Lancement dans une région limitée : MAROC
- Caractéristiques du projet :
o Plateforme Marocaine du freelance et projets
o Traffic de 100 visiteurs par jours
o Hébergement Web : « OVH CLOUD PACK 1 »
- Objectif :
o Navigation confortable (plus de 100 pages)
o Réponses d’opérations rapides (Articles, projets, prestations…)
o Réponses simultanés (messages, emails…)
Table 1 - Bases d'utilisateurs utilisées dans l'expérience :
User base Region Time zone Peak hrs (local) Peak hrs (gmt) Simultanious users
during peak hrs
Simultanious
users off peak hrs
UB5
Morocco
Afrique
GMT+0 20:00 – 21:00 20:00 – 21:00 100 10
UB
Figure 1 : Khdemti version Bêta
MASTER-SIR R a p p o r t | 11
AYOUB ROUZI
Fiche de simulation :
- Configuration générale :
- Configuration générale (2)
- Configuration du datacenter :
MASTER-SIR R a p p o r t | 12
AYOUB ROUZI
- Configurations avancées
On change la politique d'équilibrage de charge dans un seul DataCenter :
- Equally Spread Current Execution Load :
MASTER-SIR R a p p o r t | 13
AYOUB ROUZI
- Throttled :
 Besoin de migration vers un pack hébergement cloud plus grand
Scénario 2 : Khdemti – Version Stable 2.0 (Afrique) :
- Situation : Lancement dans un continent : AFRIQUE
- Caractéristiques du projet :
o Plateforme Marocaine du freelance et projets
o Traffic de 600 visiteurs par jours
o Hébergement Web : « Amazon Elastic Cloud Computing (Amazon EC2) »
- Objectif :
o Navigation confortable (plus de 550 pages)
o Réponses d’opérations rapides (formulaires, Articles, projets, prestations…)
o Réponses simultanés (chat, Paiement, emails…)
MASTER-SIR R a p p o r t | 14
AYOUB ROUZI
Table 2 - Bases d'utilisateurs utilisées dans l'expérience :
User base Region Time zone Peak hrs (local) Peak hrs (gmt) Simultanious users
during peak hrs
Simultanious
users off peak hrs
UB5 Afrique GMT+2 20:00 – 21:00 22:00 – 00:00 250 50
Fiche de simulation :
- Configuration générale :
- Configuration générale (2)
MASTER-SIR R a p p o r t | 15
AYOUB ROUZI
- Configuration du Datacenter :
- Configurations avancées
On change la politique d'équilibrage de charge dans un seul DataCenter :
MASTER-SIR R a p p o r t | 16
AYOUB ROUZI
- Equally Spread Current Execution Load :
- Throttled :
 Site Web a besoin d'évolutivité par l'intermédiaire de l'équilibrage de charge
 Besoin de migration vers un pack hébergement cloud plus grand
Scénario 3 : Khdemti – Version Stable 3.0 (International) :
- Situation : Lancement international
- Caractéristiques du projet :
o Plateforme international du freelance et projets
o Traffic de 4000 visiteurs par jours
o Serveur Web : « Amazon Elastic Cloud Computing (Amazon EC2) »
- Objectif :
o Navigation confortable (plus de 3550 pages)
o Réponses d’opérations rapides (formulaires, Articles, projets, prestations…)
MASTER-SIR R a p p o r t | 17
AYOUB ROUZI
o Réponses simultanés (chat, notifications, Paiement, emails…)
Google Analytiques :
Fiche de simulation :
- Configuration générale :
MASTER-SIR R a p p o r t | 18
AYOUB ROUZI
- Configuration générale (2)
- Configuration du Datacenter :
MASTER-SIR R a p p o r t | 19
AYOUB ROUZI
- Configurations avancées
On change la politique d'équilibrage de charge dans un seul DataCenter :
- Equally Spread Current Execution Load :
- Throttled :
MASTER-SIR R a p p o r t | 20
AYOUB ROUZI
 Conclusion :
Après l’analyse des résultats nous remarquons qu’on doit faire le Choix des paramètres
optimaux avec « Round Robin » qui nous donne au meilleur temps de réponse, donc ce
dernier sera le bon choix pour le relier avec notre USER BASE qui se trouve sur la région 4.
Ce travail m’a permis d'enrichir et d’approfondir mes connaissances en virtualisation à
travers la simulation de ces services coté master et client sous Linux.

Contenu connexe

Tendances

Un slideshow de présentation d'Asterisk présenté en entreprise en 2008.
Un slideshow de présentation d'Asterisk présenté en entreprise en 2008.Un slideshow de présentation d'Asterisk présenté en entreprise en 2008.
Un slideshow de présentation d'Asterisk présenté en entreprise en 2008.betsmee
 
Installation de systemes d'exploitation via reseau avec serva
Installation de systemes d'exploitation via reseau avec servaInstallation de systemes d'exploitation via reseau avec serva
Installation de systemes d'exploitation via reseau avec servaPape Moussa SONKO
 
Déploiement d'un serveur Asterisk
Déploiement d'un serveur Asterisk Déploiement d'un serveur Asterisk
Déploiement d'un serveur Asterisk ImnaTech
 
Étude et mise en place d'un serveur FTP au sufop
Étude et mise en place d'un serveur FTP au sufopÉtude et mise en place d'un serveur FTP au sufop
Étude et mise en place d'un serveur FTP au sufopiferis
 
Les avantages de la virtualisation
Les avantages de la virtualisationLes avantages de la virtualisation
Les avantages de la virtualisationNRC
 
Installation et configuration asterisk
Installation et configuration asteriskInstallation et configuration asterisk
Installation et configuration asteriskGilles Samba
 
VPN NOMADE AVEC AUTHENTIFICATIO AD SOUS ROUTEUR CISCO
VPN NOMADE AVEC AUTHENTIFICATIO AD SOUS ROUTEUR CISCOVPN NOMADE AVEC AUTHENTIFICATIO AD SOUS ROUTEUR CISCO
VPN NOMADE AVEC AUTHENTIFICATIO AD SOUS ROUTEUR CISCOManassé Achim kpaya
 
Windows server 2012 r2
Windows server 2012 r2Windows server 2012 r2
Windows server 2012 r2Ousmane BADJI
 
Mise en place de la telephonie ip avec Asterisk
Mise en place de la telephonie ip avec AsteriskMise en place de la telephonie ip avec Asterisk
Mise en place de la telephonie ip avec AsteriskPape Moussa SONKO
 
Supervision et analyse de script batch
Supervision et analyse de script batchSupervision et analyse de script batch
Supervision et analyse de script batchschomy
 
DHCP sous fedora
DHCP sous fedora DHCP sous fedora
DHCP sous fedora Souhaib El
 
Architecture VoIP Protocol H323
Architecture VoIP Protocol H323Architecture VoIP Protocol H323
Architecture VoIP Protocol H323Siir Ayoub
 

Tendances (20)

TELEPHONIE SUR IP
TELEPHONIE SUR IPTELEPHONIE SUR IP
TELEPHONIE SUR IP
 
Un slideshow de présentation d'Asterisk présenté en entreprise en 2008.
Un slideshow de présentation d'Asterisk présenté en entreprise en 2008.Un slideshow de présentation d'Asterisk présenté en entreprise en 2008.
Un slideshow de présentation d'Asterisk présenté en entreprise en 2008.
 
Cloud_2022.pdf
Cloud_2022.pdfCloud_2022.pdf
Cloud_2022.pdf
 
Installation de systemes d'exploitation via reseau avec serva
Installation de systemes d'exploitation via reseau avec servaInstallation de systemes d'exploitation via reseau avec serva
Installation de systemes d'exploitation via reseau avec serva
 
Déploiement d'un serveur Asterisk
Déploiement d'un serveur Asterisk Déploiement d'un serveur Asterisk
Déploiement d'un serveur Asterisk
 
Commandes usuelle linux
Commandes usuelle   linuxCommandes usuelle   linux
Commandes usuelle linux
 
Étude et mise en place d'un serveur FTP au sufop
Étude et mise en place d'un serveur FTP au sufopÉtude et mise en place d'un serveur FTP au sufop
Étude et mise en place d'un serveur FTP au sufop
 
Les avantages de la virtualisation
Les avantages de la virtualisationLes avantages de la virtualisation
Les avantages de la virtualisation
 
Rapport PFE VoIP
Rapport PFE VoIPRapport PFE VoIP
Rapport PFE VoIP
 
Installation et configuration asterisk
Installation et configuration asteriskInstallation et configuration asterisk
Installation et configuration asterisk
 
VPN NOMADE AVEC AUTHENTIFICATIO AD SOUS ROUTEUR CISCO
VPN NOMADE AVEC AUTHENTIFICATIO AD SOUS ROUTEUR CISCOVPN NOMADE AVEC AUTHENTIFICATIO AD SOUS ROUTEUR CISCO
VPN NOMADE AVEC AUTHENTIFICATIO AD SOUS ROUTEUR CISCO
 
Présentation VOIP
Présentation  VOIPPrésentation  VOIP
Présentation VOIP
 
Windows server 2012 r2
Windows server 2012 r2Windows server 2012 r2
Windows server 2012 r2
 
Mise en place de la telephonie ip avec Asterisk
Mise en place de la telephonie ip avec AsteriskMise en place de la telephonie ip avec Asterisk
Mise en place de la telephonie ip avec Asterisk
 
DART.pptx
DART.pptxDART.pptx
DART.pptx
 
Cours 70 410-1
Cours 70 410-1Cours 70 410-1
Cours 70 410-1
 
Supervision et analyse de script batch
Supervision et analyse de script batchSupervision et analyse de script batch
Supervision et analyse de script batch
 
systèmes distribues
systèmes distribuessystèmes distribues
systèmes distribues
 
DHCP sous fedora
DHCP sous fedora DHCP sous fedora
DHCP sous fedora
 
Architecture VoIP Protocol H323
Architecture VoIP Protocol H323Architecture VoIP Protocol H323
Architecture VoIP Protocol H323
 

Similaire à NFS, MPI, Programmation Sérial & Parallèle avec Condor Scénarios et Simulations avec CloudAnalyst

Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]ANEO
 
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...OpenNebula Project
 
System Center 2012 Configuration Manager R2 : Quoi de neuf ?
System Center 2012 Configuration Manager R2 : Quoi de neuf ?System Center 2012 Configuration Manager R2 : Quoi de neuf ?
System Center 2012 Configuration Manager R2 : Quoi de neuf ?Microsoft Technet France
 
Cloud rasberryfinal
Cloud rasberryfinal Cloud rasberryfinal
Cloud rasberryfinal yacine sebihi
 
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinLudovic Piot
 
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide
 
Reseau entreprise
Reseau entrepriseReseau entreprise
Reseau entrepriseSAIDRAISS2
 
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesBreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesXavier MARIN
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Alexandre Touret
 
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis GroupIBM France Lab
 
Rapport d’installation d’un serveur de messagerie avec le Webmail Roundcube
Rapport d’installation d’un serveur de  messagerie avec le Webmail RoundcubeRapport d’installation d’un serveur de  messagerie avec le Webmail Roundcube
Rapport d’installation d’un serveur de messagerie avec le Webmail RoundcubeBalla Moussa Doumbouya
 
Consul, un vrai couteau suisse
Consul, un vrai couteau suisseConsul, un vrai couteau suisse
Consul, un vrai couteau suisseXavierPestel
 
Paris ember js lab #6 - Taking over server-side rendering websites
Paris ember js lab #6 - Taking over server-side rendering websitesParis ember js lab #6 - Taking over server-side rendering websites
Paris ember js lab #6 - Taking over server-side rendering websitesGuillaume Gérard
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Alexandre Touret
 
Présentation CoreOS
Présentation CoreOSPrésentation CoreOS
Présentation CoreOSgcatt
 
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-likeSfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-likeTristan Maindron
 

Similaire à NFS, MPI, Programmation Sérial & Parallèle avec Condor Scénarios et Simulations avec CloudAnalyst (20)

12-Factor
12-Factor12-Factor
12-Factor
 
Configuration Nimbus
Configuration NimbusConfiguration Nimbus
Configuration Nimbus
 
Infrastructure as code drupal
Infrastructure as code drupalInfrastructure as code drupal
Infrastructure as code drupal
 
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
 
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
Déploiement pour l’hébergement d’architecture cliente et mise en place du Sel...
 
System Center 2012 Configuration Manager R2 : Quoi de neuf ?
System Center 2012 Configuration Manager R2 : Quoi de neuf ?System Center 2012 Configuration Manager R2 : Quoi de neuf ?
System Center 2012 Configuration Manager R2 : Quoi de neuf ?
 
Cloud rasberryfinal
Cloud rasberryfinal Cloud rasberryfinal
Cloud rasberryfinal
 
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
 
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassinOxalide Workshop #4 - Docker, des tours dans le petit bassin
Oxalide Workshop #4 - Docker, des tours dans le petit bassin
 
Reseau entreprise
Reseau entrepriseReseau entreprise
Reseau entreprise
 
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesBreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
 
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
 
Rapport d’installation d’un serveur de messagerie avec le Webmail Roundcube
Rapport d’installation d’un serveur de  messagerie avec le Webmail RoundcubeRapport d’installation d’un serveur de  messagerie avec le Webmail Roundcube
Rapport d’installation d’un serveur de messagerie avec le Webmail Roundcube
 
Consul, un vrai couteau suisse
Consul, un vrai couteau suisseConsul, un vrai couteau suisse
Consul, un vrai couteau suisse
 
Paris ember js lab #6 - Taking over server-side rendering websites
Paris ember js lab #6 - Taking over server-side rendering websitesParis ember js lab #6 - Taking over server-side rendering websites
Paris ember js lab #6 - Taking over server-side rendering websites
 
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...
 
Présentation CoreOS
Présentation CoreOSPrésentation CoreOS
Présentation CoreOS
 
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-likeSfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
SfPot Lille 07/2015 - Utiliser Symfony sur des environnements Heroku-like
 
Ocs
OcsOcs
Ocs
 

Plus de Ayoub Rouzi

Khdemti.com: We revolutionize the way project owners and freelancers work tog...
Khdemti.com: We revolutionize the way project owners and freelancers work tog...Khdemti.com: We revolutionize the way project owners and freelancers work tog...
Khdemti.com: We revolutionize the way project owners and freelancers work tog...Ayoub Rouzi
 
Reseaux mobiles: Rapport Projet : « Lien radio »
Reseaux mobiles: Rapport Projet : « Lien radio »Reseaux mobiles: Rapport Projet : « Lien radio »
Reseaux mobiles: Rapport Projet : « Lien radio »Ayoub Rouzi
 
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...Ayoub Rouzi
 
Application Android: Projet assurance
Application Android: Projet assuranceApplication Android: Projet assurance
Application Android: Projet assuranceAyoub Rouzi
 
Rapport DVWA: File Upload
Rapport DVWA: File UploadRapport DVWA: File Upload
Rapport DVWA: File UploadAyoub Rouzi
 
Rapport DVWA: CSRF
Rapport DVWA: CSRFRapport DVWA: CSRF
Rapport DVWA: CSRFAyoub Rouzi
 
Ateliers d’une application Web vulnérable
Ateliers d’une application Web vulnérable Ateliers d’une application Web vulnérable
Ateliers d’une application Web vulnérable Ayoub Rouzi
 
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0Ayoub Rouzi
 
WannaCry / Wannacrypt Ransomware
WannaCry / Wannacrypt RansomwareWannaCry / Wannacrypt Ransomware
WannaCry / Wannacrypt RansomwareAyoub Rouzi
 
Mobile ip - IT entités fonctionnelles de Mobile IP
Mobile ip - IT entités fonctionnelles de Mobile IPMobile ip - IT entités fonctionnelles de Mobile IP
Mobile ip - IT entités fonctionnelles de Mobile IPAyoub Rouzi
 
Résumé projet Smart Traffic Managment System Real Time (STMSRT)
Résumé projet Smart Traffic Managment System Real Time (STMSRT)Résumé projet Smart Traffic Managment System Real Time (STMSRT)
Résumé projet Smart Traffic Managment System Real Time (STMSRT)Ayoub Rouzi
 
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...Ayoub Rouzi
 
Smart traffic managment system real time (stmsrt)
Smart traffic managment system real time (stmsrt)Smart traffic managment system real time (stmsrt)
Smart traffic managment system real time (stmsrt)Ayoub Rouzi
 
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?Ayoub Rouzi
 
Programmation des cartes Arduino - Se familiariser avec la programmation Simple
Programmation des cartes Arduino - Se familiariser avec la programmation SimpleProgrammation des cartes Arduino - Se familiariser avec la programmation Simple
Programmation des cartes Arduino - Se familiariser avec la programmation SimpleAyoub Rouzi
 
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINO
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINOProjet Radare de Recule - MANIPULATION AVEC L’ARDUINO
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINOAyoub Rouzi
 
Presentation kernel - Kernel Linux - Configuration – Compilation & installation
Presentation kernel - Kernel Linux - Configuration –  Compilation & installationPresentation kernel - Kernel Linux - Configuration –  Compilation & installation
Presentation kernel - Kernel Linux - Configuration – Compilation & installationAyoub Rouzi
 
Rapport Kernel Linux - Configuration – Compilation & installation
Rapport Kernel Linux - Configuration –  Compilation & installationRapport Kernel Linux - Configuration –  Compilation & installation
Rapport Kernel Linux - Configuration – Compilation & installationAyoub Rouzi
 

Plus de Ayoub Rouzi (20)

Khdemti.com: We revolutionize the way project owners and freelancers work tog...
Khdemti.com: We revolutionize the way project owners and freelancers work tog...Khdemti.com: We revolutionize the way project owners and freelancers work tog...
Khdemti.com: We revolutionize the way project owners and freelancers work tog...
 
Reseaux mobiles: Rapport Projet : « Lien radio »
Reseaux mobiles: Rapport Projet : « Lien radio »Reseaux mobiles: Rapport Projet : « Lien radio »
Reseaux mobiles: Rapport Projet : « Lien radio »
 
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
Cahier des charges: Traiteur industriel des produits agro-Alimentaires culina...
 
Application Android: Projet assurance
Application Android: Projet assuranceApplication Android: Projet assurance
Application Android: Projet assurance
 
Scheduler & SLA
Scheduler & SLAScheduler & SLA
Scheduler & SLA
 
Rapport DVWA: File Upload
Rapport DVWA: File UploadRapport DVWA: File Upload
Rapport DVWA: File Upload
 
Rapport DVWA: CSRF
Rapport DVWA: CSRFRapport DVWA: CSRF
Rapport DVWA: CSRF
 
Ateliers d’une application Web vulnérable
Ateliers d’une application Web vulnérable Ateliers d’une application Web vulnérable
Ateliers d’une application Web vulnérable
 
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
Rapport j2ee: Gestion d’un compte bancaire En utilisant les EJB 3.0
 
L'estime de soi
L'estime de soiL'estime de soi
L'estime de soi
 
WannaCry / Wannacrypt Ransomware
WannaCry / Wannacrypt RansomwareWannaCry / Wannacrypt Ransomware
WannaCry / Wannacrypt Ransomware
 
Mobile ip - IT entités fonctionnelles de Mobile IP
Mobile ip - IT entités fonctionnelles de Mobile IPMobile ip - IT entités fonctionnelles de Mobile IP
Mobile ip - IT entités fonctionnelles de Mobile IP
 
Résumé projet Smart Traffic Managment System Real Time (STMSRT)
Résumé projet Smart Traffic Managment System Real Time (STMSRT)Résumé projet Smart Traffic Managment System Real Time (STMSRT)
Résumé projet Smart Traffic Managment System Real Time (STMSRT)
 
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
Smart Parking: Stationnement intelligent État de l’art, Étude d’un exemple De...
 
Smart traffic managment system real time (stmsrt)
Smart traffic managment system real time (stmsrt)Smart traffic managment system real time (stmsrt)
Smart traffic managment system real time (stmsrt)
 
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
Freelance,Travail traditionnel, Entrepreneuriat...Quel choix a suivre ?
 
Programmation des cartes Arduino - Se familiariser avec la programmation Simple
Programmation des cartes Arduino - Se familiariser avec la programmation SimpleProgrammation des cartes Arduino - Se familiariser avec la programmation Simple
Programmation des cartes Arduino - Se familiariser avec la programmation Simple
 
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINO
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINOProjet Radare de Recule - MANIPULATION AVEC L’ARDUINO
Projet Radare de Recule - MANIPULATION AVEC L’ARDUINO
 
Presentation kernel - Kernel Linux - Configuration – Compilation & installation
Presentation kernel - Kernel Linux - Configuration –  Compilation & installationPresentation kernel - Kernel Linux - Configuration –  Compilation & installation
Presentation kernel - Kernel Linux - Configuration – Compilation & installation
 
Rapport Kernel Linux - Configuration – Compilation & installation
Rapport Kernel Linux - Configuration –  Compilation & installationRapport Kernel Linux - Configuration –  Compilation & installation
Rapport Kernel Linux - Configuration – Compilation & installation
 

NFS, MPI, Programmation Sérial & Parallèle avec Condor Scénarios et Simulations avec CloudAnalyst

  • 1. Compte Rendu Architectures et technologie virtualisation NFS, MPI, Programmation Sérial & Parallèle avec Condor Scénarios et Simulations avec CloudAnalyst UNIVERSITÉ ABDELAMLEK ESSADI FACULTE DES SCIENCES ET TECHNIQUES DE TANGER MASTER : « SYSTEMES INFORMATIQUES ET RESEAUX »  Réalisé par : - Encadré par : - Rouzi Ayoub Mr. C. ELAMRANI
  • 2. MASTER-SIR R a p p o r t | 2 AYOUB ROUZI Plan : Introduction ………………………………………………………………………………………………………………………......... 1/ Installation de Condor sur les machines Master et Slaves : ...................................................... 2) Installation et configuration de serveur NFS : ..............................................…………………………. 3) Installation et Teste d’un Framework MPI :.................................................................................... 4) Réalisation d’un test avec Vanilla/Parallèle : ................................................................................. 5) Cloud Analyste : simulation d’un scenario : .................................................................................. Conclusion : ...............................................................................................................................................
  • 3. MASTER-SIR R a p p o r t | 3 AYOUB ROUZI Condor : Introduction « Condor (renommé HTCondor en octobre 2012) est un kit de composants logiciel (Framework) open source de parallélisassions de traitement pour la parallélisassions à distribution grossière de tâches de calcul lourdes. Il peut être utilisé pour gérer une charge de travail sur une grappe de serveurs dédiée, et/ou pour délester une charge de travail sur des postes de travail inactifs (grille informatique). Condor tourne sur les systèmes Linux, Unix, Mac OS X, FreeBSD, et sur les systèmes Windows actuels. Condor peut aisément faire collaborer des ressources dédiées (grappes de calculateurs en batterie) et des postes de travail non-dédiés (grille informatique) en un seul environnement de calcul intégré. - Installation : on télécharge le package htdoncodr à partir du site On tape les commandes suivantes : - $ sudo apt-get update - $ sudo apt-get install openssh-server - $ sudo apt-get install htcondor HTCondor: Machines Master  Adresse du Master : 192.168.58.102
  • 4. MASTER-SIR R a p p o r t | 4 AYOUB ROUZI On configure le fichier hosts : On redémarre le service networking pour les 3 machines on utilise la commande : $ sudo service networking restart. On génère les clés de SSH sur la machine master on tape la commande : $ ssh-keygen -t dsa Puis ajoutons maintenant la clé générée de SSH à chacun des autres machines des slaves : $ ssh-copy-id slave@slave, $ ssh-copy-id slave3@slave3 On ouvre le fichier de configuration condor :
  • 5. MASTER-SIR R a p p o r t | 5 AYOUB ROUZI HTCondor: Machines slaves - IP Slave 1 : 192.168.58.101 - IP Slave 2 : 192.168.58.104 Fichier de configuration condor : on teste le fonctionnement : $ condor_status
  • 6. MASTER-SIR R a p p o r t | 6 AYOUB ROUZI Installation et configuration de serveur NFS : « Network File System (ou NFS, système de fichiers en réseau) est à l'origine un protocole développé par Sun Microsystems en 1984 qui permet à un ordinateur d'accéder à des fichiers via un réseau. ... NFS est compatible avec IPv6 sur la plupart des systèmes. » Wikipedia. Sur le serveur hôte, nous devons installer le paquet nfs-kernel-server, ce qui nous permettra de partager nos répertoires : $ sudo apt-get install nfs-kernel-server On démarre le service nfs-kernel-server: $ sudo service nfs-kernel-server start On install nfs client: $ sudo apt-get install nfs-common On crée un répertoire « cloud1 » pour le partage des données : $ sudo mkdir /cloud1 Installation et Teste d’un Framework MPI : « MPI (Message Passing Interface), conçue en 1993-94, est une norme définissant une bibliothèque de fonctions, utilisable avec les langages C, C++ et Fortran. Elle permet d'exploiter des ordinateurs distants ou multiprocesseurs par passage de messages. » Wikipedia. Pour moi j’ai choisi d’installer OpenMPI L’installation se fait simplement avec deux commandes : $ sudo apt-get install libopenmpi-dev || $ sudo apt-get install openmpi-bin
  • 7. MASTER-SIR R a p p o r t | 7 AYOUB ROUZI Pour compiler et exécuter l’application on lance les commandes suivantes : Notre programme s’exécute avec succès alors OpenMPI est bien fonctionner :  test avec Vanilla/Parallèle universe: Avant de pouvoir soumettre un travail à Condor, nous allons besoin d'un travail. Nous allons écrire rapidement un petit programme en C ou bien C++. Tout d'abord, créant un programme en C++ appelé sum_serial.cpp qui calcule la somme de 1 à 1000 : On le compile et l’exécute : Maintenant que nous avons un Job :  Universe: signifie le mode de soumettre un (parallel, universe, MPI…).  Executable: le nom de programme.  Log: C'est le nom d'un fichier où Condor va enregistrer des informations sur l'exécution de notre job.  Output: Où Condor devrait mettre la sortie standard du job.  Erreur: Où Condor devrait mettre sortie d'erreur de notre job.
  • 8. MASTER-SIR R a p p o r t | 8 AYOUB ROUZI  Pour soumettre le travail on tape : $ condor_submit submit Fichier du log :  soumettre Un « Job » avec Parallel universe : Programme de test qui calcule la somme de 1 à 1000 on utilise MPI :
  • 9. MASTER-SIR R a p p o r t | 9 AYOUB ROUZI Configuration du job : Pour soumettre le travail on tape : $ Condor_submit submit Fichier log :
  • 10. MASTER-SIR R a p p o r t | 10 AYOUB ROUZI Cloud analyste Scénario 1 : Khdemti – Version bêta 1.0 (Local) : - Situation : Lancement dans une région limitée : MAROC - Caractéristiques du projet : o Plateforme Marocaine du freelance et projets o Traffic de 100 visiteurs par jours o Hébergement Web : « OVH CLOUD PACK 1 » - Objectif : o Navigation confortable (plus de 100 pages) o Réponses d’opérations rapides (Articles, projets, prestations…) o Réponses simultanés (messages, emails…) Table 1 - Bases d'utilisateurs utilisées dans l'expérience : User base Region Time zone Peak hrs (local) Peak hrs (gmt) Simultanious users during peak hrs Simultanious users off peak hrs UB5 Morocco Afrique GMT+0 20:00 – 21:00 20:00 – 21:00 100 10 UB Figure 1 : Khdemti version Bêta
  • 11. MASTER-SIR R a p p o r t | 11 AYOUB ROUZI Fiche de simulation : - Configuration générale : - Configuration générale (2) - Configuration du datacenter :
  • 12. MASTER-SIR R a p p o r t | 12 AYOUB ROUZI - Configurations avancées On change la politique d'équilibrage de charge dans un seul DataCenter : - Equally Spread Current Execution Load :
  • 13. MASTER-SIR R a p p o r t | 13 AYOUB ROUZI - Throttled :  Besoin de migration vers un pack hébergement cloud plus grand Scénario 2 : Khdemti – Version Stable 2.0 (Afrique) : - Situation : Lancement dans un continent : AFRIQUE - Caractéristiques du projet : o Plateforme Marocaine du freelance et projets o Traffic de 600 visiteurs par jours o Hébergement Web : « Amazon Elastic Cloud Computing (Amazon EC2) » - Objectif : o Navigation confortable (plus de 550 pages) o Réponses d’opérations rapides (formulaires, Articles, projets, prestations…) o Réponses simultanés (chat, Paiement, emails…)
  • 14. MASTER-SIR R a p p o r t | 14 AYOUB ROUZI Table 2 - Bases d'utilisateurs utilisées dans l'expérience : User base Region Time zone Peak hrs (local) Peak hrs (gmt) Simultanious users during peak hrs Simultanious users off peak hrs UB5 Afrique GMT+2 20:00 – 21:00 22:00 – 00:00 250 50 Fiche de simulation : - Configuration générale : - Configuration générale (2)
  • 15. MASTER-SIR R a p p o r t | 15 AYOUB ROUZI - Configuration du Datacenter : - Configurations avancées On change la politique d'équilibrage de charge dans un seul DataCenter :
  • 16. MASTER-SIR R a p p o r t | 16 AYOUB ROUZI - Equally Spread Current Execution Load : - Throttled :  Site Web a besoin d'évolutivité par l'intermédiaire de l'équilibrage de charge  Besoin de migration vers un pack hébergement cloud plus grand Scénario 3 : Khdemti – Version Stable 3.0 (International) : - Situation : Lancement international - Caractéristiques du projet : o Plateforme international du freelance et projets o Traffic de 4000 visiteurs par jours o Serveur Web : « Amazon Elastic Cloud Computing (Amazon EC2) » - Objectif : o Navigation confortable (plus de 3550 pages) o Réponses d’opérations rapides (formulaires, Articles, projets, prestations…)
  • 17. MASTER-SIR R a p p o r t | 17 AYOUB ROUZI o Réponses simultanés (chat, notifications, Paiement, emails…) Google Analytiques : Fiche de simulation : - Configuration générale :
  • 18. MASTER-SIR R a p p o r t | 18 AYOUB ROUZI - Configuration générale (2) - Configuration du Datacenter :
  • 19. MASTER-SIR R a p p o r t | 19 AYOUB ROUZI - Configurations avancées On change la politique d'équilibrage de charge dans un seul DataCenter : - Equally Spread Current Execution Load : - Throttled :
  • 20. MASTER-SIR R a p p o r t | 20 AYOUB ROUZI  Conclusion : Après l’analyse des résultats nous remarquons qu’on doit faire le Choix des paramètres optimaux avec « Round Robin » qui nous donne au meilleur temps de réponse, donc ce dernier sera le bon choix pour le relier avec notre USER BASE qui se trouve sur la région 4. Ce travail m’a permis d'enrichir et d’approfondir mes connaissances en virtualisation à travers la simulation de ces services coté master et client sous Linux.