SlideShare une entreprise Scribd logo
1  sur  35
Télécharger pour lire hors ligne
Retour d'expérience
Big Compute & HPC
sur Windows Azure
Antoine Poliakov
Consultant HPC
ANEO
apoliakov@aneo.fr
http://blog.aneo.eu

Innovation Recherche
Introduction

HPC : un challenge pour le cloud
•

Cloud : accès via un réseau de télécommunications, à la demande et en libre-service, à
des ressources informatiques partagées configurables

•

HPC (High Performance Computing) : branche de l’informatique visant à atteindre les plus
hautes performances logicielles possibles en particulier en termes de vitesse de calcul
–
–
–

La puissance de calcul double tous les 1,5 - 2 ans
La vitesse des réseaux double tous les 2 - 3 ans
L’écart calcul/réseaux double tous les 5 ans

•

Intérêt du HPC dans le cloud : accessibilité (PME, recherche, etc.)
 moteur d’innovation énorme

•

Le cloud peut-il garantir des performance suffisantes pour le HPC ?
–
–
–

#mstechdays

CPU : 100% natif
RAM: 99% natif
Réseau ???

#3

Innovation Recherche
Introduction

Expérimenter le cloud HPC : 3 ingrédients

Technologie
Cloud HPC

Cas d’usage
logiciel HPC

Expériences

Etat de l’art du cloud pour le HPC
#mstechdays

#4

Innovation Recherche
Introduction

Expérimenter le cloud HPC : notre démarche
Identifier des partenaires et technologies
• Logiciel HPC
• Cloud performant

Porter l’application HPC : cluster  cloud
• Montée en compétences
• Retour d’expérience

Expérimenter et mesurer les performances
• Passage à l’échelle
• Transferts de données
#mstechdays

#5

Innovation Recherche
Introduction

Un projet collaboratif : 3 acteurs complémentaires
Cabinet de conseil en technologie
et organisation
 Practice HPC : traitement
rapide/massif d’information pour
la finance et l’industrie

Equipes de recherche en HPC
reconnues
Calcul distribué et big data
Apprentissage et systèmes
interactifs

Windows Azure : fournisseur d’une
solution cloud HPC
Azure Big Compute

Objectifs
Identifier les cas d’usage les plus
pertinents
Mesurer la complexité du
portage et du déploiement
Evaluer la maturité de la solution
dans un contexte de production

Objectifs
La technologie est-elle adaptée
au calcul scientifique ?
Spécificités du déploiement dans
le cloud ?
Performances

Objectifs
Avoir un retour d’expérience
technique avant la release
Suivre de l’intérieur un portage
cluster  cloud

#mstechdays

#6

Innovation Recherche
Introduction

Des équipes motivées et compétentes : merci !

Conseil
Portage et déploiement de
l’application dans le cloud
Réalisation de benchmarks
Constantinos Makassikis
Consultant HPC

Recherche
Cas d’usage : segmentation audio
distribuée
Analyse des expériences
Stéphane Vialle
Professeur,
Informatique

Antoine Poliakov
Consultant HPC

Stéphane Rossignol
Pr adjoint,
Traitement signal

Wilfried Kirschenmann
Consultant HPC

Kévin Dehlinger
Stagiaire ingénieur
CNAM

#mstechdays

#7

Innovation Recherche

Fournisseur
Fournisseur de la solution
technique
Mise à disposition d’importants
moyens de calculs

Xavier Pillons
Principal Program Manager,
Windows Azure CAT
Sommaire
1. Contexte technique
2. Retour d’expérience du portage
3. Optimisations
4. Résultats

#mstechdays

#8

Innovation Recherche
1. LE CONTEXTE TECHNIQUE
a. Azure Big Compute
b. ParSon

#mstechdays

#9

Innovation Recherche
Azure Big Compute = Nouveaux nœuds Azure + HPC
Pack

Azure Big Compute

Nœuds A8 et A9
•
•
•
•

2x8 snb E5-2670 @2.6Ghz, 112Gb DDR3 @1.6Ghz
InfiniBand (network direct @40Gb/s) : RDMA via MS-MPI @3.5Go/s, 3µs
IP Ethernet @10Gb/s ; HDD 2To @250Mo/s
Hyperviseur Azure

HPC Pack
• Middleware de gestion des tâches : Cluster Manager + SDK
• Testé à 50k cœurs dans Azure
• Extension Pack gratuit : Tout Windows Server peut servir de nœud
#mstechdays

#10

Innovation Recherche
Azure Big Compute

HPC Pack : cluster privé

•

•

M

#mstechdays

N

N

N

N

AD

N

N

N

N

N

Cluster dimensionné par rapport à la charge
maximale

•

Administration : matérielle et logicielle

N

N

Active Directory, Manager et nœuds
dans l’infrastructure privée d’entreprise

N

#11

Innovation Recherche
Azure Big Compute

HPC Pack : dans le cloud Azure Big Compute
•

Active Directory et manager dans le cloud

•

Dimensionnement et facturation à la demande

•

Administration logicielle uniquement

Nœuds PaaS
VM IaaS

Bureau / console
à distance

#mstechdays

#12

M

Innovation Recherche

N

N

N

N

N

AD

N

N

N

N

N

N

N
Azure Big Compute

HPC Pack : déploiement hybride
•

Active Directory et manager dans le datacenter

•

Nœuds répartis entre le datacenter et le cloud

•

Dimensionnement local suivant la demande
moyenne
Dimensionnement cloud dynamique : absorbe les
pics

•

Administration logicielle et matérielle
N

N

N

N

N

N

N

N

N

N

#13

VPN

M

Innovation Recherche

N

N

N

N

N

AD

N

N

N

N

#mstechdays

N

N

N

N

N
ParSon

ParSon : un logiciel scientifique de segmentation audio
• ParSon = algorithme de segmentation audio voix /
musique
1. Apprentissage sur échantillons connus pour calibrer la
classification
2. Classification à base d’analyse spectrale (FFT) sur fenêtre
Audio numérisée
glissantes
ParSon
Découpage et classification

#mstechdays

#14

Innovation Recherche

voix
musique
ParSon

ParSon : une application parallèle OpenMP + MPI
6. Rapatriement
des sorties

Données
Contrôle

4. MPI Exec
2. Réserve
N machines

OAR

5. Exécution
Tâches intercommunicantes

1. Upload fichiers
d’entrée

NAS

#mstechdays

#15

3. Déploiement
des entrées

Machines réservées du cluster

Innovation Recherche

Cluster Linux
ParSon

Meilleur temps d'éxécution (s)

Les performances sont limitées par les entrées-sorties
2048
512
128
IO bound

32

en réseau, à froid
en local, à froid

8
1

4

16
Nombre de noeuds

#mstechdays

#16

Innovation Recherche

64

256
2. PORTAGE VERS AZURE BIG
COMPUTE
a. Portage du code C++ : Linux  Windows
b. Portage de la distribution : Cluster  HPC Cluster Manager
c. Portage et adaptation des scripts de déploiement

#mstechdays

#17

Innovation Recherche
Portage

Standards respectés = portage Linux  Windows facile
• Grâce au respect du standard C++ par le code ParSon et Visual,
il y a très peu de modifications à faire dans le code applicatif
• L’application s’appuie sur la bibliothèque standard et des
bibliothèques scientifiques multiplateformes : libsnd, fftw...
• Grâce à MS-MPI, le code de communication MPI reste inchangé

• Visual Studio supporte OpenMP de manière native
• Le seul travail a consisté à traduire les fichiers de build :
Makefile  Projet Visual C++
#mstechdays

#18

Innovation Recherche
Portage

ParSon dans le Cluster Linux
6. Rapatriement
des sorties

Données
Contrôle

4. MPI Exec
2. Réserve
N machines

OAR

5. Exécution

1. Upload fichiers
d’entrée

NAS

#mstechdays

#19

3. Déploiement
des entrées

Machines réservées du cluster

Innovation Recherche

Cluster Linux
Portage

ParSon dans le Cloud Azure
6. Rapatriement
des sorties

IaaS

PaaS

4. MPI Exec
2. Réserve
N machines
HPC Cluster
Manager

AD
Domain
controler
5. Exécution

1. Upload fichiers
d’entrée
HPC
pack
SDK

Azure Storage

#mstechdays

#20

3. Déploiement
des entrées

Nœuds A9 provisionnés

Innovation Recherche

PaaS Big Compute

Données
Contrôle
Portage

Déploiement dans Azure
A chaque mise à jour logicielle : packaging + envoi dans Azure Storage
1. Envoi vers le manager
–
–

Soit via Azure Storage
Set-AzureStorageBlobContent  Get-AzureStorageBlobContent
hpcpack create ; hpcpack upload  hpcpack download
Soit via transfert classique : serveur de fichiers accessible d’internet – FileZilla ou autre

2. Script de packaging : mkdir, copy, etc. ; hpcpack create
3. Envoi sur storage Azure : hpcpack upload
A chaque provisionnement de nœuds : copie de travail locale
1. Exécution sur les nœuds via clusrun depuis le manager
2. hpcpack download
3. powershell -command "Set-ExecutionPolicy RemoteSigned"
Invoke-Command -FilePath … -Credential …
Start-Process powershell -Verb runAs -ArgumentList …
4. Installation : %deployedPath%deployScript.ps1
#mstechdays

#21

Innovation Recherche
Portage

Ce premier déploiement présente des limitations
•

Le temps de transfert du fichier son est supérieur au temps de calcul
séquentiel

•

Sur plusieurs nœuds, le temps de calcul est négligeable face aux
transferts

•

Limite de taille d’entrée : format WAV 2-4Go ; code C++ 4Mds échantillons

#mstechdays

#22

Innovation Recherche
3. OPTIMISATIONS

#mstechdays

#23

Innovation Recherche
Optimisations

Méthodologie : suppression du goulet d’étranglement
•

La maillon faible du déploiement précédent est le transfert du fichier
d’entrée

1. Ecriture disque : 300 Mo/s
 Utilisation d’un RAMFS
2. Accès Azure Storage : QoS 1.6 Go/s
 Téléchargement unique depuis le stockage, puis distribution en
InfiniBand
3. Données volumineuses : 60 Go
 FLAC c8 : divise la taille par 2, lève la limitation de taille du format WAV

des
#mstechdays Passage#24

compteurs en 64 bits dans le code C++
Innovation Recherche
Accélération de l’accès local aux données via un
RAMFS
•

RAMFS = système de fichiers dans un bloc mémoire RAM
–
–

•

ImDisk
–
–

•

Léger : driver + service + ligne de commande
Open-source mais signé : fonctionne sous Win64

Installation silencieuse scriptée – schématiquement :
–
–
–
–

•

Extrêmement rapide
Capacité limité et non persistant

hpcpack create …
rundll32 setupapi.dll,InstallHinfSection DefaultInstall 128 disk.inf
Start-Service -inputobject $(get-service -Name imdisk)
imdisk.exe -a -t vm -s 30G -m F: -o rw
format F: /fs:ntfs /x /q /Y
$acl = Get-Acl F:
$acl.AddAccessRule(…FileSystemAccessRule("Everyone","Write", …))
Set-Acl F: $acl

A exécuter à chaque provisionnement des nœuds

#mstechdays

#25

Innovation Recherche

Optimisations
Optimisations

Accélération du transfert réseau
•

Tous les systèmes de transferts “classiques” utilisent l’interface Ethernet
– Accès Azure Storage via les SDK Azure et HPC Pack
– Partage Windows ou lecteur réseau CIFS

– Autres protocoles de transfert réseau : FTP, NFS, etc.

•

Le moyen le plus simple d’utiliser InfiniBand est via MPI
1. Sur une machine : télécharge le fichier d’entrée : Azure  RAMFS
2. mpiexec broadcast.exe : 1 process par machine
•

Nous avons codé un programme C++ MPI

•

Si id = 0, lit le RAMFS par blocs de 4Mb et envoi aux autres par InfiniBand : MPI_Bcast

•

Si id ≠ 0, reçoit les blocs de données et les enregistre dans le fichier sur RAMFS

•

Utilisation des API Win32 plus rapides que les abstractions standard C ou C++

3. Le fichier est dans la RAM de tous les nœuds, accessible en tant que fichier par
l’application
#mstechdays

#26

Innovation Recherche
4. RÉSULTATS

#mstechdays

#27

Innovation Recherche
Le calcul passe bien à l’échelle, surtout pour les gros
fichiers

#mstechdays

#28

Innovation Recherche

Résultats
Résultats

Les entrées-sorties détériorent le passage à l’échelle

+

-

#mstechdays

#29

Innovation Recherche
Débit Storage régulier (220 Mo/s), latence parfois élevée
Résultats
Broadcast constant @700
Mo/s

#mstechdays

#30

Innovation Recherche
5. BILAN

#mstechdays

#31

Innovation Recherche
Notre retour d’expérience sur la technologie Big
Compute
•

Support des standards HPC : C++, OpenMP, MPI
–

•

Transfert de données
–
–

Calcul : CPU, RAM
Réseau inter-nœuds

–

Latence parfois élevée du stockage Azure
Débit limité sur Azure storage  répartition sur
plusieurs comptes
Disques durs lents (pour HPC), même sur A9

Un support efficace
–

•

•

Des performances solides
–
–

•

10 jours de portage

Communautaire, Microsoft

Interface utilisateur claire et intuitive
–
–

•

Administration des nœuds
–

manage.windowsazure.com
HPC Cluster Manager

•

Tout est scriptable et programmable

•

Cloud plus flexible que cluster figé

•

Une gestion unifiée des moyens de calcul de
l’entreprise et du cloud !

Les transferts nœuds ↔ manager passent
obligatoirement par Azure storage : plus lourd
qu’un NAS ou lecteur réseau

#mstechdays

#32

•

Le temps de provisionnement (~7min) est à
prendre en compte

Innovation Recherche
Azure Big Compute pour la recherche et l’entreprise
Modèle de coût prévisible et adapté à l’utilisation
Conception moderne, documentation complète, support efficace
Le besoin d’administration est réduit par rapport à une infra privée mais reste présent

Pour la recherche

Pour l’entreprise

•

Accès au calcul sans barrière
administrative ou financière

•

Un supercalculateur accessible à tous sans
investissements

•

Mise à disposition des moyens de calculs en
quelques minutes

•

Facilité d’utilisation élastique :
dimensionnement à la demande

•

Interopérabilité native avec un cluster Windows
privé
– Le cloud absorbe les pics
– Meilleur des deux mondes

•

Datacenters en UE : Irlande + Pays-Bas

–

•

parfait pour l’extension de deadline d’une
conférence 

Parfaitement adapté aux chercheurs en
algorithmique parallèle
–

Expériences paramétriques

#mstechdays

#33

Innovation Recherche
Merci pour votre attention
•

Antoine Poliakov
apoliakov@aneo.fr

Merci

Tous nos remerciements à
Microsoft pour nous avoir
prêté les machines !

•

Stéphane Vialle
stephane.vialle@supelec.fr

•

ANEO
http://aneo.eu
http://blog.aneo.eu

•

Retrouvez nous aux TechDays !
Stand ANEO jeudi 11h30 - 13h
Au cœur du SI > Infrastructure moderne avec
Azure
#mstechdays

#34

?

Une question : n’hésitez
pas !

Innovation Recherche
Digital is
business

Contenu connexe

En vedette

245660649 practica-2
245660649 practica-2245660649 practica-2
245660649 practica-2jair1606
 
Influence de l'environnement sur l'abondance et la diversité du plancton géla...
Influence de l'environnement sur l'abondance et la diversité du plancton géla...Influence de l'environnement sur l'abondance et la diversité du plancton géla...
Influence de l'environnement sur l'abondance et la diversité du plancton géla...Thomas SCHOHN
 
Quelle couleur préférez vous pour les robes de soirée
Quelle couleur préférez vous pour les robes de soiréeQuelle couleur préférez vous pour les robes de soirée
Quelle couleur préférez vous pour les robes de soiréeavezvousunerobe
 
Atelier conference 10 octobre - voyages caritatifs
Atelier conference 10 octobre - voyages caritatifsAtelier conference 10 octobre - voyages caritatifs
Atelier conference 10 octobre - voyages caritatifstacticdirect
 
Site internet nantes - ACIH
Site internet nantes - ACIHSite internet nantes - ACIH
Site internet nantes - ACIHAgence_ACIH
 
Cdp - Audience Internet - France - Avril2011
Cdp - Audience Internet - France - Avril2011Cdp - Audience Internet - France - Avril2011
Cdp - Audience Internet - France - Avril2011baileypeter
 
Boquete5
Boquete5Boquete5
Boquete5yugib10
 
Etude de cas région centredoceleve
Etude de cas région centredoceleveEtude de cas région centredoceleve
Etude de cas région centredocelevejulienbardoux
 
Comment utiliser les plugins Facebook
Comment utiliser les plugins FacebookComment utiliser les plugins Facebook
Comment utiliser les plugins FacebookMarketingZ
 
Saia trabajo de tutorial
Saia trabajo de tutorialSaia trabajo de tutorial
Saia trabajo de tutorialrafaelduran_
 
Problema frecuentes del desarrollo, apego y ansiedad
Problema frecuentes del desarrollo, apego y ansiedadProblema frecuentes del desarrollo, apego y ansiedad
Problema frecuentes del desarrollo, apego y ansiedadBetty Portilla
 
Présentation c2i ville de paris
Présentation c2i ville de parisPrésentation c2i ville de paris
Présentation c2i ville de parisibipac
 
Livre des createurs youtube
Livre des createurs youtubeLivre des createurs youtube
Livre des createurs youtubeMarketingZ
 

En vedette (20)

Mira
MiraMira
Mira
 
245660649 practica-2
245660649 practica-2245660649 practica-2
245660649 practica-2
 
Flores
FloresFlores
Flores
 
Influence de l'environnement sur l'abondance et la diversité du plancton géla...
Influence de l'environnement sur l'abondance et la diversité du plancton géla...Influence de l'environnement sur l'abondance et la diversité du plancton géla...
Influence de l'environnement sur l'abondance et la diversité du plancton géla...
 
Mira
MiraMira
Mira
 
Quelle couleur préférez vous pour les robes de soirée
Quelle couleur préférez vous pour les robes de soiréeQuelle couleur préférez vous pour les robes de soirée
Quelle couleur préférez vous pour les robes de soirée
 
Atelier conference 10 octobre - voyages caritatifs
Atelier conference 10 octobre - voyages caritatifsAtelier conference 10 octobre - voyages caritatifs
Atelier conference 10 octobre - voyages caritatifs
 
Site internet nantes - ACIH
Site internet nantes - ACIHSite internet nantes - ACIH
Site internet nantes - ACIH
 
Cdp - Audience Internet - France - Avril2011
Cdp - Audience Internet - France - Avril2011Cdp - Audience Internet - France - Avril2011
Cdp - Audience Internet - France - Avril2011
 
Boquete5
Boquete5Boquete5
Boquete5
 
Etude de cas région centredoceleve
Etude de cas région centredoceleveEtude de cas région centredoceleve
Etude de cas région centredoceleve
 
Comment utiliser les plugins Facebook
Comment utiliser les plugins FacebookComment utiliser les plugins Facebook
Comment utiliser les plugins Facebook
 
Saia trabajo de tutorial
Saia trabajo de tutorialSaia trabajo de tutorial
Saia trabajo de tutorial
 
Tarea sabado 44444
Tarea sabado 44444Tarea sabado 44444
Tarea sabado 44444
 
Problema frecuentes del desarrollo, apego y ansiedad
Problema frecuentes del desarrollo, apego y ansiedadProblema frecuentes del desarrollo, apego y ansiedad
Problema frecuentes del desarrollo, apego y ansiedad
 
Tp vlan
Tp vlanTp vlan
Tp vlan
 
Innovation Platform: Meknes, Morocco
Innovation Platform: Meknes, MoroccoInnovation Platform: Meknes, Morocco
Innovation Platform: Meknes, Morocco
 
Présentation c2i ville de paris
Présentation c2i ville de parisPrésentation c2i ville de paris
Présentation c2i ville de paris
 
trandot
trandottrandot
trandot
 
Livre des createurs youtube
Livre des createurs youtubeLivre des createurs youtube
Livre des createurs youtube
 

Similaire à Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]

Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELEC
Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELECRetour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELEC
Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELECMicrosoft Technet France
 
Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1Microsoft
 
20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessingPierre-Marie Brunet
 
Industrialisation PHP - Canal+
Industrialisation PHP - Canal+Industrialisation PHP - Canal+
Industrialisation PHP - Canal+ekino
 
Cloud computing et calcul haute performance
Cloud computing et calcul haute performanceCloud computing et calcul haute performance
Cloud computing et calcul haute performanceMouna Maazoun
 
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans AzureTechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans AzureThomas Conté
 
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis GroupIBM France Lab
 
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...MSDEVMTL
 
Cours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfCours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfboulonvert
 
Déploiement, orchestration & sécurisation d’APIs
Déploiement, orchestration & sécurisation d’APIsDéploiement, orchestration & sécurisation d’APIs
Déploiement, orchestration & sécurisation d’APIsNicolas Herbaut
 
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi..."J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...Microsoft
 
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDBPlus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDBMongoDB
 
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDBPlus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDBPierre-Alban DEWITTE
 
Plateformes et infrastructure infonuagique natif de ville de Montréall
Plateformes et infrastructure infonuagique natif de ville de MontréallPlateformes et infrastructure infonuagique natif de ville de Montréall
Plateformes et infrastructure infonuagique natif de ville de MontréallCloudOps2005
 
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesBreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesXavier MARIN
 
AWS Enterprise Day | Paris - Afternoon Session
AWS Enterprise Day | Paris - Afternoon SessionAWS Enterprise Day | Paris - Afternoon Session
AWS Enterprise Day | Paris - Afternoon SessionAmazon Web Services
 
3 Microsoft Advanced Threat Analytics - Genève
3   Microsoft Advanced Threat Analytics - Genève3   Microsoft Advanced Threat Analytics - Genève
3 Microsoft Advanced Threat Analytics - GenèveaOS Community
 
XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...
XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...
XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...Publicis Sapient Engineering
 

Similaire à Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014] (20)

Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELEC
Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELECRetour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELEC
Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELEC
 
Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1
 
20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing
 
Industrialisation PHP - Canal+
Industrialisation PHP - Canal+Industrialisation PHP - Canal+
Industrialisation PHP - Canal+
 
KAMAL 2016
KAMAL 2016KAMAL 2016
KAMAL 2016
 
Cloud computing et calcul haute performance
Cloud computing et calcul haute performanceCloud computing et calcul haute performance
Cloud computing et calcul haute performance
 
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans AzureTechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
 
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
 
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
 
Cours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfCours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdf
 
Déploiement, orchestration & sécurisation d’APIs
Déploiement, orchestration & sécurisation d’APIsDéploiement, orchestration & sécurisation d’APIs
Déploiement, orchestration & sécurisation d’APIs
 
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi..."J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
 
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDBPlus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
 
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDBPlus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
Plus de flexibilité et de scalabilité chez Bouygues Télécom grâce à MongoDB
 
Plateformes et infrastructure infonuagique natif de ville de Montréall
Plateformes et infrastructure infonuagique natif de ville de MontréallPlateformes et infrastructure infonuagique natif de ville de Montréall
Plateformes et infrastructure infonuagique natif de ville de Montréall
 
Powershell et les techniques de remoting
Powershell et les techniques de remoting Powershell et les techniques de remoting
Powershell et les techniques de remoting
 
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesBreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseries
 
AWS Enterprise Day | Paris - Afternoon Session
AWS Enterprise Day | Paris - Afternoon SessionAWS Enterprise Day | Paris - Afternoon Session
AWS Enterprise Day | Paris - Afternoon Session
 
3 Microsoft Advanced Threat Analytics - Genève
3   Microsoft Advanced Threat Analytics - Genève3   Microsoft Advanced Threat Analytics - Genève
3 Microsoft Advanced Threat Analytics - Genève
 
XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...
XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...
XebiCon'17 : Migration d’une application web vers un Paas Openshift - Akram B...
 

Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]

  • 1.
  • 2. Retour d'expérience Big Compute & HPC sur Windows Azure Antoine Poliakov Consultant HPC ANEO apoliakov@aneo.fr http://blog.aneo.eu Innovation Recherche
  • 3. Introduction HPC : un challenge pour le cloud • Cloud : accès via un réseau de télécommunications, à la demande et en libre-service, à des ressources informatiques partagées configurables • HPC (High Performance Computing) : branche de l’informatique visant à atteindre les plus hautes performances logicielles possibles en particulier en termes de vitesse de calcul – – – La puissance de calcul double tous les 1,5 - 2 ans La vitesse des réseaux double tous les 2 - 3 ans L’écart calcul/réseaux double tous les 5 ans • Intérêt du HPC dans le cloud : accessibilité (PME, recherche, etc.)  moteur d’innovation énorme • Le cloud peut-il garantir des performance suffisantes pour le HPC ? – – – #mstechdays CPU : 100% natif RAM: 99% natif Réseau ??? #3 Innovation Recherche
  • 4. Introduction Expérimenter le cloud HPC : 3 ingrédients Technologie Cloud HPC Cas d’usage logiciel HPC Expériences Etat de l’art du cloud pour le HPC #mstechdays #4 Innovation Recherche
  • 5. Introduction Expérimenter le cloud HPC : notre démarche Identifier des partenaires et technologies • Logiciel HPC • Cloud performant Porter l’application HPC : cluster  cloud • Montée en compétences • Retour d’expérience Expérimenter et mesurer les performances • Passage à l’échelle • Transferts de données #mstechdays #5 Innovation Recherche
  • 6. Introduction Un projet collaboratif : 3 acteurs complémentaires Cabinet de conseil en technologie et organisation  Practice HPC : traitement rapide/massif d’information pour la finance et l’industrie Equipes de recherche en HPC reconnues Calcul distribué et big data Apprentissage et systèmes interactifs Windows Azure : fournisseur d’une solution cloud HPC Azure Big Compute Objectifs Identifier les cas d’usage les plus pertinents Mesurer la complexité du portage et du déploiement Evaluer la maturité de la solution dans un contexte de production Objectifs La technologie est-elle adaptée au calcul scientifique ? Spécificités du déploiement dans le cloud ? Performances Objectifs Avoir un retour d’expérience technique avant la release Suivre de l’intérieur un portage cluster  cloud #mstechdays #6 Innovation Recherche
  • 7. Introduction Des équipes motivées et compétentes : merci ! Conseil Portage et déploiement de l’application dans le cloud Réalisation de benchmarks Constantinos Makassikis Consultant HPC Recherche Cas d’usage : segmentation audio distribuée Analyse des expériences Stéphane Vialle Professeur, Informatique Antoine Poliakov Consultant HPC Stéphane Rossignol Pr adjoint, Traitement signal Wilfried Kirschenmann Consultant HPC Kévin Dehlinger Stagiaire ingénieur CNAM #mstechdays #7 Innovation Recherche Fournisseur Fournisseur de la solution technique Mise à disposition d’importants moyens de calculs Xavier Pillons Principal Program Manager, Windows Azure CAT
  • 8. Sommaire 1. Contexte technique 2. Retour d’expérience du portage 3. Optimisations 4. Résultats #mstechdays #8 Innovation Recherche
  • 9. 1. LE CONTEXTE TECHNIQUE a. Azure Big Compute b. ParSon #mstechdays #9 Innovation Recherche
  • 10. Azure Big Compute = Nouveaux nœuds Azure + HPC Pack Azure Big Compute Nœuds A8 et A9 • • • • 2x8 snb E5-2670 @2.6Ghz, 112Gb DDR3 @1.6Ghz InfiniBand (network direct @40Gb/s) : RDMA via MS-MPI @3.5Go/s, 3µs IP Ethernet @10Gb/s ; HDD 2To @250Mo/s Hyperviseur Azure HPC Pack • Middleware de gestion des tâches : Cluster Manager + SDK • Testé à 50k cœurs dans Azure • Extension Pack gratuit : Tout Windows Server peut servir de nœud #mstechdays #10 Innovation Recherche
  • 11. Azure Big Compute HPC Pack : cluster privé • • M #mstechdays N N N N AD N N N N N Cluster dimensionné par rapport à la charge maximale • Administration : matérielle et logicielle N N Active Directory, Manager et nœuds dans l’infrastructure privée d’entreprise N #11 Innovation Recherche
  • 12. Azure Big Compute HPC Pack : dans le cloud Azure Big Compute • Active Directory et manager dans le cloud • Dimensionnement et facturation à la demande • Administration logicielle uniquement Nœuds PaaS VM IaaS Bureau / console à distance #mstechdays #12 M Innovation Recherche N N N N N AD N N N N N N N
  • 13. Azure Big Compute HPC Pack : déploiement hybride • Active Directory et manager dans le datacenter • Nœuds répartis entre le datacenter et le cloud • Dimensionnement local suivant la demande moyenne Dimensionnement cloud dynamique : absorbe les pics • Administration logicielle et matérielle N N N N N N N N N N #13 VPN M Innovation Recherche N N N N N AD N N N N #mstechdays N N N N N
  • 14. ParSon ParSon : un logiciel scientifique de segmentation audio • ParSon = algorithme de segmentation audio voix / musique 1. Apprentissage sur échantillons connus pour calibrer la classification 2. Classification à base d’analyse spectrale (FFT) sur fenêtre Audio numérisée glissantes ParSon Découpage et classification #mstechdays #14 Innovation Recherche voix musique
  • 15. ParSon ParSon : une application parallèle OpenMP + MPI 6. Rapatriement des sorties Données Contrôle 4. MPI Exec 2. Réserve N machines OAR 5. Exécution Tâches intercommunicantes 1. Upload fichiers d’entrée NAS #mstechdays #15 3. Déploiement des entrées Machines réservées du cluster Innovation Recherche Cluster Linux
  • 16. ParSon Meilleur temps d'éxécution (s) Les performances sont limitées par les entrées-sorties 2048 512 128 IO bound 32 en réseau, à froid en local, à froid 8 1 4 16 Nombre de noeuds #mstechdays #16 Innovation Recherche 64 256
  • 17. 2. PORTAGE VERS AZURE BIG COMPUTE a. Portage du code C++ : Linux  Windows b. Portage de la distribution : Cluster  HPC Cluster Manager c. Portage et adaptation des scripts de déploiement #mstechdays #17 Innovation Recherche
  • 18. Portage Standards respectés = portage Linux  Windows facile • Grâce au respect du standard C++ par le code ParSon et Visual, il y a très peu de modifications à faire dans le code applicatif • L’application s’appuie sur la bibliothèque standard et des bibliothèques scientifiques multiplateformes : libsnd, fftw... • Grâce à MS-MPI, le code de communication MPI reste inchangé • Visual Studio supporte OpenMP de manière native • Le seul travail a consisté à traduire les fichiers de build : Makefile  Projet Visual C++ #mstechdays #18 Innovation Recherche
  • 19. Portage ParSon dans le Cluster Linux 6. Rapatriement des sorties Données Contrôle 4. MPI Exec 2. Réserve N machines OAR 5. Exécution 1. Upload fichiers d’entrée NAS #mstechdays #19 3. Déploiement des entrées Machines réservées du cluster Innovation Recherche Cluster Linux
  • 20. Portage ParSon dans le Cloud Azure 6. Rapatriement des sorties IaaS PaaS 4. MPI Exec 2. Réserve N machines HPC Cluster Manager AD Domain controler 5. Exécution 1. Upload fichiers d’entrée HPC pack SDK Azure Storage #mstechdays #20 3. Déploiement des entrées Nœuds A9 provisionnés Innovation Recherche PaaS Big Compute Données Contrôle
  • 21. Portage Déploiement dans Azure A chaque mise à jour logicielle : packaging + envoi dans Azure Storage 1. Envoi vers le manager – – Soit via Azure Storage Set-AzureStorageBlobContent  Get-AzureStorageBlobContent hpcpack create ; hpcpack upload  hpcpack download Soit via transfert classique : serveur de fichiers accessible d’internet – FileZilla ou autre 2. Script de packaging : mkdir, copy, etc. ; hpcpack create 3. Envoi sur storage Azure : hpcpack upload A chaque provisionnement de nœuds : copie de travail locale 1. Exécution sur les nœuds via clusrun depuis le manager 2. hpcpack download 3. powershell -command "Set-ExecutionPolicy RemoteSigned" Invoke-Command -FilePath … -Credential … Start-Process powershell -Verb runAs -ArgumentList … 4. Installation : %deployedPath%deployScript.ps1 #mstechdays #21 Innovation Recherche
  • 22. Portage Ce premier déploiement présente des limitations • Le temps de transfert du fichier son est supérieur au temps de calcul séquentiel • Sur plusieurs nœuds, le temps de calcul est négligeable face aux transferts • Limite de taille d’entrée : format WAV 2-4Go ; code C++ 4Mds échantillons #mstechdays #22 Innovation Recherche
  • 24. Optimisations Méthodologie : suppression du goulet d’étranglement • La maillon faible du déploiement précédent est le transfert du fichier d’entrée 1. Ecriture disque : 300 Mo/s  Utilisation d’un RAMFS 2. Accès Azure Storage : QoS 1.6 Go/s  Téléchargement unique depuis le stockage, puis distribution en InfiniBand 3. Données volumineuses : 60 Go  FLAC c8 : divise la taille par 2, lève la limitation de taille du format WAV  des #mstechdays Passage#24 compteurs en 64 bits dans le code C++ Innovation Recherche
  • 25. Accélération de l’accès local aux données via un RAMFS • RAMFS = système de fichiers dans un bloc mémoire RAM – – • ImDisk – – • Léger : driver + service + ligne de commande Open-source mais signé : fonctionne sous Win64 Installation silencieuse scriptée – schématiquement : – – – – • Extrêmement rapide Capacité limité et non persistant hpcpack create … rundll32 setupapi.dll,InstallHinfSection DefaultInstall 128 disk.inf Start-Service -inputobject $(get-service -Name imdisk) imdisk.exe -a -t vm -s 30G -m F: -o rw format F: /fs:ntfs /x /q /Y $acl = Get-Acl F: $acl.AddAccessRule(…FileSystemAccessRule("Everyone","Write", …)) Set-Acl F: $acl A exécuter à chaque provisionnement des nœuds #mstechdays #25 Innovation Recherche Optimisations
  • 26. Optimisations Accélération du transfert réseau • Tous les systèmes de transferts “classiques” utilisent l’interface Ethernet – Accès Azure Storage via les SDK Azure et HPC Pack – Partage Windows ou lecteur réseau CIFS – Autres protocoles de transfert réseau : FTP, NFS, etc. • Le moyen le plus simple d’utiliser InfiniBand est via MPI 1. Sur une machine : télécharge le fichier d’entrée : Azure  RAMFS 2. mpiexec broadcast.exe : 1 process par machine • Nous avons codé un programme C++ MPI • Si id = 0, lit le RAMFS par blocs de 4Mb et envoi aux autres par InfiniBand : MPI_Bcast • Si id ≠ 0, reçoit les blocs de données et les enregistre dans le fichier sur RAMFS • Utilisation des API Win32 plus rapides que les abstractions standard C ou C++ 3. Le fichier est dans la RAM de tous les nœuds, accessible en tant que fichier par l’application #mstechdays #26 Innovation Recherche
  • 28. Le calcul passe bien à l’échelle, surtout pour les gros fichiers #mstechdays #28 Innovation Recherche Résultats
  • 29. Résultats Les entrées-sorties détériorent le passage à l’échelle + - #mstechdays #29 Innovation Recherche
  • 30. Débit Storage régulier (220 Mo/s), latence parfois élevée Résultats Broadcast constant @700 Mo/s #mstechdays #30 Innovation Recherche
  • 32. Notre retour d’expérience sur la technologie Big Compute • Support des standards HPC : C++, OpenMP, MPI – • Transfert de données – – Calcul : CPU, RAM Réseau inter-nœuds – Latence parfois élevée du stockage Azure Débit limité sur Azure storage  répartition sur plusieurs comptes Disques durs lents (pour HPC), même sur A9 Un support efficace – • • Des performances solides – – • 10 jours de portage Communautaire, Microsoft Interface utilisateur claire et intuitive – – • Administration des nœuds – manage.windowsazure.com HPC Cluster Manager • Tout est scriptable et programmable • Cloud plus flexible que cluster figé • Une gestion unifiée des moyens de calcul de l’entreprise et du cloud ! Les transferts nœuds ↔ manager passent obligatoirement par Azure storage : plus lourd qu’un NAS ou lecteur réseau #mstechdays #32 • Le temps de provisionnement (~7min) est à prendre en compte Innovation Recherche
  • 33. Azure Big Compute pour la recherche et l’entreprise Modèle de coût prévisible et adapté à l’utilisation Conception moderne, documentation complète, support efficace Le besoin d’administration est réduit par rapport à une infra privée mais reste présent Pour la recherche Pour l’entreprise • Accès au calcul sans barrière administrative ou financière • Un supercalculateur accessible à tous sans investissements • Mise à disposition des moyens de calculs en quelques minutes • Facilité d’utilisation élastique : dimensionnement à la demande • Interopérabilité native avec un cluster Windows privé – Le cloud absorbe les pics – Meilleur des deux mondes • Datacenters en UE : Irlande + Pays-Bas – • parfait pour l’extension de deadline d’une conférence  Parfaitement adapté aux chercheurs en algorithmique parallèle – Expériences paramétriques #mstechdays #33 Innovation Recherche
  • 34. Merci pour votre attention • Antoine Poliakov apoliakov@aneo.fr Merci Tous nos remerciements à Microsoft pour nous avoir prêté les machines ! • Stéphane Vialle stephane.vialle@supelec.fr • ANEO http://aneo.eu http://blog.aneo.eu • Retrouvez nous aux TechDays ! Stand ANEO jeudi 11h30 - 13h Au cœur du SI > Infrastructure moderne avec Azure #mstechdays #34 ? Une question : n’hésitez pas ! Innovation Recherche

Notes de l'éditeur

  1. Inverserl’ordre