SlideShare une entreprise Scribd logo
Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELEC
Retour d'expérience
Big Compute & HPC
sur Windows Azure
Antoine Poliakov
Consultant HPC
ANEO
apoliakov@aneo.fr
http://blog.aneo.eu

Innovation Recherche
HPC : un challenge pour le cloud

Introduction

•

Cloud : accès via un réseau de télécommunications, à la demande et en libre-service, à des
ressources informatiques partagées configurables

•

HPC (High Performance Computing) : branche de l’informatique visant à atteindre les plus hautes
performances logicielles possibles en particulier en termes de vitesse de calcul
–
–
–

La puissance de calcul double tous les 1,5 - 2 ans
La vitesse des réseaux double tous les 2 - 3 ans
L’écart calcul/réseaux double tous les 5 ans

•

Intérêt du HPC dans le cloud : accessibilité (PME, recherche, etc.)
 moteur d’innovation énorme

•

Le cloud peut-il garantir des performance suffisantes pour le HPC ?
–
–
–

#mstechdays

CPU : 100% natif
RAM: 99% natif
Réseau ???

#3

Innovation Recherche
Expérimenter le cloud HPC : 3 ingrédients

Technologie
Cloud HPC

Cas d’usage
logiciel HPC

Expériences

Etat de l’art du cloud pour le HPC
#mstechdays

#4

Innovation Recherche

Introduction
Expérimenter le cloud HPC : notre démarche
Identifier des partenaires et technologies
• Logiciel HPC
• Cloud performant

Porter l’application HPC : cluster  cloud
• Montée en compétences
• Retour d’expérience

Expérimenter et mesurer les performances
• Passage à l’échelle
• Transferts de données
#mstechdays

#5

Innovation Recherche

Introduction
Un projet collaboratif : 3 acteurs complémentaires

Introduction

Cabinet de conseil en technologie
et organisation
 Practice HPC : traitement
rapide/massif d’information pour
la finance et l’industrie

Equipes de recherche en HPC
reconnues
 Calcul distribué et big data
 Apprentissage et systèmes
interactifs

Windows Azure : fournisseur d’une
solution cloud HPC
Azure Big Compute

Objectifs
 Identifier les cas d’usage les plus
pertinents
 Mesurer la complexité du
portage et du déploiement
 Evaluer la maturité de la solution
dans un contexte de production

Objectifs
 La technologie est-elle adaptée
au calcul scientifique ?
 Spécificités du déploiement dans
le cloud ?
 Performances

Objectifs
 Avoir un retour d’expérience
technique avant la release
 Suivre de l’intérieur un portage
cluster  cloud

#mstechdays

#6

Innovation Recherche
Des équipes motivées et compétentes : merci !

Conseil
 Portage et déploiement de
l’application dans le cloud
 Réalisation de benchmarks
Constantinos Makassikis
Consultant HPC

Recherche
 Cas d’usage : segmentation audio
distribuée
 Analyse des expériences
Stéphane Vialle
Professeur,
Informatique

Antoine Poliakov
Consultant HPC

Stéphane Rossignol
Pr adjoint,
Traitement signal

Wilfried Kirschenmann
Consultant HPC

Kévin Dehlinger
Stagiaire ingénieur
CNAM

#mstechdays

#7

Innovation Recherche

Introduction

Fournisseur
 Fournisseur de la solution
technique
 Mise à disposition d’importants
moyens de calculs

Xavier Pillons
Principal Program Manager,
Windows Azure CAT
Sommaire
1. Contexte technique

2. Retour d’expérience du portage
3. Optimisations
4. Résultats

#mstechdays

#8

Innovation Recherche
1. LE CONTEXTE TECHNIQUE
a.
b.

#mstechdays

Azure Big Compute
ParSon

#9

Innovation Recherche
Azure Big Compute

Azure Big Compute = Nouveaux nœuds Azure + HPC Pack
Nœuds A8 et A9
•
•
•
•

2x8 snb E5-2670 @2.6Ghz, 112Gb DDR3 @1.6Ghz
InfiniBand (network direct @40Gb/s) : RDMA via MS-MPI @3.5Go/s, 3µs
IP Ethernet @10Gb/s ; HDD 2To @250Mo/s
Hyperviseur Azure

HPC Pack
• Middleware de gestion des tâches : Cluster Manager + SDK
• Testé à 50k cœurs dans Azure
• Extension Pack gratuit : Tout Windows Server peut servir de nœud
#mstechdays

#10

Innovation Recherche
Azure Big Compute

HPC Pack : cluster privé

•

•

#mstechdays

N

N

N

N

N

N

N

N

Administration : matérielle et logicielle

N

N
M

N

Cluster dimensionné par rapport à la charge maximale

•
AD

Active Directory, Manager et nœuds
dans l’infrastructure privée d’entreprise

N

#11

Innovation Recherche
Azure Big Compute

HPC Pack : dans le cloud Azure Big Compute
•

Active Directory et manager dans le cloud

•

Dimensionnement et facturation à la demande

•

Administration logicielle uniquement

Nœuds PaaS
VM IaaS

Bureau / console
à distance

#mstechdays

#12

M

Innovation Recherche

N

N

N

N

N

AD

N

N

N

N

N

N

N
Azure Big Compute

HPC Pack : déploiement hybride
•

Active Directory et manager dans le datacenter

•

Nœuds répartis entre le datacenter et le cloud

•

Dimensionnement local suivant la demande moyenne
Dimensionnement cloud dynamique : absorbe les pics

•

Administration logicielle et matérielle
N

N

N

N

N

N

N

N

N

N

#13

VPN

M

Innovation Recherche

N

N

N

N

N

AD

N

N

N

N
#mstechdays

N

N

N

N

N
ParSon : un logiciel scientifique de segmentation audio
• ParSon = algorithme de segmentation audio voix / musique
1. Apprentissage sur échantillons connus pour calibrer la classification
2. Classification à base d’analyse spectrale (FFT) sur fenêtre glissantes

Audio numérisée

ParSon

Découpage et classification

#mstechdays

#14

Innovation Recherche

voix

musique

ParSon
ParSon

ParSon : une application parallèle OpenMP + MPI
6. Rapatriement
des sorties

Données

Contrôle

4. MPI Exec
2. Réserve
N machines
OAR

5. Exécution
Tâches intercommunicantes

1. Upload fichiers
d’entrée

NAS
#mstechdays

#15

3. Déploiement
des entrées

Machines réservées du cluster

Innovation Recherche

Cluster Linux
ParSon

Meilleur temps d'éxécution (s)

Les performances sont limitées par les entrées-sorties

#mstechdays

2048
512
128
IO bound

32

en réseau, à froid
en local, à froid

8

1

4
#16

16
Nombre de noeuds
Innovation Recherche

64

256
2. PORTAGE VERS AZURE BIG COMPUTE
a. Portage du code C++ : Linux  Windows

b. Portage de la distribution : Cluster  HPC Cluster Manager
c.
#mstechdays

Portage et adaptation des scripts de déploiement

#17

Innovation Recherche
Standards respectés = portage Linux  Windows facile
•

Grâce au respect du standard C++ par le code ParSon et Visual,
il y a très peu de modifications à faire dans le code applicatif

•

L’application s’appuie sur la bibliothèque standard et des bibliothèques
scientifiques multiplateformes : libsnd, fftw...

•

Grâce à MS-MPI, le code de communication MPI reste inchangé

•

Visual Studio supporte OpenMP de manière native

•

Le seul travail a consisté à traduire les fichiers de build :
Makefile  Projet Visual C++

#mstechdays

#18

Innovation Recherche

Portage
Portage

ParSon dans le Cluster Linux
6. Rapatriement
des sorties

Données

Contrôle

4. MPI Exec
2. Réserve
N machines
OAR

5. Exécution

1. Upload fichiers
d’entrée

NAS
#mstechdays

#19

3. Déploiement
des entrées

Machines réservées du cluster

Innovation Recherche

Cluster Linux
Portage

ParSon dans le Cloud Azure
6. Rapatriement
des sorties

IaaS

PaaS

4. MPI Exec
2. Réserve
N machines
HPC Cluster
Manager

AD
Domain
controler
5. Exécution

1. Upload fichiers
d’entrée
HPC
pack
SDK

Azure Storage
#mstechdays

#20

3. Déploiement
des entrées

Nœuds A9 provisionnés

Innovation Recherche

PaaS Big Compute

Données

Contrôle
Déploiement dans Azure
A chaque mise à jour logicielle : packaging + envoi dans Azure Storage
1. Envoi vers le manager
–
–

Soit via Azure Storage
Set-AzureStorageBlobContent  Get-AzureStorageBlobContent
hpcpack create ; hpcpack upload  hpcpack download
Soit via transfert classique : serveur de fichiers accessible d’internet – FileZilla ou autre

2. Script de packaging : mkdir, copy, etc. ; hpcpack create
3. Envoi sur storage Azure : hpcpack upload

A chaque provisionnement de nœuds : copie de travail locale
1. Exécution sur les nœuds via clusrun depuis le manager
2. hpcpack download
3. powershell -command "Set-ExecutionPolicy RemoteSigned"
Invoke-Command -FilePath … -Credential …
Start-Process powershell -Verb runAs -ArgumentList …
4. Installation : %deployedPath%deployScript.ps1
#mstechdays

#21

Innovation Recherche

Portage
Ce premier déploiement présente des limitations

•

Le temps de transfert du fichier son est supérieur au temps de calcul séquentiel

•

Sur plusieurs nœuds, le temps de calcul est négligeable face aux transferts

•

Limite de taille d’entrée : format WAV 2-4Go ; code C++ 4Mds échantillons

#mstechdays

#22

Innovation Recherche

Portage
3. OPTIMISATIONS

#mstechdays

#23

Innovation Recherche
Méthodologie : suppression du goulet d’étranglement
•

Optimisations

La maillon faible du déploiement précédent est le transfert du fichier d’entrée

1. Ecriture disque : 300 Mo/s
 Utilisation d’un RAMFS
2. Accès Azure Storage : QoS 1.6 Go/s
 Téléchargement unique depuis le stockage, puis distribution en InfiniBand
3. Données volumineuses : 60 Go

 FLAC c8 : divise la taille par 2, lève la limitation de taille du format WAV
 Passage des compteurs en 64 bits dans le code C++
#mstechdays

#24

Innovation Recherche
Accélération de l’accès local aux données via un RAMFS
•

RAMFS = système de fichiers dans un bloc mémoire RAM
–
–

•

ImDisk
–
–

•

Léger : driver + service + ligne de commande
Open-source mais signé : fonctionne sous Win64

Installation silencieuse scriptée – schématiquement :
–
–
–

–

•

Extrêmement rapide
Capacité limité et non persistant

hpcpack create …
rundll32 setupapi.dll,InstallHinfSection DefaultInstall 128 disk.inf
Start-Service -inputobject $(get-service -Name imdisk)
imdisk.exe -a -t vm -s 30G -m F: -o rw
format F: /fs:ntfs /x /q /Y
$acl = Get-Acl F:
$acl.AddAccessRule(…FileSystemAccessRule("Everyone","Write", …))
Set-Acl F: $acl

A exécuter à chaque provisionnement des nœuds

#mstechdays

#25

Innovation Recherche

Optimisations
Accélération du transfert réseau
•

Optimisations

Tous les systèmes de transferts “classiques” utilisent l’interface Ethernet
– Accès Azure Storage via les SDK Azure et HPC Pack

– Partage Windows ou lecteur réseau CIFS
– Autres protocoles de transfert réseau : FTP, NFS, etc.

•

Le moyen le plus simple d’utiliser InfiniBand est via MPI
1. Sur une machine : télécharge le fichier d’entrée : Azure  RAMFS

2. mpiexec broadcast.exe : 1 process par machine
•

Nous avons codé un programme C++ MPI

•

Si id = 0, lit le RAMFS par blocs de 4Mb et envoi aux autres par InfiniBand : MPI_Bcast

•

Si id ≠ 0, reçoit les blocs de données et les enregistre dans le fichier sur RAMFS

•

Utilisation des API Win32 plus rapides que les abstractions standard C ou C++

3. Le fichier est dans la RAM de tous les nœuds, accessible en tant que fichier par l’application
#mstechdays

#26

Innovation Recherche
4. RÉSULTATS

#mstechdays

#27

Innovation Recherche
Résultats

Le calcul passe bien à l’échelle, surtout pour les gros fichiers

#mstechdays

#28

Innovation Recherche
Les entrées-sorties détériorent le passage à l’échelle

+

-

#mstechdays

#29

Innovation Recherche

Résultats
Débit Storage régulier (220 Mo/s), latence parfois élevée
Broadcast constant @700 Mo/s

Résultats

#mstechdays

#30

Innovation Recherche
5. BILAN

#mstechdays

#31

Innovation Recherche
Notre retour d’expérience sur la technologie Big Compute
•

Support des standards HPC : C++, OpenMP MPI
,
–

•

Calcul : CPU, RAM
Réseau inter-nœuds

–

Latence parfois élevée du stockage Azure
Débit limité sur Azure storage  répartition sur
plusieurs comptes
Disques durs lents (pour HPC), même sur A9

Un support efficace
–

•

Transfert de données
–
–

Des performances solides
–
–

•

•

10 jours de portage

Communautaire, Microsoft

•

Interface utilisateur claire et intuitive
–
–

–

manage.windowsazure.com
HPC Cluster Manager

•

Tout est scriptable et programmable

•

Cloud plus flexible que cluster figé

•

Une gestion unifiée des moyens de calcul de l’entreprise et
du cloud !
#mstechdays

#32

Administration des nœuds

•

Innovation Recherche

Les transferts nœuds ↔ manager passent
obligatoirement par Azure storage : plus lourd
qu’un NAS ou lecteur réseau

Le temps de provisionnement (~7min) est à
prendre en compte
Azure Big Compute pour la recherche et l’entreprise
Modèle de coût prévisible et adapté à l’utilisation

Conception moderne, documentation complète, support efficace
Le besoin d’administration est réduit par rapport à une infra privée mais reste présent

Pour la recherche

Pour l’entreprise

•

Accès au calcul sans barrière
administrative ou financière

•

Un supercalculateur accessible à tous sans
investissements

•

Mise à disposition des moyens de calculs en
quelques minutes

•

Facilité d’utilisation élastique :
dimensionnement à la demande

•

Interopérabilité native avec un cluster Windows
privé
– Le cloud absorbe les pics
– Meilleur des deux mondes

•

Datacenters en UE : Irlande + Pays-Bas

–

•

parfait pour l’extension de deadline d’une
conférence 

Parfaitement adapté aux chercheurs en
algorithmique parallèle
–

Expériences paramétriques

#mstechdays

#33

Innovation Recherche
Merci pour votre attention
•

Antoine Poliakov
apoliakov@aneo.fr

•

Stéphane Vialle
stephane.vialle@supelec.fr

•

ANEO
http://aneo.eu
http://blog.aneo.eu

•

Merci

Tous nos remerciements à
Microsoft pour nous avoir
prêté les machines !

?

Une question : n’hésitez pas !

Retrouvez nous aux TechDays !
Stand ANEO jeudi 11h30 - 13h
Au cœur du SI > Infrastructure moderne avec Azure
#mstechdays

#34

Innovation Recherche
Digital is business

Contenu connexe

Tendances

DCS : La solution de Cloud Privé par Microsoft Services
DCS : La solution de Cloud Privé par Microsoft ServicesDCS : La solution de Cloud Privé par Microsoft Services
DCS : La solution de Cloud Privé par Microsoft Services
Microsoft Technet France
 
Architecture Réseau des clouds privés avec Hyper-V et System Center Virtual M...
Architecture Réseau des clouds privés avec Hyper-V et System Center Virtual M...Architecture Réseau des clouds privés avec Hyper-V et System Center Virtual M...
Architecture Réseau des clouds privés avec Hyper-V et System Center Virtual M...
Microsoft Technet France
 
Présentation de SQL Azure
Présentation de SQL AzurePrésentation de SQL Azure
Présentation de SQL Azure
Microsoft Technet France
 
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
Microsoft Technet France
 
Compatibilité applicative : Comment sécuriser et accélérer votre migration ve...
Compatibilité applicative : Comment sécuriser et accélérer votre migration ve...Compatibilité applicative : Comment sécuriser et accélérer votre migration ve...
Compatibilité applicative : Comment sécuriser et accélérer votre migration ve...
Microsoft Technet France
 
Mon Stockage a la Cloud Attitude
Mon Stockage a la Cloud Attitude Mon Stockage a la Cloud Attitude
Mon Stockage a la Cloud Attitude
Microsoft Technet France
 
Retour d'expérience sur PowerShell
Retour d'expérience sur PowerShellRetour d'expérience sur PowerShell
Retour d'expérience sur PowerShell
Microsoft Technet France
 
LyncConference2013 - Extension de Lync 2013 côté Client
LyncConference2013 - Extension de Lync 2013 côté ClientLyncConference2013 - Extension de Lync 2013 côté Client
LyncConference2013 - Extension de Lync 2013 côté Client
Microsoft Technet France
 
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloudBonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Microsoft Décideurs IT
 
Transformer votre Cloud : est-ce si simple ? La réponse avec les solutions EM...
Transformer votre Cloud : est-ce si simple ? La réponse avec les solutions EM...Transformer votre Cloud : est-ce si simple ? La réponse avec les solutions EM...
Transformer votre Cloud : est-ce si simple ? La réponse avec les solutions EM...
Microsoft Ideas
 
Econocom aux Techdays de Microsoft. Retours d'expérience sur le Cloud
Econocom aux Techdays de Microsoft. Retours d'expérience sur le CloudEconocom aux Techdays de Microsoft. Retours d'expérience sur le Cloud
Econocom aux Techdays de Microsoft. Retours d'expérience sur le Cloud
Yvain Abeilles
 
Architecture Lync - Deep dive avec nos experts
Architecture Lync - Deep dive avec nos experts Architecture Lync - Deep dive avec nos experts
Architecture Lync - Deep dive avec nos experts
Microsoft Technet France
 
Venez découvrir l’offre Office 365, ses usages les plus fréquents chez les TP...
Venez découvrir l’offre Office 365, ses usages les plus fréquents chez les TP...Venez découvrir l’offre Office 365, ses usages les plus fréquents chez les TP...
Venez découvrir l’offre Office 365, ses usages les plus fréquents chez les TP...
Microsoft Technet France
 
Des exemples de scénario de mobilité en entreprise
Des exemples de scénario de mobilité en entrepriseDes exemples de scénario de mobilité en entreprise
Des exemples de scénario de mobilité en entreprise
Microsoft Décideurs IT
 
Comment publier vos applications Web avec Windows Server 2012 R2
Comment publier vos applications Web avec Windows Server 2012 R2 Comment publier vos applications Web avec Windows Server 2012 R2
Comment publier vos applications Web avec Windows Server 2012 R2
Microsoft Technet France
 
Pourquoi les coûts de Windows Azure seront toujours les plus bas
Pourquoi les coûts de Windows Azure seront toujours les plus basPourquoi les coûts de Windows Azure seront toujours les plus bas
Pourquoi les coûts de Windows Azure seront toujours les plus bas
Microsoft Technet France
 
Le Cloud Hybride avec System Center 2012 R2 et Windows Azure
Le Cloud Hybride avec System Center 2012  R2 et Windows AzureLe Cloud Hybride avec System Center 2012  R2 et Windows Azure
Le Cloud Hybride avec System Center 2012 R2 et Windows Azure
Microsoft Technet France
 
Cloud computing et calcul haute performance
Cloud computing et calcul haute performanceCloud computing et calcul haute performance
Cloud computing et calcul haute performance
Mouna Maazoun
 
System Center 2012 R2 et Windows 8.1 : Quoi de neuf pour le BYOD ?
System Center 2012 R2 et Windows 8.1 : Quoi de neuf pour le BYOD ? System Center 2012 R2 et Windows 8.1 : Quoi de neuf pour le BYOD ?
System Center 2012 R2 et Windows 8.1 : Quoi de neuf pour le BYOD ?
Microsoft Technet France
 
Visual Studio 2013 / SharePoint 2013 duo de choc de 2010 à 2013 en un clin d’œil
Visual Studio 2013 / SharePoint 2013 duo de choc de 2010 à 2013 en un clin d’œilVisual Studio 2013 / SharePoint 2013 duo de choc de 2010 à 2013 en un clin d’œil
Visual Studio 2013 / SharePoint 2013 duo de choc de 2010 à 2013 en un clin d’œil
Microsoft Technet France
 

Tendances (20)

DCS : La solution de Cloud Privé par Microsoft Services
DCS : La solution de Cloud Privé par Microsoft ServicesDCS : La solution de Cloud Privé par Microsoft Services
DCS : La solution de Cloud Privé par Microsoft Services
 
Architecture Réseau des clouds privés avec Hyper-V et System Center Virtual M...
Architecture Réseau des clouds privés avec Hyper-V et System Center Virtual M...Architecture Réseau des clouds privés avec Hyper-V et System Center Virtual M...
Architecture Réseau des clouds privés avec Hyper-V et System Center Virtual M...
 
Présentation de SQL Azure
Présentation de SQL AzurePrésentation de SQL Azure
Présentation de SQL Azure
 
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
System Center 2012 : Montez votre Cloud Privé avec NetApp et Cisco
 
Compatibilité applicative : Comment sécuriser et accélérer votre migration ve...
Compatibilité applicative : Comment sécuriser et accélérer votre migration ve...Compatibilité applicative : Comment sécuriser et accélérer votre migration ve...
Compatibilité applicative : Comment sécuriser et accélérer votre migration ve...
 
Mon Stockage a la Cloud Attitude
Mon Stockage a la Cloud Attitude Mon Stockage a la Cloud Attitude
Mon Stockage a la Cloud Attitude
 
Retour d'expérience sur PowerShell
Retour d'expérience sur PowerShellRetour d'expérience sur PowerShell
Retour d'expérience sur PowerShell
 
LyncConference2013 - Extension de Lync 2013 côté Client
LyncConference2013 - Extension de Lync 2013 côté ClientLyncConference2013 - Extension de Lync 2013 côté Client
LyncConference2013 - Extension de Lync 2013 côté Client
 
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloudBonnes pratiques de StorSimple v2 et interconnexion dans le cloud
Bonnes pratiques de StorSimple v2 et interconnexion dans le cloud
 
Transformer votre Cloud : est-ce si simple ? La réponse avec les solutions EM...
Transformer votre Cloud : est-ce si simple ? La réponse avec les solutions EM...Transformer votre Cloud : est-ce si simple ? La réponse avec les solutions EM...
Transformer votre Cloud : est-ce si simple ? La réponse avec les solutions EM...
 
Econocom aux Techdays de Microsoft. Retours d'expérience sur le Cloud
Econocom aux Techdays de Microsoft. Retours d'expérience sur le CloudEconocom aux Techdays de Microsoft. Retours d'expérience sur le Cloud
Econocom aux Techdays de Microsoft. Retours d'expérience sur le Cloud
 
Architecture Lync - Deep dive avec nos experts
Architecture Lync - Deep dive avec nos experts Architecture Lync - Deep dive avec nos experts
Architecture Lync - Deep dive avec nos experts
 
Venez découvrir l’offre Office 365, ses usages les plus fréquents chez les TP...
Venez découvrir l’offre Office 365, ses usages les plus fréquents chez les TP...Venez découvrir l’offre Office 365, ses usages les plus fréquents chez les TP...
Venez découvrir l’offre Office 365, ses usages les plus fréquents chez les TP...
 
Des exemples de scénario de mobilité en entreprise
Des exemples de scénario de mobilité en entrepriseDes exemples de scénario de mobilité en entreprise
Des exemples de scénario de mobilité en entreprise
 
Comment publier vos applications Web avec Windows Server 2012 R2
Comment publier vos applications Web avec Windows Server 2012 R2 Comment publier vos applications Web avec Windows Server 2012 R2
Comment publier vos applications Web avec Windows Server 2012 R2
 
Pourquoi les coûts de Windows Azure seront toujours les plus bas
Pourquoi les coûts de Windows Azure seront toujours les plus basPourquoi les coûts de Windows Azure seront toujours les plus bas
Pourquoi les coûts de Windows Azure seront toujours les plus bas
 
Le Cloud Hybride avec System Center 2012 R2 et Windows Azure
Le Cloud Hybride avec System Center 2012  R2 et Windows AzureLe Cloud Hybride avec System Center 2012  R2 et Windows Azure
Le Cloud Hybride avec System Center 2012 R2 et Windows Azure
 
Cloud computing et calcul haute performance
Cloud computing et calcul haute performanceCloud computing et calcul haute performance
Cloud computing et calcul haute performance
 
System Center 2012 R2 et Windows 8.1 : Quoi de neuf pour le BYOD ?
System Center 2012 R2 et Windows 8.1 : Quoi de neuf pour le BYOD ? System Center 2012 R2 et Windows 8.1 : Quoi de neuf pour le BYOD ?
System Center 2012 R2 et Windows 8.1 : Quoi de neuf pour le BYOD ?
 
Visual Studio 2013 / SharePoint 2013 duo de choc de 2010 à 2013 en un clin d’œil
Visual Studio 2013 / SharePoint 2013 duo de choc de 2010 à 2013 en un clin d’œilVisual Studio 2013 / SharePoint 2013 duo de choc de 2010 à 2013 en un clin d’œil
Visual Studio 2013 / SharePoint 2013 duo de choc de 2010 à 2013 en un clin d’œil
 

En vedette

Cloud computing présenté par Doumbia tidiane
Cloud computing présenté par Doumbia tidianeCloud computing présenté par Doumbia tidiane
Cloud computing présenté par Doumbia tidiane
@aboukam (Abou Kamagaté)
 
Windows Azure Web Sites, Cloud Services ou Virtual Machines ? Quelles technol...
Windows Azure Web Sites, Cloud Services ou Virtual Machines ? Quelles technol...Windows Azure Web Sites, Cloud Services ou Virtual Machines ? Quelles technol...
Windows Azure Web Sites, Cloud Services ou Virtual Machines ? Quelles technol...
Microsoft
 
Cloud presentation
Cloud  presentationCloud  presentation
Cloud presentation
Cynapsys It Hotspot
 
Architecture Cloud Hybride
Architecture Cloud HybrideArchitecture Cloud Hybride
Architecture Cloud Hybride
Microsoft
 
Présentation Eurocloud France - Cloud computing en France - Cédric Mora
Présentation Eurocloud France - Cloud computing en France - Cédric MoraPrésentation Eurocloud France - Cloud computing en France - Cédric Mora
Présentation Eurocloud France - Cloud computing en France - Cédric Mora
Cédric Mora
 
Introduction au Cloud Computing
Introduction au Cloud Computing Introduction au Cloud Computing
Introduction au Cloud Computing
FICEL Hemza
 
Présentation cloud computing
Présentation cloud computingPrésentation cloud computing
Présentation cloud computing
Cynapsys It Hotspot
 
Offre onepoint - Cloud
Offre onepoint - CloudOffre onepoint - Cloud
Offre onepoint - Cloud
GroupeONEPOINT
 
Introduction to Amazon Web Services
Introduction to Amazon Web ServicesIntroduction to Amazon Web Services
Introduction to Amazon Web Services
Amazon Web Services
 
ECP_La_securité_dans_le_cloud
ECP_La_securité_dans_le_cloudECP_La_securité_dans_le_cloud
ECP_La_securité_dans_le_cloud
Geoffroy Moens
 
Viseo intro Prive Public Cloud vs hosting
Viseo intro Prive Public Cloud vs hostingViseo intro Prive Public Cloud vs hosting
Viseo intro Prive Public Cloud vs hosting
thavo001
 

En vedette (11)

Cloud computing présenté par Doumbia tidiane
Cloud computing présenté par Doumbia tidianeCloud computing présenté par Doumbia tidiane
Cloud computing présenté par Doumbia tidiane
 
Windows Azure Web Sites, Cloud Services ou Virtual Machines ? Quelles technol...
Windows Azure Web Sites, Cloud Services ou Virtual Machines ? Quelles technol...Windows Azure Web Sites, Cloud Services ou Virtual Machines ? Quelles technol...
Windows Azure Web Sites, Cloud Services ou Virtual Machines ? Quelles technol...
 
Cloud presentation
Cloud  presentationCloud  presentation
Cloud presentation
 
Architecture Cloud Hybride
Architecture Cloud HybrideArchitecture Cloud Hybride
Architecture Cloud Hybride
 
Présentation Eurocloud France - Cloud computing en France - Cédric Mora
Présentation Eurocloud France - Cloud computing en France - Cédric MoraPrésentation Eurocloud France - Cloud computing en France - Cédric Mora
Présentation Eurocloud France - Cloud computing en France - Cédric Mora
 
Introduction au Cloud Computing
Introduction au Cloud Computing Introduction au Cloud Computing
Introduction au Cloud Computing
 
Présentation cloud computing
Présentation cloud computingPrésentation cloud computing
Présentation cloud computing
 
Offre onepoint - Cloud
Offre onepoint - CloudOffre onepoint - Cloud
Offre onepoint - Cloud
 
Introduction to Amazon Web Services
Introduction to Amazon Web ServicesIntroduction to Amazon Web Services
Introduction to Amazon Web Services
 
ECP_La_securité_dans_le_cloud
ECP_La_securité_dans_le_cloudECP_La_securité_dans_le_cloud
ECP_La_securité_dans_le_cloud
 
Viseo intro Prive Public Cloud vs hosting
Viseo intro Prive Public Cloud vs hostingViseo intro Prive Public Cloud vs hosting
Viseo intro Prive Public Cloud vs hosting
 

Similaire à Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELEC

Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
ANEO
 
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Antoine Poliakov
 
Cours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfCours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdf
boulonvert
 
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans AzureTechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
Thomas Conté
 
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi..."J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
Microsoft
 
Qu'est-ce que le cloud ?
Qu'est-ce que le cloud ?Qu'est-ce que le cloud ?
Qu'est-ce que le cloud ?
Vincent Misson
 
3 Microsoft Advanced Threat Analytics - Genève
3   Microsoft Advanced Threat Analytics - Genève3   Microsoft Advanced Threat Analytics - Genève
3 Microsoft Advanced Threat Analytics - Genève
aOS Community
 
Déploiement, orchestration & sécurisation d’APIs
Déploiement, orchestration & sécurisation d’APIsDéploiement, orchestration & sécurisation d’APIs
Déploiement, orchestration & sécurisation d’APIs
Nicolas Herbaut
 
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
MSDEVMTL
 
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
IBM France Lab
 
Déployer facilement OpenStack et CEPH avec Bright OpenStack
Déployer facilement OpenStack et CEPH avec Bright OpenStackDéployer facilement OpenStack et CEPH avec Bright OpenStack
Déployer facilement OpenStack et CEPH avec Bright OpenStack
Cyril Baudillon
 
OpenStack & DevOps, l'Open Source au service du Cloud
OpenStack & DevOps, l'Open Source au service du CloudOpenStack & DevOps, l'Open Source au service du Cloud
OpenStack & DevOps, l'Open Source au service du Cloud
Michel-Marie Maudet
 
Quel hadoop (#quelhadoop)
Quel hadoop (#quelhadoop)Quel hadoop (#quelhadoop)
Quel hadoop (#quelhadoop)
Romain Broussard
 
20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing
Pierre-Marie Brunet
 
OpenStack - open source au service du Cloud
OpenStack - open source au service du CloudOpenStack - open source au service du Cloud
OpenStack - open source au service du Cloud
LINAGORA
 
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM France Lab
 
Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1
Microsoft
 
L'évolution vers le (Dev)NoOps
L'évolution vers le (Dev)NoOpsL'évolution vers le (Dev)NoOps
L'évolution vers le (Dev)NoOps
Georgeot Cédric
 
Créer une IA capable de reconnaître des fleurs (ou autres)
Créer une IA capable de reconnaître des fleurs (ou autres)Créer une IA capable de reconnaître des fleurs (ou autres)
Créer une IA capable de reconnaître des fleurs (ou autres)
Olivier Eeckhoutte
 

Similaire à Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELEC (20)

Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
 
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]
 
Cours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdfCours Devops Sparks.pptx.pdf
Cours Devops Sparks.pptx.pdf
 
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans AzureTechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
 
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi..."J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...
 
Qu'est-ce que le cloud ?
Qu'est-ce que le cloud ?Qu'est-ce que le cloud ?
Qu'est-ce que le cloud ?
 
3 Microsoft Advanced Threat Analytics - Genève
3   Microsoft Advanced Threat Analytics - Genève3   Microsoft Advanced Threat Analytics - Genève
3 Microsoft Advanced Threat Analytics - Genève
 
Déploiement, orchestration & sécurisation d’APIs
Déploiement, orchestration & sécurisation d’APIsDéploiement, orchestration & sécurisation d’APIs
Déploiement, orchestration & sécurisation d’APIs
 
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
 
KAMAL 2016
KAMAL 2016KAMAL 2016
KAMAL 2016
 
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group20190520  - IBM Cloud Paris-Saclay Meetup - Hardis Group
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
 
Déployer facilement OpenStack et CEPH avec Bright OpenStack
Déployer facilement OpenStack et CEPH avec Bright OpenStackDéployer facilement OpenStack et CEPH avec Bright OpenStack
Déployer facilement OpenStack et CEPH avec Bright OpenStack
 
OpenStack & DevOps, l'Open Source au service du Cloud
OpenStack & DevOps, l'Open Source au service du CloudOpenStack & DevOps, l'Open Source au service du Cloud
OpenStack & DevOps, l'Open Source au service du Cloud
 
Quel hadoop (#quelhadoop)
Quel hadoop (#quelhadoop)Quel hadoop (#quelhadoop)
Quel hadoop (#quelhadoop)
 
20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing20160216 - From BigData to BigProcessing
20160216 - From BigData to BigProcessing
 
OpenStack - open source au service du Cloud
OpenStack - open source au service du CloudOpenStack - open source au service du Cloud
OpenStack - open source au service du Cloud
 
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
 
Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1
 
L'évolution vers le (Dev)NoOps
L'évolution vers le (Dev)NoOpsL'évolution vers le (Dev)NoOps
L'évolution vers le (Dev)NoOps
 
Créer une IA capable de reconnaître des fleurs (ou autres)
Créer une IA capable de reconnaître des fleurs (ou autres)Créer une IA capable de reconnaître des fleurs (ou autres)
Créer une IA capable de reconnaître des fleurs (ou autres)
 

Plus de Microsoft Technet France

Automatisez, visualisez et améliorez vos processus d’entreprise avec Nintex
Automatisez, visualisez et améliorez vos processus d’entreprise avec Nintex Automatisez, visualisez et améliorez vos processus d’entreprise avec Nintex
Automatisez, visualisez et améliorez vos processus d’entreprise avec Nintex
Microsoft Technet France
 
Comment réussir votre déploiement de Windows 10
Comment réussir votre déploiement de Windows 10Comment réussir votre déploiement de Windows 10
Comment réussir votre déploiement de Windows 10
Microsoft Technet France
 
OMS log search au quotidien
OMS log search au quotidienOMS log search au quotidien
OMS log search au quotidien
Microsoft Technet France
 
Fusion, Acquisition - Optimisez la migration et la continuité des outils col...
 Fusion, Acquisition - Optimisez la migration et la continuité des outils col... Fusion, Acquisition - Optimisez la migration et la continuité des outils col...
Fusion, Acquisition - Optimisez la migration et la continuité des outils col...
Microsoft Technet France
 
Wavestone déploie son portail Powell 365 en 5 semaines
Wavestone déploie son portail Powell 365 en 5 semainesWavestone déploie son portail Powell 365 en 5 semaines
Wavestone déploie son portail Powell 365 en 5 semaines
Microsoft Technet France
 
Retour d’expérience sur le monitoring et la sécurisation des identités Azure
Retour d’expérience sur le monitoring et la sécurisation des identités AzureRetour d’expérience sur le monitoring et la sécurisation des identités Azure
Retour d’expérience sur le monitoring et la sécurisation des identités Azure
Microsoft Technet France
 
Scénarios de mobilité couverts par Enterprise Mobility + Security
Scénarios de mobilité couverts par Enterprise Mobility + SecurityScénarios de mobilité couverts par Enterprise Mobility + Security
Scénarios de mobilité couverts par Enterprise Mobility + Security
Microsoft Technet France
 
SharePoint Framework : le développement SharePoint nouvelle génération
SharePoint Framework : le développement SharePoint nouvelle générationSharePoint Framework : le développement SharePoint nouvelle génération
SharePoint Framework : le développement SharePoint nouvelle génération
Microsoft Technet France
 
Stockage Cloud : il y en aura pour tout le monde
Stockage Cloud : il y en aura pour tout le mondeStockage Cloud : il y en aura pour tout le monde
Stockage Cloud : il y en aura pour tout le monde
Microsoft Technet France
 
Bien appréhender le concept de Windows As a Service
Bien appréhender le concept de Windows As a ServiceBien appréhender le concept de Windows As a Service
Bien appréhender le concept de Windows As a Service
Microsoft Technet France
 
Protéger vos données avec le chiffrement dans Azure et Office 365
Protéger vos données avec le chiffrement dans Azure et Office 365Protéger vos données avec le chiffrement dans Azure et Office 365
Protéger vos données avec le chiffrement dans Azure et Office 365
Microsoft Technet France
 
Protéger votre patrimoine informationnel dans un monde hybride avec Azure Inf...
Protéger votre patrimoine informationnel dans un monde hybride avec Azure Inf...Protéger votre patrimoine informationnel dans un monde hybride avec Azure Inf...
Protéger votre patrimoine informationnel dans un monde hybride avec Azure Inf...
Microsoft Technet France
 
Comprendre la stratégie identité de Microsoft
Comprendre la stratégie identité de MicrosoftComprendre la stratégie identité de Microsoft
Comprendre la stratégie identité de Microsoft
Microsoft Technet France
 
Vous avez dit « authentification sans mot de passe » : une illustration avec ...
Vous avez dit « authentification sans mot de passe » : une illustration avec ...Vous avez dit « authentification sans mot de passe » : une illustration avec ...
Vous avez dit « authentification sans mot de passe » : une illustration avec ...
Microsoft Technet France
 
Sécurité des données
Sécurité des donnéesSécurité des données
Sécurité des données
Microsoft Technet France
 
Déploiement hybride, la téléphonie dans le cloud
Déploiement hybride, la téléphonie dans le cloudDéploiement hybride, la téléphonie dans le cloud
Déploiement hybride, la téléphonie dans le cloud
Microsoft Technet France
 
Supervisez la qualité des appels Skype for Business Online à l'aide de Call Q...
Supervisez la qualité des appels Skype for Business Online à l'aide de Call Q...Supervisez la qualité des appels Skype for Business Online à l'aide de Call Q...
Supervisez la qualité des appels Skype for Business Online à l'aide de Call Q...
Microsoft Technet France
 
SharePoint 2016 : architecture, déploiement et topologies hybrides
SharePoint 2016 : architecture, déploiement et topologies hybridesSharePoint 2016 : architecture, déploiement et topologies hybrides
SharePoint 2016 : architecture, déploiement et topologies hybrides
Microsoft Technet France
 
Gestion de Windows 10 et des applications dans l'entreprise moderne
Gestion de Windows 10 et des applications dans l'entreprise moderneGestion de Windows 10 et des applications dans l'entreprise moderne
Gestion de Windows 10 et des applications dans l'entreprise moderne
Microsoft Technet France
 
Office 365 dans votre Système d'Informations
Office 365 dans votre Système d'InformationsOffice 365 dans votre Système d'Informations
Office 365 dans votre Système d'Informations
Microsoft Technet France
 

Plus de Microsoft Technet France (20)

Automatisez, visualisez et améliorez vos processus d’entreprise avec Nintex
Automatisez, visualisez et améliorez vos processus d’entreprise avec Nintex Automatisez, visualisez et améliorez vos processus d’entreprise avec Nintex
Automatisez, visualisez et améliorez vos processus d’entreprise avec Nintex
 
Comment réussir votre déploiement de Windows 10
Comment réussir votre déploiement de Windows 10Comment réussir votre déploiement de Windows 10
Comment réussir votre déploiement de Windows 10
 
OMS log search au quotidien
OMS log search au quotidienOMS log search au quotidien
OMS log search au quotidien
 
Fusion, Acquisition - Optimisez la migration et la continuité des outils col...
 Fusion, Acquisition - Optimisez la migration et la continuité des outils col... Fusion, Acquisition - Optimisez la migration et la continuité des outils col...
Fusion, Acquisition - Optimisez la migration et la continuité des outils col...
 
Wavestone déploie son portail Powell 365 en 5 semaines
Wavestone déploie son portail Powell 365 en 5 semainesWavestone déploie son portail Powell 365 en 5 semaines
Wavestone déploie son portail Powell 365 en 5 semaines
 
Retour d’expérience sur le monitoring et la sécurisation des identités Azure
Retour d’expérience sur le monitoring et la sécurisation des identités AzureRetour d’expérience sur le monitoring et la sécurisation des identités Azure
Retour d’expérience sur le monitoring et la sécurisation des identités Azure
 
Scénarios de mobilité couverts par Enterprise Mobility + Security
Scénarios de mobilité couverts par Enterprise Mobility + SecurityScénarios de mobilité couverts par Enterprise Mobility + Security
Scénarios de mobilité couverts par Enterprise Mobility + Security
 
SharePoint Framework : le développement SharePoint nouvelle génération
SharePoint Framework : le développement SharePoint nouvelle générationSharePoint Framework : le développement SharePoint nouvelle génération
SharePoint Framework : le développement SharePoint nouvelle génération
 
Stockage Cloud : il y en aura pour tout le monde
Stockage Cloud : il y en aura pour tout le mondeStockage Cloud : il y en aura pour tout le monde
Stockage Cloud : il y en aura pour tout le monde
 
Bien appréhender le concept de Windows As a Service
Bien appréhender le concept de Windows As a ServiceBien appréhender le concept de Windows As a Service
Bien appréhender le concept de Windows As a Service
 
Protéger vos données avec le chiffrement dans Azure et Office 365
Protéger vos données avec le chiffrement dans Azure et Office 365Protéger vos données avec le chiffrement dans Azure et Office 365
Protéger vos données avec le chiffrement dans Azure et Office 365
 
Protéger votre patrimoine informationnel dans un monde hybride avec Azure Inf...
Protéger votre patrimoine informationnel dans un monde hybride avec Azure Inf...Protéger votre patrimoine informationnel dans un monde hybride avec Azure Inf...
Protéger votre patrimoine informationnel dans un monde hybride avec Azure Inf...
 
Comprendre la stratégie identité de Microsoft
Comprendre la stratégie identité de MicrosoftComprendre la stratégie identité de Microsoft
Comprendre la stratégie identité de Microsoft
 
Vous avez dit « authentification sans mot de passe » : une illustration avec ...
Vous avez dit « authentification sans mot de passe » : une illustration avec ...Vous avez dit « authentification sans mot de passe » : une illustration avec ...
Vous avez dit « authentification sans mot de passe » : une illustration avec ...
 
Sécurité des données
Sécurité des donnéesSécurité des données
Sécurité des données
 
Déploiement hybride, la téléphonie dans le cloud
Déploiement hybride, la téléphonie dans le cloudDéploiement hybride, la téléphonie dans le cloud
Déploiement hybride, la téléphonie dans le cloud
 
Supervisez la qualité des appels Skype for Business Online à l'aide de Call Q...
Supervisez la qualité des appels Skype for Business Online à l'aide de Call Q...Supervisez la qualité des appels Skype for Business Online à l'aide de Call Q...
Supervisez la qualité des appels Skype for Business Online à l'aide de Call Q...
 
SharePoint 2016 : architecture, déploiement et topologies hybrides
SharePoint 2016 : architecture, déploiement et topologies hybridesSharePoint 2016 : architecture, déploiement et topologies hybrides
SharePoint 2016 : architecture, déploiement et topologies hybrides
 
Gestion de Windows 10 et des applications dans l'entreprise moderne
Gestion de Windows 10 et des applications dans l'entreprise moderneGestion de Windows 10 et des applications dans l'entreprise moderne
Gestion de Windows 10 et des applications dans l'entreprise moderne
 
Office 365 dans votre Système d'Informations
Office 365 dans votre Système d'InformationsOffice 365 dans votre Système d'Informations
Office 365 dans votre Système d'Informations
 

Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELEC

  • 2. Retour d'expérience Big Compute & HPC sur Windows Azure Antoine Poliakov Consultant HPC ANEO apoliakov@aneo.fr http://blog.aneo.eu Innovation Recherche
  • 3. HPC : un challenge pour le cloud Introduction • Cloud : accès via un réseau de télécommunications, à la demande et en libre-service, à des ressources informatiques partagées configurables • HPC (High Performance Computing) : branche de l’informatique visant à atteindre les plus hautes performances logicielles possibles en particulier en termes de vitesse de calcul – – – La puissance de calcul double tous les 1,5 - 2 ans La vitesse des réseaux double tous les 2 - 3 ans L’écart calcul/réseaux double tous les 5 ans • Intérêt du HPC dans le cloud : accessibilité (PME, recherche, etc.)  moteur d’innovation énorme • Le cloud peut-il garantir des performance suffisantes pour le HPC ? – – – #mstechdays CPU : 100% natif RAM: 99% natif Réseau ??? #3 Innovation Recherche
  • 4. Expérimenter le cloud HPC : 3 ingrédients Technologie Cloud HPC Cas d’usage logiciel HPC Expériences Etat de l’art du cloud pour le HPC #mstechdays #4 Innovation Recherche Introduction
  • 5. Expérimenter le cloud HPC : notre démarche Identifier des partenaires et technologies • Logiciel HPC • Cloud performant Porter l’application HPC : cluster  cloud • Montée en compétences • Retour d’expérience Expérimenter et mesurer les performances • Passage à l’échelle • Transferts de données #mstechdays #5 Innovation Recherche Introduction
  • 6. Un projet collaboratif : 3 acteurs complémentaires Introduction Cabinet de conseil en technologie et organisation  Practice HPC : traitement rapide/massif d’information pour la finance et l’industrie Equipes de recherche en HPC reconnues  Calcul distribué et big data  Apprentissage et systèmes interactifs Windows Azure : fournisseur d’une solution cloud HPC Azure Big Compute Objectifs  Identifier les cas d’usage les plus pertinents  Mesurer la complexité du portage et du déploiement  Evaluer la maturité de la solution dans un contexte de production Objectifs  La technologie est-elle adaptée au calcul scientifique ?  Spécificités du déploiement dans le cloud ?  Performances Objectifs  Avoir un retour d’expérience technique avant la release  Suivre de l’intérieur un portage cluster  cloud #mstechdays #6 Innovation Recherche
  • 7. Des équipes motivées et compétentes : merci ! Conseil  Portage et déploiement de l’application dans le cloud  Réalisation de benchmarks Constantinos Makassikis Consultant HPC Recherche  Cas d’usage : segmentation audio distribuée  Analyse des expériences Stéphane Vialle Professeur, Informatique Antoine Poliakov Consultant HPC Stéphane Rossignol Pr adjoint, Traitement signal Wilfried Kirschenmann Consultant HPC Kévin Dehlinger Stagiaire ingénieur CNAM #mstechdays #7 Innovation Recherche Introduction Fournisseur  Fournisseur de la solution technique  Mise à disposition d’importants moyens de calculs Xavier Pillons Principal Program Manager, Windows Azure CAT
  • 8. Sommaire 1. Contexte technique 2. Retour d’expérience du portage 3. Optimisations 4. Résultats #mstechdays #8 Innovation Recherche
  • 9. 1. LE CONTEXTE TECHNIQUE a. b. #mstechdays Azure Big Compute ParSon #9 Innovation Recherche
  • 10. Azure Big Compute Azure Big Compute = Nouveaux nœuds Azure + HPC Pack Nœuds A8 et A9 • • • • 2x8 snb E5-2670 @2.6Ghz, 112Gb DDR3 @1.6Ghz InfiniBand (network direct @40Gb/s) : RDMA via MS-MPI @3.5Go/s, 3µs IP Ethernet @10Gb/s ; HDD 2To @250Mo/s Hyperviseur Azure HPC Pack • Middleware de gestion des tâches : Cluster Manager + SDK • Testé à 50k cœurs dans Azure • Extension Pack gratuit : Tout Windows Server peut servir de nœud #mstechdays #10 Innovation Recherche
  • 11. Azure Big Compute HPC Pack : cluster privé • • #mstechdays N N N N N N N N Administration : matérielle et logicielle N N M N Cluster dimensionné par rapport à la charge maximale • AD Active Directory, Manager et nœuds dans l’infrastructure privée d’entreprise N #11 Innovation Recherche
  • 12. Azure Big Compute HPC Pack : dans le cloud Azure Big Compute • Active Directory et manager dans le cloud • Dimensionnement et facturation à la demande • Administration logicielle uniquement Nœuds PaaS VM IaaS Bureau / console à distance #mstechdays #12 M Innovation Recherche N N N N N AD N N N N N N N
  • 13. Azure Big Compute HPC Pack : déploiement hybride • Active Directory et manager dans le datacenter • Nœuds répartis entre le datacenter et le cloud • Dimensionnement local suivant la demande moyenne Dimensionnement cloud dynamique : absorbe les pics • Administration logicielle et matérielle N N N N N N N N N N #13 VPN M Innovation Recherche N N N N N AD N N N N #mstechdays N N N N N
  • 14. ParSon : un logiciel scientifique de segmentation audio • ParSon = algorithme de segmentation audio voix / musique 1. Apprentissage sur échantillons connus pour calibrer la classification 2. Classification à base d’analyse spectrale (FFT) sur fenêtre glissantes Audio numérisée ParSon Découpage et classification #mstechdays #14 Innovation Recherche voix musique ParSon
  • 15. ParSon ParSon : une application parallèle OpenMP + MPI 6. Rapatriement des sorties Données Contrôle 4. MPI Exec 2. Réserve N machines OAR 5. Exécution Tâches intercommunicantes 1. Upload fichiers d’entrée NAS #mstechdays #15 3. Déploiement des entrées Machines réservées du cluster Innovation Recherche Cluster Linux
  • 16. ParSon Meilleur temps d'éxécution (s) Les performances sont limitées par les entrées-sorties #mstechdays 2048 512 128 IO bound 32 en réseau, à froid en local, à froid 8 1 4 #16 16 Nombre de noeuds Innovation Recherche 64 256
  • 17. 2. PORTAGE VERS AZURE BIG COMPUTE a. Portage du code C++ : Linux  Windows b. Portage de la distribution : Cluster  HPC Cluster Manager c. #mstechdays Portage et adaptation des scripts de déploiement #17 Innovation Recherche
  • 18. Standards respectés = portage Linux  Windows facile • Grâce au respect du standard C++ par le code ParSon et Visual, il y a très peu de modifications à faire dans le code applicatif • L’application s’appuie sur la bibliothèque standard et des bibliothèques scientifiques multiplateformes : libsnd, fftw... • Grâce à MS-MPI, le code de communication MPI reste inchangé • Visual Studio supporte OpenMP de manière native • Le seul travail a consisté à traduire les fichiers de build : Makefile  Projet Visual C++ #mstechdays #18 Innovation Recherche Portage
  • 19. Portage ParSon dans le Cluster Linux 6. Rapatriement des sorties Données Contrôle 4. MPI Exec 2. Réserve N machines OAR 5. Exécution 1. Upload fichiers d’entrée NAS #mstechdays #19 3. Déploiement des entrées Machines réservées du cluster Innovation Recherche Cluster Linux
  • 20. Portage ParSon dans le Cloud Azure 6. Rapatriement des sorties IaaS PaaS 4. MPI Exec 2. Réserve N machines HPC Cluster Manager AD Domain controler 5. Exécution 1. Upload fichiers d’entrée HPC pack SDK Azure Storage #mstechdays #20 3. Déploiement des entrées Nœuds A9 provisionnés Innovation Recherche PaaS Big Compute Données Contrôle
  • 21. Déploiement dans Azure A chaque mise à jour logicielle : packaging + envoi dans Azure Storage 1. Envoi vers le manager – – Soit via Azure Storage Set-AzureStorageBlobContent  Get-AzureStorageBlobContent hpcpack create ; hpcpack upload  hpcpack download Soit via transfert classique : serveur de fichiers accessible d’internet – FileZilla ou autre 2. Script de packaging : mkdir, copy, etc. ; hpcpack create 3. Envoi sur storage Azure : hpcpack upload A chaque provisionnement de nœuds : copie de travail locale 1. Exécution sur les nœuds via clusrun depuis le manager 2. hpcpack download 3. powershell -command "Set-ExecutionPolicy RemoteSigned" Invoke-Command -FilePath … -Credential … Start-Process powershell -Verb runAs -ArgumentList … 4. Installation : %deployedPath%deployScript.ps1 #mstechdays #21 Innovation Recherche Portage
  • 22. Ce premier déploiement présente des limitations • Le temps de transfert du fichier son est supérieur au temps de calcul séquentiel • Sur plusieurs nœuds, le temps de calcul est négligeable face aux transferts • Limite de taille d’entrée : format WAV 2-4Go ; code C++ 4Mds échantillons #mstechdays #22 Innovation Recherche Portage
  • 24. Méthodologie : suppression du goulet d’étranglement • Optimisations La maillon faible du déploiement précédent est le transfert du fichier d’entrée 1. Ecriture disque : 300 Mo/s  Utilisation d’un RAMFS 2. Accès Azure Storage : QoS 1.6 Go/s  Téléchargement unique depuis le stockage, puis distribution en InfiniBand 3. Données volumineuses : 60 Go  FLAC c8 : divise la taille par 2, lève la limitation de taille du format WAV  Passage des compteurs en 64 bits dans le code C++ #mstechdays #24 Innovation Recherche
  • 25. Accélération de l’accès local aux données via un RAMFS • RAMFS = système de fichiers dans un bloc mémoire RAM – – • ImDisk – – • Léger : driver + service + ligne de commande Open-source mais signé : fonctionne sous Win64 Installation silencieuse scriptée – schématiquement : – – – – • Extrêmement rapide Capacité limité et non persistant hpcpack create … rundll32 setupapi.dll,InstallHinfSection DefaultInstall 128 disk.inf Start-Service -inputobject $(get-service -Name imdisk) imdisk.exe -a -t vm -s 30G -m F: -o rw format F: /fs:ntfs /x /q /Y $acl = Get-Acl F: $acl.AddAccessRule(…FileSystemAccessRule("Everyone","Write", …)) Set-Acl F: $acl A exécuter à chaque provisionnement des nœuds #mstechdays #25 Innovation Recherche Optimisations
  • 26. Accélération du transfert réseau • Optimisations Tous les systèmes de transferts “classiques” utilisent l’interface Ethernet – Accès Azure Storage via les SDK Azure et HPC Pack – Partage Windows ou lecteur réseau CIFS – Autres protocoles de transfert réseau : FTP, NFS, etc. • Le moyen le plus simple d’utiliser InfiniBand est via MPI 1. Sur une machine : télécharge le fichier d’entrée : Azure  RAMFS 2. mpiexec broadcast.exe : 1 process par machine • Nous avons codé un programme C++ MPI • Si id = 0, lit le RAMFS par blocs de 4Mb et envoi aux autres par InfiniBand : MPI_Bcast • Si id ≠ 0, reçoit les blocs de données et les enregistre dans le fichier sur RAMFS • Utilisation des API Win32 plus rapides que les abstractions standard C ou C++ 3. Le fichier est dans la RAM de tous les nœuds, accessible en tant que fichier par l’application #mstechdays #26 Innovation Recherche
  • 28. Résultats Le calcul passe bien à l’échelle, surtout pour les gros fichiers #mstechdays #28 Innovation Recherche
  • 29. Les entrées-sorties détériorent le passage à l’échelle + - #mstechdays #29 Innovation Recherche Résultats
  • 30. Débit Storage régulier (220 Mo/s), latence parfois élevée Broadcast constant @700 Mo/s Résultats #mstechdays #30 Innovation Recherche
  • 32. Notre retour d’expérience sur la technologie Big Compute • Support des standards HPC : C++, OpenMP MPI , – • Calcul : CPU, RAM Réseau inter-nœuds – Latence parfois élevée du stockage Azure Débit limité sur Azure storage  répartition sur plusieurs comptes Disques durs lents (pour HPC), même sur A9 Un support efficace – • Transfert de données – – Des performances solides – – • • 10 jours de portage Communautaire, Microsoft • Interface utilisateur claire et intuitive – – – manage.windowsazure.com HPC Cluster Manager • Tout est scriptable et programmable • Cloud plus flexible que cluster figé • Une gestion unifiée des moyens de calcul de l’entreprise et du cloud ! #mstechdays #32 Administration des nœuds • Innovation Recherche Les transferts nœuds ↔ manager passent obligatoirement par Azure storage : plus lourd qu’un NAS ou lecteur réseau Le temps de provisionnement (~7min) est à prendre en compte
  • 33. Azure Big Compute pour la recherche et l’entreprise Modèle de coût prévisible et adapté à l’utilisation Conception moderne, documentation complète, support efficace Le besoin d’administration est réduit par rapport à une infra privée mais reste présent Pour la recherche Pour l’entreprise • Accès au calcul sans barrière administrative ou financière • Un supercalculateur accessible à tous sans investissements • Mise à disposition des moyens de calculs en quelques minutes • Facilité d’utilisation élastique : dimensionnement à la demande • Interopérabilité native avec un cluster Windows privé – Le cloud absorbe les pics – Meilleur des deux mondes • Datacenters en UE : Irlande + Pays-Bas – • parfait pour l’extension de deadline d’une conférence  Parfaitement adapté aux chercheurs en algorithmique parallèle – Expériences paramétriques #mstechdays #33 Innovation Recherche
  • 34. Merci pour votre attention • Antoine Poliakov apoliakov@aneo.fr • Stéphane Vialle stephane.vialle@supelec.fr • ANEO http://aneo.eu http://blog.aneo.eu • Merci Tous nos remerciements à Microsoft pour nous avoir prêté les machines ! ? Une question : n’hésitez pas ! Retrouvez nous aux TechDays ! Stand ANEO jeudi 11h30 - 13h Au cœur du SI > Infrastructure moderne avec Azure #mstechdays #34 Innovation Recherche