1
Le HPC et Windows Azure
Thomas VARLET – Expert Technical Computing
Stéphane WOILLEZ – Expert Cloud Computing
Microsoft France

2
Agenda
• Workload HPC dans Windows Azure
• Introduction à Windows Azure
• Comprendre les rôles Windows Azure
• Abaques de performances Azure
• HPC sur Azure, l’exemple PIXAR
• Utiliser Windows Azure avec Windows HPC Server
2008 R2 SP1
• Windows HPC Server 2008 R2 SP1 ?
• Les Azure Nodes
• Démo

3
Workload HPC dans
Windows Azure
Ou comment utiliser Windows AZURE pour un
workload HPC
Stephane WOILLEZ

4
Expérience Développeurs
Utilisation des outils et compétences existantes
MarketPlace
La plate forme Windows Azure

5
• Les rôles permettent de construire son architecture applicative
• Ils exécutent différents types de tâches spécialisées ou non
• Les rôles dialoguent entre eux au travers de files de messages
• Implémente l’interactivité avec l’utilisateur
• Basé sur Internet Information Server préinstallé
• Supporte les extensions classiques IIS
• Piloté et configuré au travers des outils de développement
• Pas d’interactivité avec l’utilisateur
• Implémente la logique métier de l’application
• Similaire au batch, à la couche applicative, aux services windows
• Piloté et configuré au travers des outils de développement
• Utilisé pour pouvoir installer des applications complexes
• Les images sont construites par l’utilisateur avec Hyper-V
• Le master créé est téléchargé sur Azure pour être utilisé
VM Role
Worker Role
Web Role
Les Rôles Windows Azure
pour construire ses applications

6
Performances des composants Azure
VM Type CPU Memory Peak Mbps
Extra Small 1 768MB 5
Small 1 1.75GB 100
Medium 2 3.50GB 200
Large 4 7.00GB 400
XL 8 14.0GB 800
Performances Réseau
• Chaque cas est différent, il faut toujours tester et mesurer
• Les rôles Azure fonctionnent sur Windows Server 2008 (R2) 64bits
• Une bonne estimation des perfs des Web Rôles : 50 req/s par CPU (sauf XS)
• Pour les questions au sujet des performances : WAZVMPERF@microsoft.com
Opération Performance
64K Seq Read 50-110MBps
64K Seq Write 40-100MBps
64K Rand Read 15-20MBps
64K Rand Write 10-18MBps
Accès au disque local

7
HPC sur Azure l’exemple PIXAR
• Calcul d’images de synthèse sur Windows Azure
• Portage du moteur de rendering « RenderMan Pro Server » sur Azure
• PIXAR apporte le moteur de rendering, écrit en C et
packagé pour fonctionner sur Azure
• GreenButton apporte le framework d’exécution de
taches de rendering
• Microsoft apporte l’infrastructure de calcul cloud avec
Windows Azure
• L’application permet de choisir le nombre de serveurs
associés à un job en fonction des délais et couts
associés
• Automatisation complète de la création des serveurs
virtuels, leur configuration, la soumission des jobs et la
suppression des serveurs en fin de travail

8
Worker RoleWeb Role
1
n
Queue
Blob
Table
Architecture de la solution PIXAR
1) L’utilisateur
soumet un job de
rendering et choisi
le nombre de
serveurs à utiliser
pour son rendering
2) Le job est ajouté à une
table pour pouvoir y
accéder et le manipuler
ultérieurement
3) GreenButton découpe le
job en fonction du nombre
de serveurs choisi et poste
les demande de travaux
dans un file d’attente Azure
4) Les moteurs de rendering
Pixar récupèrent les jobs et
exécutent le rendu qui leur est
attribué
6) Les différents fichiers sont enfin
assemblés pour construire le
résultat final
5) Chaque moteur de rendering
poste son travail fini dans un blob
Azure
1
2
3 4
56

9
Vidéo
PIXAR et Windows AZURE

10
Fonctionnement & Interactivité

11
Utiliser Windows Azure avec
Windows HPC Server 2008 R2
SP1
Ou comment utiliser simplement Windows
AZURE pour ajouter de la puissance à un
cluster Windows HPC Server 2008 R2 SP1
Thomas VARLET

12
Bibliothèques de
distribution
Outils pour utiliser toutes ces
ressources de calcul
- MS-MPI
- SOA
Composantes de HPC Server
Ordonnanceur
Gérer les ressources de calcul
du cluster pour les utilisateurs
Administration
Administrer/surveiller les
machines du cluster

13
Windows HPC Server 2008 R2
Une boite à outils complète et intégrée pour toutes* les
applications parallèles
Clients HPC
Jobs
Requests
Head & Broker Nodes
Ressources de
calcul
* toutes: MPI, SOA, Batch, Interactive, Parametric sweeps. …
Stations de travail
Serveurs Locaux
Ressources Azure

14
Logique de Windows HPC
Server 2008 R2

15
Azure Node
HPC Server 2008 R2 SP1 déploie dans Azure de nouvelles ressources
Utilise Windows Azure pour lancer des jobs Windows HPC Server
Jobs
Requests
Head & Broker Nodes
Azure Gateway
Azure
Clients HPC

16
Node List

17
Monitoring

18
Logique de Windows HPC Server
2008 R2 avec des Azures Nodes

19
HPC Head Node
Scheduler
Azure Service
HPC Azure Runtime
Web Role
HPC
Azure
Proxy
Service
Worker Role
HPC
Node
Manager
Worker Role
Worker Role
Worker Role
HPC Node
Manager

20
WHPCS dans Azure:
Le Cloud à votre service
Retour en local
Début dans Azure, puis ajout en
local
1. Service SOA du Cluster
2. Calcul distribué
1. En local, déployé dans Azure.
2. Tout dans Azure: SQL Azure, Azure Storage
Tout dans le
cloud
Toutes les ressources dans
Azure
Tout local
Toutes les ressources sont locales
Mixe
Compute Nodes locaux et ajout
dynamique de ressources
dans le Cloud
Quatre modèles de déploiement
Deux modèles de stockage Deux modèles d’applications

21
SOA dans Azure
SOA sur un cluster local SOA sur des Azures Nodes

22
Calculs distribué dans Azure
Slide 22
Job distribué sur des Azures Nodes

23
WHPCS dans Azure - Bénéfices
Flexibilité et choix
Une solution simple
depuis un seul
fournisseur
Environnement simple et
familier pour les outils
de développement
Intégration forte avec
Azure
Le cloud à votre façon :
• Choix dans le modèle de déploiement (on-premise, cloud ou mode mixe)
• Choix du modèle d’application (managed ou basé sur VM)
• Choix du type de stockage (SQL, Blob)
• Techniquement intégré avec le modèle de développement / déploiement /
administration d’Azure.
• Vue unique de l’utilisation et du coût des ressources.
• garantie de performance et de disponibilité.
• Un unique point de contact pour le support .
• Intégration pour une plus grande facilité de diagnostics / debugging /
surveillance.
Utilisation d’outils familier et fiables pour tous les modèles de développement:
• Visual Studio
• Cluster SOA et MPI
•profiler and debugger en Cluster
• HPC Cluster Manager

24
WHPC Azure Nodes
• Obtenir/créer une souscription Azure
• Configurer le Head Node
• Certificat, firewall, …
• Créer une template de machines pour un « Azure Worker
Role »
• Ajouter les « Azures nodes » dans WHPCS R2
• Démarrer les « Azure Nodes »
LIENS sur Technet :
” Deploying Azure Worker Nodes in Windows HPC Server
2008 R2 SP1 Step-by-Step Guide ”
http://technet.microsoft.com/en-us/library/gg481749(WS.10).aspx