BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesXavier MARIN
Votre mission, si vous l'acceptez : collecter chez chaque client 500 métriques par seconde sur un réseau Modbus, stocker plusieurs jours de données localement, et pousser des métriques sous échantillonnées dans le cloud. Les contraintes incluent la remontée des contextes de défaut, l’envoi de commande sécurisée depuis le cloud, l’isolation des données entre clients, la connexion temps réel via websocket, la gestion des coupures de courant et d’internet. Le système tourne sur une PINE64, avec une base de donnée open source française !
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure PackMicrosoft Décideurs IT
Microsoft apporte son expérience dans la conception et la gestion des centres de données et du cloud avec un système convergent entièrement validé et intégré en usine. CPS associe une pile logicielle éprouvée avec Windows Server 2012 R2 et System Center 2012 R2, le portail Windows Azure Pack et les infrastructures serveurs, stockage et équipements réseau de DELL. Basé sur un bloc de construction évolutif et extensible, CPS raccourcit le temps de mise en œuvre tout en proposant une expérience cohérente du cloud telle que demandée par vos métiers.
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesXavier MARIN
Votre mission, si vous l'acceptez : collecter chez chaque client 500 métriques par seconde sur un réseau Modbus, stocker plusieurs jours de données localement, et pousser des métriques sous échantillonnées dans le cloud. Les contraintes incluent la remontée des contextes de défaut, l’envoi de commande sécurisée depuis le cloud, l’isolation des données entre clients, la connexion temps réel via websocket, la gestion des coupures de courant et d’internet. Le système tourne sur une PINE64, avec une base de donnée open source française !
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure PackMicrosoft Décideurs IT
Microsoft apporte son expérience dans la conception et la gestion des centres de données et du cloud avec un système convergent entièrement validé et intégré en usine. CPS associe une pile logicielle éprouvée avec Windows Server 2012 R2 et System Center 2012 R2, le portail Windows Azure Pack et les infrastructures serveurs, stockage et équipements réseau de DELL. Basé sur un bloc de construction évolutif et extensible, CPS raccourcit le temps de mise en œuvre tout en proposant une expérience cohérente du cloud telle que demandée par vos métiers.
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...Modern Data Stack France
Hadoop User Group du lundi 6 oct 2014:
Talk #3: Administration Hadoop et retour d’expérience BI avec Impala, limites et recommandations par Abed Ajraou et Cherif Tifrani de Solocal (Pages Jaunes).
Présentation Conférence "Bigdata Niort"
Hadoop, prêt pour l’entreprise
Après une introduction à Hadoop, son historique et son écosystème, il s’agira de découvrir de quelle manière cette technologie est prête pour l’entreprise.
Les utilisations d’Hadoop sont déjà très nombreuses et ce dans de nombreux secteurs ; cette technologie, qui pourrait effrayer, sait se fondre au système d’information des organisations de grâce à sa richesse, et aux types de traitements qui peuvent s’y exécuter. De même, la variété de solutions qui composent le monde Hadoop permet à chacun de démarrer à son rythme pour pouvoir progresser et tirer partie de toutes les données qui nous entourent, les transformant en information et enfin en connaissances.
http://www.bigdata-niort.fr/charly-clairmont/
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]ANEO
Le cloud est-il adapté aux besoins du calcul hautes performances ? La réponse par l’expérience : les consultants HPC d'ANEO ont porté et optimisé une application scientifique distribuée développée par Supélec depuis leur cluster Linux vers la nouvelle offre de cloud Microsoft, Big Compute (nœuds reliés en InfiniBand).
Hitachi File & Content Solutions - HCP est le portail Cloud Storage de vos données partagées primaires et d’archivage. Information produit sur le fonctionnel et les capacités de gestion d'un Stockage Objet ou Object Storage.
Le domaine des architectures reconfigurables est un domaine en extension il est nécessaire de faire des travaux de recherches sur :Architectures basse consommation de puissance (Low- Power)Architectures hétérogène (HARD + SOFT)Co-conception (Co-Design)Outils d’estimation de performances haut niveauOutils d’exploration de l’espace de conception
Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELECMicrosoft Technet France
Session de retour d'experience sur Windows Azure Big Compute à Supelec Metz: Portage de Linux à Windows et benchmark sur 512 coeurs d'un logiciel de traitement du signal de Supelec Metz. Session présentée par Antoine Poliakov d'ANEO et le prof. Stéphane Vialle de Supelec Metz. www.aneo.eu/ www.metz.supelec.fr/~vialle La plateforme Windows Azure Big Compute a été créée pour répondre aux besoins d'applications parallelisées impliquant des communications entre nœuds de calculs. Big Compute repose sur un cluster bâti autour de la solution HPCPack et interconnecté en infiniband. Dans le but d'explorer cette offre et la valeur ajoutée de cette infrastructure, ANEO a analysé les performances d’une application qui a été portée par ses soins à partir de Linux. Cette application de traitement du signal, développée et optimisée par Supélec, fait de la segmentation audio et présente deux niveaux de parallélisme. Le premier niveaux de parallélisme met en œuvre des threads à l’aide d’OpenMP tandis que le second met en œuvre des process (éventuellement distribués) et s’appuie sur MSMPI. Dans cette présentation, nous exposerons comment effectuer le portage d’une application HPC depuis Linux vers Windows Azure. Nous analyserons et discuterons ensuite les performances obtenues.
Speakers : Antoine Poliakov (ANEO), Pierre-Louis Xech (Microsoft France)
Présentation effectuée au Meetup 24 Programmez (5 Avril 2022) par Christophe Villeneuve sur "Infrastructure as code Drupal".
Cette présentation aborde les rappels de l'IaC (infrastructure as code), comment l'utilisé avec le CMS Drupal et déployé automatiquement le contenu et les évolutions dans l'IaC.
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Antoine Poliakov
Le cloud est-il adapté aux besoins du calcul hautes performances ? La réponse par l’expérience : les consultants HPC d'ANEO ont porté et optimisé une application scientifique distribuée développée par Supélec depuis leur cluster Linux vers la nouvelle offre de cloud Microsoft, Big Compute (nœuds reliés en InfiniBand).
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...Modern Data Stack France
Hadoop User Group du lundi 6 oct 2014:
Talk #3: Administration Hadoop et retour d’expérience BI avec Impala, limites et recommandations par Abed Ajraou et Cherif Tifrani de Solocal (Pages Jaunes).
Présentation Conférence "Bigdata Niort"
Hadoop, prêt pour l’entreprise
Après une introduction à Hadoop, son historique et son écosystème, il s’agira de découvrir de quelle manière cette technologie est prête pour l’entreprise.
Les utilisations d’Hadoop sont déjà très nombreuses et ce dans de nombreux secteurs ; cette technologie, qui pourrait effrayer, sait se fondre au système d’information des organisations de grâce à sa richesse, et aux types de traitements qui peuvent s’y exécuter. De même, la variété de solutions qui composent le monde Hadoop permet à chacun de démarrer à son rythme pour pouvoir progresser et tirer partie de toutes les données qui nous entourent, les transformant en information et enfin en connaissances.
http://www.bigdata-niort.fr/charly-clairmont/
Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]ANEO
Le cloud est-il adapté aux besoins du calcul hautes performances ? La réponse par l’expérience : les consultants HPC d'ANEO ont porté et optimisé une application scientifique distribuée développée par Supélec depuis leur cluster Linux vers la nouvelle offre de cloud Microsoft, Big Compute (nœuds reliés en InfiniBand).
Hitachi File & Content Solutions - HCP est le portail Cloud Storage de vos données partagées primaires et d’archivage. Information produit sur le fonctionnel et les capacités de gestion d'un Stockage Objet ou Object Storage.
Le domaine des architectures reconfigurables est un domaine en extension il est nécessaire de faire des travaux de recherches sur :Architectures basse consommation de puissance (Low- Power)Architectures hétérogène (HARD + SOFT)Co-conception (Co-Design)Outils d’estimation de performances haut niveauOutils d’exploration de l’espace de conception
Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELECMicrosoft Technet France
Session de retour d'experience sur Windows Azure Big Compute à Supelec Metz: Portage de Linux à Windows et benchmark sur 512 coeurs d'un logiciel de traitement du signal de Supelec Metz. Session présentée par Antoine Poliakov d'ANEO et le prof. Stéphane Vialle de Supelec Metz. www.aneo.eu/ www.metz.supelec.fr/~vialle La plateforme Windows Azure Big Compute a été créée pour répondre aux besoins d'applications parallelisées impliquant des communications entre nœuds de calculs. Big Compute repose sur un cluster bâti autour de la solution HPCPack et interconnecté en infiniband. Dans le but d'explorer cette offre et la valeur ajoutée de cette infrastructure, ANEO a analysé les performances d’une application qui a été portée par ses soins à partir de Linux. Cette application de traitement du signal, développée et optimisée par Supélec, fait de la segmentation audio et présente deux niveaux de parallélisme. Le premier niveaux de parallélisme met en œuvre des threads à l’aide d’OpenMP tandis que le second met en œuvre des process (éventuellement distribués) et s’appuie sur MSMPI. Dans cette présentation, nous exposerons comment effectuer le portage d’une application HPC depuis Linux vers Windows Azure. Nous analyserons et discuterons ensuite les performances obtenues.
Speakers : Antoine Poliakov (ANEO), Pierre-Louis Xech (Microsoft France)
Présentation effectuée au Meetup 24 Programmez (5 Avril 2022) par Christophe Villeneuve sur "Infrastructure as code Drupal".
Cette présentation aborde les rappels de l'IaC (infrastructure as code), comment l'utilisé avec le CMS Drupal et déployé automatiquement le contenu et les évolutions dans l'IaC.
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Antoine Poliakov
Le cloud est-il adapté aux besoins du calcul hautes performances ? La réponse par l’expérience : les consultants HPC d'ANEO ont porté et optimisé une application scientifique distribuée développée par Supélec depuis leur cluster Linux vers la nouvelle offre de cloud Microsoft, Big Compute (nœuds reliés en InfiniBand).
OSA02 - Pas de transactionnel haute performance sans un couple machine logici...Nicolas Desachy
Ressources cloisonnées et dépourvues de flexibilité ? Goulots d\’étranglement au niveau des performances ? Temps d\’arrêt inacceptables ? Coûts et complexité liés à l\’évolutivité ? Tâches de gestion manuelles très longues ? L’explosion des données et la croissance des transactions augmente la demande de systèmes éprouvés et capables de garantir l\’intégrité, les performances et la flexibilité tout en permettant de réaliser des économies. Si ces questions vous interpellent, cet atelier est pour vous. Vous y découvrirez les dernières nouveautés en terme de systèmes transactionnels IBM et les raisons pour lesquelles de nombreux clients migrent vers ces systèmes.
En prime : les premiers retours d’expérience de portage vers IBM DB2 9.7
IBM Cloud Paris Meetup - 20180911 - Smart Citizen Bot
20190520 - IBM Cloud Paris-Saclay Meetup - Hardis Group
1. 2 0 1 9 – V 1 – O F F R E P O W E R A I
P O W E R A I B Y H A R D I S C L O U D O P E R A T I O N S
No AI/Artificial Intelligence
without IA/Information Architecture
2. o IBM et HCO (Hardis Cloud Operations) ont créé une proposition de valeur sur la base des
machines Power AI afin de permettre un accès simplifié au plus grand nombre.
o HCO, hébergeur et infogéreur depuis de nombreuses années, est en mesure de proposer
une capacité d’hébergement et de supervision des machines Power AI au travers de ses
Datacenters Lyonnais sécurisés.
o L’exploitation et l’administration des serveurs restent sous contrôle exclusif de HCO.
o Infrastructure hardware
o Réseau (VPN, firewall)
o Supervision
o Sauvegarde
o L’exploitation et l’administration applicative restent sous contrôle exclusif de l’école.
o Jeux de données utilisateurs, Environnement de développement et de compilation
o Packages applicatifs (Anaconda, Python)
o Suite logicielle IBM Power AI : Caffe, Torch, TensorFlow, Theano, Chainer…
PROPOSITION DE VALEUR HCO & IBM
3. o Permettre aux écoles d’ingénieurs ou clients de bénéficier des toutes dernières avancées
technologiques des infrastructures (matérielles et logicielles) pensées pour et dédiées à l’IA.
o Donner la capacité de réaliser des Travaux Pratiques sans avoir à se préoccuper de la disponibilité des
infrastructures. L’offre choisie :
Standard : dimensionnée pour 1 groupe de 40 étudiants, traitements de 40 jobs par LSF
è 1GPU/ 8cores/128gb ram sur compute node / 0,1 proc / 2 pv / 32Gb ram sur frontal
Premium : dimensionnée pour 2 groupes de 40 étudiants, traitements de 80 jobs par LSF
è 2 GPU/16 cores / 256GB ram sur compute node / 0,1 proc / 2 pv / 32Gb ram sur frontal
o Bénéficier d’un stockage minimum de 1 TB intégré dans un serveur frontal de connexion au service.
Stockage utilisateur modulable.
Initialisation des données possible par copie physique sur place chez Hardis.
o Connexion VPN & SSH avec intégration du LDAP de l’école ou client au processus de connexion.
o Brique élémentaire de l’infrastructure, un nœud de calcul accessible en mode supervision H24 7J/7 :
ü Un serveur POWER9 AC922 avec 4 cartes GPU NVIDIA Volta100 à 16 GB et 2x16 cœurs et 512 GB de mémoire
ü Avec le stack logiciel : Redhat 7.5 - PowerAI Standard 1.5.1 - LSF 10.2 (1000 jobs // MAX)
ü pour les écoles, possibilité de LSF sans frais pour la formation via le programme éducation d'IBM. Attention, cette
license ne permet pas de faire de la recherche
ü pour les clients ou les écoles qui souhaitent faire de la recherche, LSF est facturable en sus
ENJEUX ET CARACTÉRISTIQUES DE L’OFFRE CLOUD ON POWER FOR AI
4. SOLUTION TECHNIQUE
AC922 :
AC922 serveur segmenté au niveau des ressources (CPU, mem, GPU) avec
Nvidia-Docker
Image Docker avec :
• PowerAI SW
• LSF daemons
Chaque container Docker de l’AC922 est vu par LSF comme un compute
node à part entière.
Les Nvidia-Dockers sont démarrés avec les options suivantes:
• Variable NV_GPU positionnée pour le partage des GPUs
• Accès aux socket UNIX docker et Nvidia-Docker (Docker in Docker)
• Accès au filesystem (/home & /usr/share/lsf)
LSF :
Les queues LSF (batch+interactive) sont configurées pour accéder au split
AC922 correspondant
Frontaux :
Frontaux fournies en Virtual Machine (Red Hat 7,5 PPC S922)
1 frontal par client.
Chaque frontal accède au LDAP de l’école (+proxy LDAP)
LSF master :
LSF master gère le cluster LSF
Le LSF master peut également servir de registry Docker et de serveur NFS
LDAP :
Accès sécurisé au LDAPs des clients via VPN IPSEC
5. STEPHANE COTET
@GroupeHardis
www.hardis-group.com
+33 (6) 32 79 21 74
Stéphane.cotet@hardis.fr
HCO Director Pre sales Consultant Power and Storage
+33 (0) 6 37 17 60 39
laurent.mermet@hardis.fr
LAURENT MERMET
No AI/Artificial Intelligence
without IA/Information Architecture