workshop
GENCI : Accélérez grâce au calcul intensif
31 Janvier 2020
01.
GENCI : Grand Equipement National de Calcul
Intensif Très grande infrastructure de recherche
Opérateur public créé en 2007 par le MESRI, le CEA, le CNRS, la CPU
et Inria. Notre rôle est de porter la politique nationale en calcul intensif
pour la recherche.
Notre mission : mettre à disposition des chercheurs française
(académiques et industriels) pour leur travaux de recherche en
simulation numérique et IA des supercalculateurs et des moyens de
stockage.
3 centres de calcul; 2 au sud de Paris (IDRIS er TGCC) et un à
Montpellier (CINES)
Ces machines sont accessibles, gratuitement, via des appels à
projets 2 fois par an basés sur l’excellence scientifique.
Les supercalculateurs
nationaux
Ils sont installés et exploités dans 3 centres:
• Le Très Grand centre de calcul du CEA (TGCC) à Bruyères le
Châtel
• L’institut du développement et des ressources informatique
scientifique du CNRS (IDRISS) à Orsay
• Le CINES, Centre Informatique National de l’Enseignement
Supérieur à Montpellier
JOLIOT-CURIE AU TGCC
Supercalcultauer BULL Sequana de 9,4 Pflop/s doté d’une
architecture équilibrée
JEAN ZAY à l’IDRIS
Premier supercalculateur HPE SGI 8600 convergé HPC/IA de 14
Pflop/s – nœuds scalaire Intel Cascade Lake et nœuds scalaire à 4
GPU nVIDIA V100 soit 1044 GPU
OCCIGEN au CINES
Supercalulateur à nœuds fins BULL Bullx de 3,5 Pflop/s
+3 Machines innovantes OUESSANT, FRIOUL et INTI dans notre
cellule de veille technologique
SiMSEO
02.
Un programme R&D pour les start-ups
Afin d’aider et accélérer le passage à l’échelle des start-ups et PME
françaises, nous avons mis en place avec l’aide de la DGE un programme
national spécifique appelé SiMSEO (http://www.genci.fr/fr/content/simseo),
porté par plusieurs plateformes régionales.
Depuis sa création, il y a 4 ans, il a permis de sensibiliser plus de 1800
entreprises.
Avec la convergence du monde du calcul et de l’IA nous nous sommes
rapprochés d’incubateurs comme Station F (via French Tech Central)
Un programme investissement d’avenir coordonné
par GENCI et Teratec piloté par la DGE, financé par
BPI France
1. Audit • Conseil R&D
2. Conseil R&D
3. Développement
• Développement d’algorithmes
complexes
• Amélioration de vos codes de calcul
Votre projet en 3 étapes :
• Gestion des bases de données
• Accès à des heures de calcul (HPC
services)
Notre expertise :
• Réseau d’experts métiers et en simulation numérique et IA
• Accompagnement d’un projet industriel (PoC)
• Abondement par un subvention d’état à 50%
• Partenaire de la French Tech
6 architectures HPC
uniques en France
9 pflop/s*
disponibles
300 GPU
accessibles pour l’IA
1800 entreprises déjà
intéressées
*Pflop/s : 1015 opérations à
virgule flottante par seconde
Occitanie
Nouvelle Aquitaine
Normandie
Grand Est
(Strasbourg)
Auvergne-Rhône-
Alpes
Grand Est (Reims)
Coordination
nationale
Les 6 supercalculateurs
régionaux
Performants, Souverains, Diversifiés
Machine Roméo à Roméo - Reims
Première machine GPU française
Modèle Bull Sequana X1000 • Dernière génération de
processeurs Intel • 280 GPU NVIDIA P100 NVLINK
(https://romeo.univ-reims.fr/documents/2018/20181001-ROMEO_detailMateriel.pdf)
Machine Myria au CRIANN – Rouen
10 000 cœurs de calcul x86, puissance crête 600 TFlop/s
co-processeurs GPU NVIDIA Pascal P100 et Kepler K80,
processeurs Intel Xeon Phi
(https://www.criann.fr/myria-le-nouveau-supercalculateur-du-criann/)
Machine Olympe au CalMIP – Toulouse
Modèle SEQUANA (ATOS-BULL) d’une puissance crête de
1,365Pflops/s (https://www.calmip.univ-toulouse.fr/spip.php?article582&lang=fr)
Machine à SNASA – Bordeaux
Centre Alsa-Calcul services – Strasbourg
En partenariat avec Cemosis.
Machine d’une puissance crête de 270 Tflop/s et doté de GO
GPU.
Centre de calcul CIMENT Maimosine - Grenoble
Olympe, CalMiP, Toulouse
Romeo, Reims
Comment accéder aux ressources SiMSEO
Cas D’étude
03.
• Accompagnée par la cellule de veille technologique de GENCI en 2018
• Pl@ntNet est une application basé sur des réseaux neuronaux permettant
d’identifier des éléments de la flore mondiale (plante, fleur). Pl@ntNet
fonctionne actuellement sur 17k espèces de plantes.
• Il s’agit d’un projet de recherche et de sciences participatives, soutenu
initialement par Agropolis Fondation, et développé depuis 2009 dans le
cadre d’un consortium regroupant le Cirad, l’INRA, l’Inria, et l’IRD, en
collaboration avec le réseau Tela Botanica. Ce projet se poursuit
aujourd’hui au travers de l’initiative Floris’Tic financée par un Programme
d’Investissement d’Avenir.
Alexis Joly - INRIA
alexis.joly@inria.fr
Système d’aide à l’identification des plantes par
l’image
Pl@ntNet
Evaluer la capacité à entrainer les réseaux de reconnaissance
de façon plus rapide, et meilleure, que par les moyens
disponibles par l’équipe
Objectif 1 : Augmenter la précision de la reconnaissance
Objectif 2 : Augmenter le nombre d’espèces reconnues
Son besoin
Son accompagnement
Il leur a été proposé de travailler sur des technologies de
pointe du moment (Ouessant, avec ses GPUs P100, de
l’ordre de 4x plus rapide que les GPUs disponibles pour
l’équipe).
Puis passage à l’échelle sur des machines nationales puis
européennes.
• Premier objectif rapidement atteint. Les équipes ont
compris l’impact des architectures HPC de pointe sur
leurs résultats (en terme de « time to solution », puis de
précision du modèle).
• 2ème objectif : faire tourner un cas test d’entrainement
(« the big one ») sur l’ensemble de la flore mondiale
(370k classes)
• Utilisation de l’architecture prototype, machine Intel
Tier-1 Occigen du CINES puis vers la machine Tier-0
Joliot-Curie.
• Effectuer un apprentissage à cette échelle sur
architecture Intel est une première mondiale.
• une précision actuelle de 40%, ce qui est très
intéressant du point de vue de l'aide à la décision.
• Le GPU n’est pas obligatoire pour entrainer un réseau
Les résultats
Témoignage :
« Ce qui est très intéressant
c’est que la cellule de la veille
technologique a répondu aux
besoins de Pl@ntNet,
notamment en mettant les
architectures nécessaires en
réponse à ces besoins. Certes
la finalité n’a pas été d’utiliser
une machine de la cellule, mais
grâce à l’effort initial, l’équipe a
pu réaliser une première
mondiale, et les retombées
devraient être assez fortes
pour eux dans les mois à
venir. »
G. Hautreux, ingénieur de
recherche CINES
Centre régional
CRIANN Normandie
04.
CRIANN
Centre Régional de calcul intensif (mésocentre) pour la région
Normandie (et au-delà)
• Statut d’association (Universités, écoles d’ingénieurs,
région…), depuis fin 1991.
Axes :
• Pilotage du réseau régional ESR (plaque régionale
Renater)
• Centre de calcul régional
• + formation et support aux projets innovants
• 13 ETP dont 2 ingénieurs (PhD) support au calcul scientifique
• Un supercalculateur (766 TFlop/s) hébergé en propre
• www.criann.fr
Stockage rapide 2,5 Po (DDN)
Interconnect 100 Gbit/s (Intel OPA)
Cent OS - Slurm - GPFS
Accès 4x10Gbit/s & 1x40Gbit/s
5 frontales & 2 nœuds visu.
Nœudsdecalcul
366 nœuds Broadwell
28 cœurs@2.4 GHz - 128 GB RAM
10 nœuds Xeon Phi KNL
Nœud SMP Haswell
256 cores@2.2 GHz
4 To RAM DDR4
Sous-ensemble spécialisés
GPU (48 cartes K80 &17 P100)
766 TFlop/s crête
(413 Xeon + 326 GPU + 27 KNL)
5 nœuds x 4 GPU V100 SXM2
CRIANN
Supercalculateur MYRIA
• Solution Bull ATOS (mise en service 2017)
Documentation et support
• http://www-tech.criann.fr/calcul/tech/myria-doc/
• support@criann.fr
231 comptes utilisateurs
96 Projets scientifiques / entités
utilisatrices
61.4 Millions d’heures produites
Académiques Entreprises
13
43
1.9
Entreprises
• Accès en mode paiement à l’usage
• Industriels, PME et AASQA
• Accompagnement SiMSEO
CRIANN
Utilisation académique et R&D entreprises (chiffres 2018)
Mécanique des
fluides et
environnement
67%
Physique
théorique et
matériaux
19%
Chimie et
biologie
7%
Informatique,
mathématiques
7%
Répartition des heures académiques
CRIANN – support scientifique
• Ensemble de logiciels
applicatifs pré-installés
• Mais possibilité d’installer
sa propre application
• Attention portée à la
communauté IA-DL
• Environnements interactifs
pour la mise au point des
modèles
Support scientifique
• Formation des utilisateurs
• Sessions « prise en main » (1/2 j)
• Sessions dédiées à la programmation
parallèle (OpenMP, MPI), aux outils de
profilage… (1-2-3 jours)
• Accompagnement des chercheurs pour la
performance des applications
1,0
1,7
2,5
4,3
7,6
1,1
2,7 2,7
4,7
7,8
Broadwell SkyLake KNL P100 V100
Mono-serveur / mono-GPU
Accélération / (1 serveur Broadwell)
TFlop/s double précisison (théoriques)
Le plateau de calcul intensif du CRIANN
est cofinancé par la Région Normandie, l’État et l’Union européenne
Centre Régional Informatique et d’Applications Numériques de Normandie
www.criann.fr
@criannormandie
Contact
SIMSEO
http://www.genci.fr/fr/content/simseo
GENCI
http://www.genci.fr
ELISE QUENTEL
elise.quentel@genci.fr
+33 6 67 73 19 47
6 bis Rue Auguste Vitu 75015 PARIS
https://app.agendize.com/book/1015526680520440?button=1015526689547777&lang=fr
PRISE DE RDV À FRENCH TECH CENTRAL
Retrouvez la programmation
de French Tech Central
sur le site
french-tech-central.com

[Workshop] Calcul intensif - GENCI

  • 1.
    workshop GENCI : Accélérezgrâce au calcul intensif 31 Janvier 2020
  • 2.
  • 3.
    GENCI : GrandEquipement National de Calcul Intensif Très grande infrastructure de recherche Opérateur public créé en 2007 par le MESRI, le CEA, le CNRS, la CPU et Inria. Notre rôle est de porter la politique nationale en calcul intensif pour la recherche. Notre mission : mettre à disposition des chercheurs française (académiques et industriels) pour leur travaux de recherche en simulation numérique et IA des supercalculateurs et des moyens de stockage. 3 centres de calcul; 2 au sud de Paris (IDRIS er TGCC) et un à Montpellier (CINES) Ces machines sont accessibles, gratuitement, via des appels à projets 2 fois par an basés sur l’excellence scientifique.
  • 4.
    Les supercalculateurs nationaux Ils sontinstallés et exploités dans 3 centres: • Le Très Grand centre de calcul du CEA (TGCC) à Bruyères le Châtel • L’institut du développement et des ressources informatique scientifique du CNRS (IDRISS) à Orsay • Le CINES, Centre Informatique National de l’Enseignement Supérieur à Montpellier JOLIOT-CURIE AU TGCC Supercalcultauer BULL Sequana de 9,4 Pflop/s doté d’une architecture équilibrée JEAN ZAY à l’IDRIS Premier supercalculateur HPE SGI 8600 convergé HPC/IA de 14 Pflop/s – nœuds scalaire Intel Cascade Lake et nœuds scalaire à 4 GPU nVIDIA V100 soit 1044 GPU OCCIGEN au CINES Supercalulateur à nœuds fins BULL Bullx de 3,5 Pflop/s +3 Machines innovantes OUESSANT, FRIOUL et INTI dans notre cellule de veille technologique
  • 5.
  • 6.
    Un programme R&Dpour les start-ups Afin d’aider et accélérer le passage à l’échelle des start-ups et PME françaises, nous avons mis en place avec l’aide de la DGE un programme national spécifique appelé SiMSEO (http://www.genci.fr/fr/content/simseo), porté par plusieurs plateformes régionales. Depuis sa création, il y a 4 ans, il a permis de sensibiliser plus de 1800 entreprises. Avec la convergence du monde du calcul et de l’IA nous nous sommes rapprochés d’incubateurs comme Station F (via French Tech Central)
  • 7.
    Un programme investissementd’avenir coordonné par GENCI et Teratec piloté par la DGE, financé par BPI France 1. Audit • Conseil R&D 2. Conseil R&D 3. Développement • Développement d’algorithmes complexes • Amélioration de vos codes de calcul Votre projet en 3 étapes : • Gestion des bases de données • Accès à des heures de calcul (HPC services) Notre expertise :
  • 8.
    • Réseau d’expertsmétiers et en simulation numérique et IA • Accompagnement d’un projet industriel (PoC) • Abondement par un subvention d’état à 50% • Partenaire de la French Tech 6 architectures HPC uniques en France 9 pflop/s* disponibles 300 GPU accessibles pour l’IA 1800 entreprises déjà intéressées *Pflop/s : 1015 opérations à virgule flottante par seconde Occitanie Nouvelle Aquitaine Normandie Grand Est (Strasbourg) Auvergne-Rhône- Alpes Grand Est (Reims) Coordination nationale
  • 9.
    Les 6 supercalculateurs régionaux Performants,Souverains, Diversifiés Machine Roméo à Roméo - Reims Première machine GPU française Modèle Bull Sequana X1000 • Dernière génération de processeurs Intel • 280 GPU NVIDIA P100 NVLINK (https://romeo.univ-reims.fr/documents/2018/20181001-ROMEO_detailMateriel.pdf) Machine Myria au CRIANN – Rouen 10 000 cœurs de calcul x86, puissance crête 600 TFlop/s co-processeurs GPU NVIDIA Pascal P100 et Kepler K80, processeurs Intel Xeon Phi (https://www.criann.fr/myria-le-nouveau-supercalculateur-du-criann/) Machine Olympe au CalMIP – Toulouse Modèle SEQUANA (ATOS-BULL) d’une puissance crête de 1,365Pflops/s (https://www.calmip.univ-toulouse.fr/spip.php?article582&lang=fr) Machine à SNASA – Bordeaux Centre Alsa-Calcul services – Strasbourg En partenariat avec Cemosis. Machine d’une puissance crête de 270 Tflop/s et doté de GO GPU. Centre de calcul CIMENT Maimosine - Grenoble Olympe, CalMiP, Toulouse Romeo, Reims
  • 10.
    Comment accéder auxressources SiMSEO
  • 11.
  • 12.
    • Accompagnée parla cellule de veille technologique de GENCI en 2018 • Pl@ntNet est une application basé sur des réseaux neuronaux permettant d’identifier des éléments de la flore mondiale (plante, fleur). Pl@ntNet fonctionne actuellement sur 17k espèces de plantes. • Il s’agit d’un projet de recherche et de sciences participatives, soutenu initialement par Agropolis Fondation, et développé depuis 2009 dans le cadre d’un consortium regroupant le Cirad, l’INRA, l’Inria, et l’IRD, en collaboration avec le réseau Tela Botanica. Ce projet se poursuit aujourd’hui au travers de l’initiative Floris’Tic financée par un Programme d’Investissement d’Avenir. Alexis Joly - INRIA alexis.joly@inria.fr Système d’aide à l’identification des plantes par l’image Pl@ntNet
  • 13.
    Evaluer la capacitéà entrainer les réseaux de reconnaissance de façon plus rapide, et meilleure, que par les moyens disponibles par l’équipe Objectif 1 : Augmenter la précision de la reconnaissance Objectif 2 : Augmenter le nombre d’espèces reconnues Son besoin Son accompagnement Il leur a été proposé de travailler sur des technologies de pointe du moment (Ouessant, avec ses GPUs P100, de l’ordre de 4x plus rapide que les GPUs disponibles pour l’équipe). Puis passage à l’échelle sur des machines nationales puis européennes.
  • 14.
    • Premier objectifrapidement atteint. Les équipes ont compris l’impact des architectures HPC de pointe sur leurs résultats (en terme de « time to solution », puis de précision du modèle). • 2ème objectif : faire tourner un cas test d’entrainement (« the big one ») sur l’ensemble de la flore mondiale (370k classes) • Utilisation de l’architecture prototype, machine Intel Tier-1 Occigen du CINES puis vers la machine Tier-0 Joliot-Curie. • Effectuer un apprentissage à cette échelle sur architecture Intel est une première mondiale. • une précision actuelle de 40%, ce qui est très intéressant du point de vue de l'aide à la décision. • Le GPU n’est pas obligatoire pour entrainer un réseau Les résultats Témoignage : « Ce qui est très intéressant c’est que la cellule de la veille technologique a répondu aux besoins de Pl@ntNet, notamment en mettant les architectures nécessaires en réponse à ces besoins. Certes la finalité n’a pas été d’utiliser une machine de la cellule, mais grâce à l’effort initial, l’équipe a pu réaliser une première mondiale, et les retombées devraient être assez fortes pour eux dans les mois à venir. » G. Hautreux, ingénieur de recherche CINES
  • 15.
  • 16.
    CRIANN Centre Régional decalcul intensif (mésocentre) pour la région Normandie (et au-delà) • Statut d’association (Universités, écoles d’ingénieurs, région…), depuis fin 1991. Axes : • Pilotage du réseau régional ESR (plaque régionale Renater) • Centre de calcul régional • + formation et support aux projets innovants • 13 ETP dont 2 ingénieurs (PhD) support au calcul scientifique • Un supercalculateur (766 TFlop/s) hébergé en propre • www.criann.fr
  • 17.
    Stockage rapide 2,5Po (DDN) Interconnect 100 Gbit/s (Intel OPA) Cent OS - Slurm - GPFS Accès 4x10Gbit/s & 1x40Gbit/s 5 frontales & 2 nœuds visu. Nœudsdecalcul 366 nœuds Broadwell 28 cœurs@2.4 GHz - 128 GB RAM 10 nœuds Xeon Phi KNL Nœud SMP Haswell 256 cores@2.2 GHz 4 To RAM DDR4 Sous-ensemble spécialisés GPU (48 cartes K80 &17 P100) 766 TFlop/s crête (413 Xeon + 326 GPU + 27 KNL) 5 nœuds x 4 GPU V100 SXM2 CRIANN Supercalculateur MYRIA • Solution Bull ATOS (mise en service 2017) Documentation et support • http://www-tech.criann.fr/calcul/tech/myria-doc/ • support@criann.fr
  • 18.
    231 comptes utilisateurs 96Projets scientifiques / entités utilisatrices 61.4 Millions d’heures produites Académiques Entreprises 13 43 1.9 Entreprises • Accès en mode paiement à l’usage • Industriels, PME et AASQA • Accompagnement SiMSEO CRIANN Utilisation académique et R&D entreprises (chiffres 2018) Mécanique des fluides et environnement 67% Physique théorique et matériaux 19% Chimie et biologie 7% Informatique, mathématiques 7% Répartition des heures académiques
  • 19.
    CRIANN – supportscientifique • Ensemble de logiciels applicatifs pré-installés • Mais possibilité d’installer sa propre application • Attention portée à la communauté IA-DL • Environnements interactifs pour la mise au point des modèles
  • 20.
    Support scientifique • Formationdes utilisateurs • Sessions « prise en main » (1/2 j) • Sessions dédiées à la programmation parallèle (OpenMP, MPI), aux outils de profilage… (1-2-3 jours) • Accompagnement des chercheurs pour la performance des applications 1,0 1,7 2,5 4,3 7,6 1,1 2,7 2,7 4,7 7,8 Broadwell SkyLake KNL P100 V100 Mono-serveur / mono-GPU Accélération / (1 serveur Broadwell) TFlop/s double précisison (théoriques)
  • 21.
    Le plateau decalcul intensif du CRIANN est cofinancé par la Région Normandie, l’État et l’Union européenne Centre Régional Informatique et d’Applications Numériques de Normandie www.criann.fr @criannormandie
  • 22.
    Contact SIMSEO http://www.genci.fr/fr/content/simseo GENCI http://www.genci.fr ELISE QUENTEL elise.quentel@genci.fr +33 667 73 19 47 6 bis Rue Auguste Vitu 75015 PARIS https://app.agendize.com/book/1015526680520440?button=1015526689547777&lang=fr PRISE DE RDV À FRENCH TECH CENTRAL
  • 23.
    Retrouvez la programmation deFrench Tech Central sur le site french-tech-central.com