Workshop Projets AI - synergie offres privées et publiques @GENCI @OVHcloud

workshop
Développez vos projets IA grâce à la synergie
public/privé
@OVHcloud @GENCI
28 février 2020

01.
Le calcul intensif au service de la connaissance

GENCI : Grand Equipement National de Calcul Intensif
Très grande infrastructure de recherche
Opérateur public créé en 2007 par le MESRI, le CEA, le
CNRS, la CPU et Inria. Notre rôle est de porter la politique
nationale en calcul intensif pour la recherche.
Notre mission : mettre à disposition des chercheurs
français (académiques et industriels) pour leur travaux de
recherche en simulation numérique et IA des
supercalculateurs et des moyens de stockage.
3 centres de calcul; 2 au sud de Paris (IDRIS er TGCC) et
un à Montpellier (CINES)
Ces machines sont accessibles, gratuitement, via des
appels à projets 2 fois par an basés sur l’excellence
scientifique.
Le calcul intensif au service de la connaissance

Les supercalculateurs
nationaux
Ils sont installés et exploités dans 3 centres:
• Le Très Grand centre de calcul du CEA (TGCC) à Bruyères le
Châtel
• L’institutdu développementet des ressources informatiques
scientifiques du CNRS (IDRIS) à Orsay
• Le CINES,Centre Informatique National de l’Enseignement
Supérieur à Montpellier
JOLIOT-CURIE AU TGCC
Supercalculateur BULLSequana de 9,4 Pflop/s doté d’une
architecture équilibrée
JEAN ZAY à l’IDRIS
Premier supercalculateur HPE SGI 8600 convergé HPC/IA de 14
Pflop/s – nœuds scalaire Intel Cascade Lake et nœuds scalaire à
4 GPU nVIDIA V100 soit 1044 GPU
OCCIGEN au CINES
Supercalculateur à nœuds fins BULL Bullx de 3,5 Pflop/s
+ 1 Machine innovante INTI dans notre cellule de veille
technologique

Comment accéder aux ressources de GENCI ?
Accès des chercheurs académiques et industriels
Un processus unique pour candidater sur les 3 centres de calcul
nationaux
• Environ 600 projets / an pour près de 3 000 utilisateurs
• Depuis 2010, plus de 4 500 dossiers expertisés
• Plusieurs types d’accès
Conditions :
• Travaux de recherche ouverte à Obligation de publication
• Sélection sur critères d’excellence scientifique
• Financement français du porteur de projet et membre
permanent du laboratoire d’appartenance (doctorants, post-
doctorants etc. ne peuvent être porteur de projet)
Accès gratuit aux ressources
• Calcul et stockage
• Support aux utilisateurs (N1-N3) et formations
• Catalogue de services : livret utilisateur commun (matériel, type
de support, logiciel etc.)

Deux modes d’accès aux ressources de GENCI
DARI : Demande d’Attribution de Ressources Informatiques : www.edari.fr
Mode Historique : Accès Régulier et Accès Préparatoire
• HPC et/ou IA : développement long terme, utilisation de l’IA
Nouveau mode disponible depuis septembre 2019 uniquement à l’IDRIS
Accès Dynamique
• Aujourd’hui exclusivementdédié au développement d’algorithme en
IA
• Dématérialisation

Processus d’accès régulier et préparatoire au DARI
Expertise par comités
thématiques (CT)
Comité d’évaluation
Comité d’attribution
Attribution des heures
Appel à projets
→ 2 sessions / an
→ Candidature en ligne sur site edari.fr
→ Dépôt des dossiers de demande d’heures par les utilisateurs
→ Répartition des dossiers au sein des CT (120 experts)
→ Evaluation scientifique (CT) 11 PCT
→ Evaluation technique (CT + centre de calcul > 4 Mh)
→ Proposition d’heures
→ Membres : présidents de CT, PDG GENCI, président du CE
→ Invités : centres de calcul, associés de GENCI
→ Rôle : proposition d’attribution d’heures
→ Membres : PDG GENCI, président du CE, centres
→ Invités : présidents de CT, associés de GENCI
→ Rôle : arbitrage selon disponibilités machines. Si
nécessaire, arbitrage par GENCI et les centres
≈ 600 / an
2 mois
1 mois
1 semaine
2 semaines
Nouvel utilisateur ?
Ø Possibilité d’accès
préparatoires pour tester
et porter vos applications
Ø ~ 60/an
Ø ouverture en 1 semaine
Ø validité 6 mois
DARI
Processus de création de compte
Quelques jours
ou semaines
Ø Un appel à projets en janvier
Ø Un appel à projets en juin
Ø Un portail unique pour candidater :
www.edari.fr
Validation et
ouverture de compte

Processus d’accès dynamique pour les projets en IA
Mots-clés : Intelligence artificielle,machine learning, deep learning, data mining,applications
transverses de l'apprentissage automatique et de l'analyse de données.
11 experts IA (CNRS/INRIA/CEA/Universités) pour une expertise approfondie de vos dossiers
Accès dynamique :
• Hors processus DARI habituel, appel ouvert en permanence
• Dossier d’accès plus léger et plus rapide valable un an
• Validation par le directeur du centre de calcul national
• Pas d’expertise si demande < 10 kh GPU et <10 % de la partition IA sinon confirmation par
un expert
• Pas de contrainte de consommation régulière
• Possibilité de réservations à l’étude
• Dématérialisation complète (pour les agents CNRS actuellement)

Processus d’accès dynamique
Expertise par
responsable de centre
Attribution des heures
pour 1 an
Appel à projets
→ Toujours ouvert
→ Candidature en ligne
Quelques jours
Accès Dynamique Uniquement pour l’IA
Expertise par comité thématique (CT10)
SI demande > 10 kh GPU et >10 % de la partition IA
ou sur demande du directeur de centre
→ Evaluation scientifique
→ Evaluation technique
Quelques jours
Processus de création de compte
Quelques jours ou semaines
à faire en amont des demandes (ex : 6 mois)
Validation
Ø Un portail unique pour
candidater : www.edari.fr
Ø Ouverture permanente
Ouverture de compte
en attente d’attribution
• Demande au fil de l’eau
• Renouvellement de projet au bout d’un an
D’abord se créer un compte
sur www.edari.fr

Un programme R&D pour les start-ups
Afin d’aider et accélérer le passage à l’échelle des
start-ups et PME françaises, nous avons mis en place
avec l’aide de la DGE un programme national
spécifique appelé SiMSEO
(http://www.genci.fr/fr/content/simseo), porté par
plusieurs plateformes régionales.
Depuis sa création, il y a 4 ans, il a permis de
sensibiliser plus de 1800 entreprises.
Avec la convergence du monde du calcul et de l’IA
nous nous sommes rapprochés d’incubateurs comme
Station F (via French Tech Central)

Un programme investissement d’avenir coordonné par
GENCI et Teratec piloté par la DGE, financé par BPI France
1. Audit • Conseil R&D
2. Conseil R&D
3. Développement
• Développement d’algorithmes
complexes
• Amélioration de vos codes de
calcul
Votre projet en 3 étapes :
• Gestion des bases de données
• Accès à des heures de calcul (HPC
services)
Notre expertise :

• Réseau d’experts métiers et en simulation numérique et IA
• Accompagnement d’un projet industriel (PoC)
• Abondement par une subvention d’état à 50%
• Partenaire de la French Tech
6 architectures HPC
uniques en France
9 pflop/s*
disponibles
300 GPU
accessibles pour l’IA
1800 entreprises déjà
intéressées
*Pflop/s : 1015 opérations à
virgule flottante par seconde
Occitanie
Nouvelle Aquitaine
Normandie
Grand Est
(Strasbourg)
Auvergne-Rhône-
Alpes
Grand Est (Reims)
Coordination
nationale

Les 6 supercalculateurs
régionaux
Performants, Souverains, Diversifiés
Machine Roméo à Roméo - Reims
Première machine GPU française
Modèle Bull Sequana X1000 • Dernière génération de processeurs Intel •
280 GPU NVIDIAP100 NVLINK
(https://romeo.univ-reims.fr/documents/2018/20181001-ROMEO_detailMateriel.pdf)
Machine Myria au CRIANN – Rouen
10 000 cœurs de calcul x86, puissance crête 600 TFlop/s
co-processeurs GPU NVIDIA Pascal P100 et Kepler K80, processeurs
Intel Xeon Phi
(https://www.criann.fr/myria-le-nouveau-supercalculateur-du-criann/)
Machine Olympe au CalMIP – Toulouse
Modèle SEQUANA (ATOS-BULL) d’une puissance crête de
1,365Pflops/s (https://www.calmip.univ-toulouse.fr/spip.php?article582&lang=fr)
Machine à SNASA – Bordeaux
Centre Alsa-Calcul services – Strasbourg
En partenariat avec Cemosis.
Machine d’une puissance crête de 270 Tflop/s et doté de GO GPU.
Centre de calcul CIMENT Maimosine - Grenoble
Olympe, CalMiP, Toulouse
Romeo, Reims

Comment accéder aux ressources SiMSEO

Contact
SIMSEO
http://www.genci.fr/fr/content/simseo
GENCI
http://www.genci.fr
ELISE QUENTEL
elise.quentel@genci.fr
+33 6 67 73 19 47
6 bis Rue Auguste Vitu 75015
PARIS
https://app.agendize.com/book/1015526680520440?button=1015526689547777&lang=fr
PRISE DE RDV À FRENCH TECH CENTRAL

1. Jeune entreprise située à Palaiseau (spin-off de l’Institut
d’Optique)
2. Processeur quantique à atomes neutres, contrôlés par
des lasers
•Simulateur quantique programmable pour
des expériences de physique dans le monde
académique : exemple du magnétisme
quantique

Modélisation de panneaux
solaires
Synthèse de nouveaux
médicaments
• Processeur quantique digital
•Calcul Haute Performance : accélérateur quantique sur certains problèmes cibles

La technologie et
ses applications
Besoins en ressources
de calcul et accès HPC
grâce au GENCI
Plan de l’exposé

-Pour nous 1 atome, isolé de son environnement et piégé grâce à des
pinces optiques.
-Les niveaux d’énergie électroniques servent de support à l’information
1. Un système quantique qui soit adressable au niveau individuel : 1 qubit
Deux ingrédients nécessaires
2. Une interaction entre ces systèmes pour créer des opérations logiques et
de l’intrication
-L’interaction dipôle-dipôle entre atomes dans des états de Rydberg

Piège dipolaire
850 nm
Le système quantique: un atome unique dans une pince optique

Piège dipolaire
850 nm
1 µm
1 mK

Piège dipolaire
850 nm
1 Qubit unique (20 μK)
1 µm
1 mK
Fluorescence
780nm
9.0 9.5 10.0 10.5 11.0 11.58.5
0
20
40
60
80
100
0 atome
1 atome

Fluorescence
780nm
Spatial Light
Modulator
(cristaux liquides)
Reconfigurabilité
'(x, y)
0
2π
Motif du SLM
FT[ei'(x,y)
]
2
Le système quantique

Réseaux de qubits à 2D/3D
FIG. 2. Single atom fluorescence in 3d arrays. (a-f) Maximum in-
tensity projection reconstruction of the average fluorescence of single
atoms stochastically loaded into exemplary arrays of traps. The x,y,z
scan range of the fluorescence is indicated and is the same for all the
3d reconstructions.
Combined with a
ers (MT) can per
ceeding 0.993 [1
ing independent
for each of the n
To explore the
we first determin
that each target p
others. To quanti
in a 2d array con
with single atom
all the atoms. W
repeat the experi
the MT position
Fig. 3a, where w
the effect of the
This distance can
the moving tweez
in the performan
experiment, whe
checked that the
changes (below ⇠
Chaque point vert correspond à un atome de
Rubidium. Géométrie en forme de tore.
Des atomes individuels sont
piégés dans un potentiel
créé par le laser

-Pour nous 1 atome, isolé de son environnement et piégé grâce à des
pinces optiques.
-Les niveaux d’énergie électroniques servent de support à l’information
1. Un système quantique qui soit adressable au niveau individuel : 1 qubit
Deux ingrédients nécessaires
2. Une interaction entre ces systèmes pour créer des opérations logiques et
de l’intrication
-L’interaction dipôle-dipôle entre atomes dans des états de Rydberg
Interaction avec des niveaux de Rydberg
+ +
A B
E =
C6
R6<latexit sha1_base64="4ek+3is+HNuc+8Xby+ZVyash40g=">AAAC3nicjVHLSsNAFD2Nr1pfVVfiZrAIrkoqUrsRClVwWcU+oNWapNMamiYhmQilFHfuxK0/4FY/R/wD/QvvjCmoRXRCkjPnnnNm7ozpO3YodP01oU1Nz8zOJedTC4tLyyvp1bVq6EWBxSuW53hB3TRC7tgurwhbOLzuB9zomw6vmb2SrNeueRDannsmBj4/7xtd1+7YliGIaqU3mofcEQY7YgdsWGrlmx6p2elFftRKZ/SsrgabBLkYZBCPspd+QRNteLAQoQ8OF4KwAwMhPQ3koMMn7hxD4gJCtqpzjJAib0QqTgqD2B59uzRrxKxLc5kZKrdFqzj0BuRk2CaPR7qAsFyNqXqkkiX7W/ZQZcq9Dehvxll9YgWuiP3LN1b+1yd7EeigoHqwqSdfMbI7K06J1KnInbMvXQlK8ImTuE31gLClnONzZsoTqt7l2Rqq/qaUkpVzK9ZGeJe7pAvO/bzOSVDdzeYIn+xlioX4qpPYxBZ26D73UcQxyqhQ9g0e8YRn7VK71e60+0+plog96/g2tIcP/5CYMg==</latexit><latexit sha1_base64="4ek+3is+HNuc+8Xby+ZVyash40g=">AAAC3nicjVHLSsNAFD2Nr1pfVVfiZrAIrkoqUrsRClVwWcU+oNWapNMamiYhmQilFHfuxK0/4FY/R/wD/QvvjCmoRXRCkjPnnnNm7ozpO3YodP01oU1Nz8zOJedTC4tLyyvp1bVq6EWBxSuW53hB3TRC7tgurwhbOLzuB9zomw6vmb2SrNeueRDannsmBj4/7xtd1+7YliGIaqU3mofcEQY7YgdsWGrlmx6p2elFftRKZ/SsrgabBLkYZBCPspd+QRNteLAQoQ8OF4KwAwMhPQ3koMMn7hxD4gJCtqpzjJAib0QqTgqD2B59uzRrxKxLc5kZKrdFqzj0BuRk2CaPR7qAsFyNqXqkkiX7W/ZQZcq9Dehvxll9YgWuiP3LN1b+1yd7EeigoHqwqSdfMbI7K06J1KnInbMvXQlK8ImTuE31gLClnONzZsoTqt7l2Rqq/qaUkpVzK9ZGeJe7pAvO/bzOSVDdzeYIn+xlioX4qpPYxBZ26D73UcQxyqhQ9g0e8YRn7VK71e60+0+plog96/g2tIcP/5CYMg==</latexit><latexit sha1_base64="4ek+3is+HNuc+8Xby+ZVyash40g=">AAAC3nicjVHLSsNAFD2Nr1pfVVfiZrAIrkoqUrsRClVwWcU+oNWapNMamiYhmQilFHfuxK0/4FY/R/wD/QvvjCmoRXRCkjPnnnNm7ozpO3YodP01oU1Nz8zOJedTC4tLyyvp1bVq6EWBxSuW53hB3TRC7tgurwhbOLzuB9zomw6vmb2SrNeueRDannsmBj4/7xtd1+7YliGIaqU3mofcEQY7YgdsWGrlmx6p2elFftRKZ/SsrgabBLkYZBCPspd+QRNteLAQoQ8OF4KwAwMhPQ3koMMn7hxD4gJCtqpzjJAib0QqTgqD2B59uzRrxKxLc5kZKrdFqzj0BuRk2CaPR7qAsFyNqXqkkiX7W/ZQZcq9Dehvxll9YgWuiP3LN1b+1yd7EeigoHqwqSdfMbI7K06J1KnInbMvXQlK8ImTuE31gLClnONzZsoTqt7l2Rqq/qaUkpVzK9ZGeJe7pAvO/bzOSVDdzeYIn+xlioX4qpPYxBZ26D73UcQxyqhQ9g0e8YRn7VK71e60+0+plog96/g2tIcP/5CYMg==</latexit><latexit sha1_base64="4ek+3is+HNuc+8Xby+ZVyash40g=">AAAC3nicjVHLSsNAFD2Nr1pfVVfiZrAIrkoqUrsRClVwWcU+oNWapNMamiYhmQilFHfuxK0/4FY/R/wD/QvvjCmoRXRCkjPnnnNm7ozpO3YodP01oU1Nz8zOJedTC4tLyyvp1bVq6EWBxSuW53hB3TRC7tgurwhbOLzuB9zomw6vmb2SrNeueRDannsmBj4/7xtd1+7YliGIaqU3mofcEQY7YgdsWGrlmx6p2elFftRKZ/SsrgabBLkYZBCPspd+QRNteLAQoQ8OF4KwAwMhPQ3koMMn7hxD4gJCtqpzjJAib0QqTgqD2B59uzRrxKxLc5kZKrdFqzj0BuRk2CaPR7qAsFyNqXqkkiX7W/ZQZcq9Dehvxll9YgWuiP3LN1b+1yd7EeigoHqwqSdfMbI7K06J1KnInbMvXQlK8ImTuE31gLClnONzZsoTqt7l2Rqq/qaUkpVzK9ZGeJe7pAvO/bzOSVDdzeYIn+xlioX4qpPYxBZ26D73UcQxyqhQ9g0e8YRn7VK71e60+0+plog96/g2tIcP/5CYMg==</latexit>
R<latexit sha1_base64="O/jBCx4552tN7ec8bncGvbo9p8A=">AAACxHicjVHLSsNAFD2Nr/quunQTLIKrkohglwVBXLZiH1CLJNNpDZ0mYWYilKI/4Fa/TfwD/QvvjCmoRXRCkjPn3nNm7r1hKiKlPe+14CwsLi2vFFfX1jc2t7ZLO7stlWSS8SZLRCI7YaC4iGLe1JEWvJNKHoxDwdvh6MzE23dcqiiJr/Qk5b1xMIyjQcQCTVTj8qZU9iqeXe488HNQRr7qSekF1+gjAUOGMThiaMICARQ9XfjwkBLXw5Q4SSiycY57rJE2oyxOGQGxI/oOadfN2Zj2xlNZNaNTBL2SlC4OSZNQniRsTnNtPLPOhv3Ne2o9zd0m9A9zrzGxGrfE/qWbZf5XZ2rRGKBqa4ioptQypjqWu2S2K+bm7peqNDmkxBncp7gkzKxy1mfXapSt3fQ2sPE3m2lYs2d5boZ3c0sasP9znPOgdVzxCTdOyrVqPuoi9nGAI5rnKWq4QB1N6/2IJzw7545wlJN9pjqFXLOHb8t5+AAN3I9N</latexit><latexit sha1_base64="O/jBCx4552tN7ec8bncGvbo9p8A=">AAACxHicjVHLSsNAFD2Nr/quunQTLIKrkohglwVBXLZiH1CLJNNpDZ0mYWYilKI/4Fa/TfwD/QvvjCmoRXRCkjPn3nNm7r1hKiKlPe+14CwsLi2vFFfX1jc2t7ZLO7stlWSS8SZLRCI7YaC4iGLe1JEWvJNKHoxDwdvh6MzE23dcqiiJr/Qk5b1xMIyjQcQCTVTj8qZU9iqeXe488HNQRr7qSekF1+gjAUOGMThiaMICARQ9XfjwkBLXw5Q4SSiycY57rJE2oyxOGQGxI/oOadfN2Zj2xlNZNaNTBL2SlC4OSZNQniRsTnNtPLPOhv3Ne2o9zd0m9A9zrzGxGrfE/qWbZf5XZ2rRGKBqa4ioptQypjqWu2S2K+bm7peqNDmkxBncp7gkzKxy1mfXapSt3fQ2sPE3m2lYs2d5boZ3c0sasP9znPOgdVzxCTdOyrVqPuoi9nGAI5rnKWq4QB1N6/2IJzw7545wlJN9pjqFXLOHb8t5+AAN3I9N</latexit><latexit sha1_base64="O/jBCx4552tN7ec8bncGvbo9p8A=">AAACxHicjVHLSsNAFD2Nr/quunQTLIKrkohglwVBXLZiH1CLJNNpDZ0mYWYilKI/4Fa/TfwD/QvvjCmoRXRCkjPn3nNm7r1hKiKlPe+14CwsLi2vFFfX1jc2t7ZLO7stlWSS8SZLRCI7YaC4iGLe1JEWvJNKHoxDwdvh6MzE23dcqiiJr/Qk5b1xMIyjQcQCTVTj8qZU9iqeXe488HNQRr7qSekF1+gjAUOGMThiaMICARQ9XfjwkBLXw5Q4SSiycY57rJE2oyxOGQGxI/oOadfN2Zj2xlNZNaNTBL2SlC4OSZNQniRsTnNtPLPOhv3Ne2o9zd0m9A9zrzGxGrfE/qWbZf5XZ2rRGKBqa4ioptQypjqWu2S2K+bm7peqNDmkxBncp7gkzKxy1mfXapSt3fQ2sPE3m2lYs2d5boZ3c0sasP9znPOgdVzxCTdOyrVqPuoi9nGAI5rnKWq4QB1N6/2IJzw7545wlJN9pjqFXLOHb8t5+AAN3I9N</latexit><latexit sha1_base64="O/jBCx4552tN7ec8bncGvbo9p8A=">AAACxHicjVHLSsNAFD2Nr/quunQTLIKrkohglwVBXLZiH1CLJNNpDZ0mYWYilKI/4Fa/TfwD/QvvjCmoRXRCkjPn3nNm7r1hKiKlPe+14CwsLi2vFFfX1jc2t7ZLO7stlWSS8SZLRCI7YaC4iGLe1JEWvJNKHoxDwdvh6MzE23dcqiiJr/Qk5b1xMIyjQcQCTVTj8qZU9iqeXe488HNQRr7qSekF1+gjAUOGMThiaMICARQ9XfjwkBLXw5Q4SSiycY57rJE2oyxOGQGxI/oOadfN2Zj2xlNZNaNTBL2SlC4OSZNQniRsTnNtPLPOhv3Ne2o9zd0m9A9zrzGxGrfE/qWbZf5XZ2rRGKBqa4ioptQypjqWu2S2K+bm7peqNDmkxBncp7gkzKxy1mfXapSt3fQ2sPE3m2lYs2d5boZ3c0sasP9znPOgdVzxCTdOyrVqPuoi9nGAI5rnKWq4QB1N6/2IJzw7545wlJN9pjqFXLOHb8t5+AAN3I9N</latexit>
Energie d’interaction = 1011 x Energie interaction entre niveaux fondamentaux
R ⇠ 1 10 µm<latexit sha1_base64="b+ozCjZz8mqXbdoJEgWoqwfirQ8=">AAAC23icjVFNTxRBFCwGUQSURRMvXDpuSDgo6d4QWW4kXjyiYYGE2ZCZocEO85WeHhKycOJmuPoHvOr/Mf4D/RdWt7MJHoj2ZGaq672q7vdeWuemcVL+mIlmH8w9fDT/eGFx6cnT5d7Ks/2mam2mR1mVV/YwTRqdm1KPnHG5PqytToo01wfp+VsfP7jQtjFVuecuaz0ukrPSnJoscaSOey8+xI0phHqtZPwqLtpJbAtRXB/3+nJDSqmUEh6orTeSYHt7OFBDoXyIq49u7Va974hxggoZWhTQKOGIcyRo+BxBQaImN8aEnCUyIa5xjQVqW2ZpZiRkz/k94+6oY0vuvWcT1BlPyflaKgXWqKmYZ4n9aSLE2+Ds2fu8J8HT3+2S/7TzKsg6fCT7L9008391vhaHUwxDDYY11YHx1WWdSxu64m8u7lTl6FCT8/iEcUucBeW0zyJomlC7720S4j9Dpmf9PutyW/zyt+SAp1MU94P9wYYifr/Z3xl2o57HKl5infPcwg7eYRcjel/hC77iWzSObqJP0e2f1Gim0zzHXyv6/Bs43JeQ</latexit><latexit sha1_base64="b+ozCjZz8mqXbdoJEgWoqwfirQ8=">AAAC23icjVFNTxRBFCwGUQSURRMvXDpuSDgo6d4QWW4kXjyiYYGE2ZCZocEO85WeHhKycOJmuPoHvOr/Mf4D/RdWt7MJHoj2ZGaq672q7vdeWuemcVL+mIlmH8w9fDT/eGFx6cnT5d7Ks/2mam2mR1mVV/YwTRqdm1KPnHG5PqytToo01wfp+VsfP7jQtjFVuecuaz0ukrPSnJoscaSOey8+xI0phHqtZPwqLtpJbAtRXB/3+nJDSqmUEh6orTeSYHt7OFBDoXyIq49u7Va974hxggoZWhTQKOGIcyRo+BxBQaImN8aEnCUyIa5xjQVqW2ZpZiRkz/k94+6oY0vuvWcT1BlPyflaKgXWqKmYZ4n9aSLE2+Ds2fu8J8HT3+2S/7TzKsg6fCT7L9008391vhaHUwxDDYY11YHx1WWdSxu64m8u7lTl6FCT8/iEcUucBeW0zyJomlC7720S4j9Dpmf9PutyW/zyt+SAp1MU94P9wYYifr/Z3xl2o57HKl5infPcwg7eYRcjel/hC77iWzSObqJP0e2f1Gim0zzHXyv6/Bs43JeQ</latexit><latexit sha1_base64="b+ozCjZz8mqXbdoJEgWoqwfirQ8=">AAAC23icjVFNTxRBFCwGUQSURRMvXDpuSDgo6d4QWW4kXjyiYYGE2ZCZocEO85WeHhKycOJmuPoHvOr/Mf4D/RdWt7MJHoj2ZGaq672q7vdeWuemcVL+mIlmH8w9fDT/eGFx6cnT5d7Ks/2mam2mR1mVV/YwTRqdm1KPnHG5PqytToo01wfp+VsfP7jQtjFVuecuaz0ukrPSnJoscaSOey8+xI0phHqtZPwqLtpJbAtRXB/3+nJDSqmUEh6orTeSYHt7OFBDoXyIq49u7Va974hxggoZWhTQKOGIcyRo+BxBQaImN8aEnCUyIa5xjQVqW2ZpZiRkz/k94+6oY0vuvWcT1BlPyflaKgXWqKmYZ4n9aSLE2+Ds2fu8J8HT3+2S/7TzKsg6fCT7L9008391vhaHUwxDDYY11YHx1WWdSxu64m8u7lTl6FCT8/iEcUucBeW0zyJomlC7720S4j9Dpmf9PutyW/zyt+SAp1MU94P9wYYifr/Z3xl2o57HKl5infPcwg7eYRcjel/hC77iWzSObqJP0e2f1Gim0zzHXyv6/Bs43JeQ</latexit><latexit sha1_base64="b+ozCjZz8mqXbdoJEgWoqwfirQ8=">AAAC23icjVFNTxRBFCwGUQSURRMvXDpuSDgo6d4QWW4kXjyiYYGE2ZCZocEO85WeHhKycOJmuPoHvOr/Mf4D/RdWt7MJHoj2ZGaq672q7vdeWuemcVL+mIlmH8w9fDT/eGFx6cnT5d7Ks/2mam2mR1mVV/YwTRqdm1KPnHG5PqytToo01wfp+VsfP7jQtjFVuecuaz0ukrPSnJoscaSOey8+xI0phHqtZPwqLtpJbAtRXB/3+nJDSqmUEh6orTeSYHt7OFBDoXyIq49u7Va974hxggoZWhTQKOGIcyRo+BxBQaImN8aEnCUyIa5xjQVqW2ZpZiRkz/k94+6oY0vuvWcT1BlPyflaKgXWqKmYZ4n9aSLE2+Ds2fu8J8HT3+2S/7TzKsg6fCT7L9008391vhaHUwxDDYY11YHx1WWdSxu64m8u7lTl6FCT8/iEcUucBeW0zyJomlC7720S4j9Dpmf9PutyW/zyt+SAp1MU94P9wYYifr/Z3xl2o57HKl5infPcwg7eYRcjel/hC77iWzSObqJP0e2f1Gim0zzHXyv6/Bs43JeQ</latexit>

Applications (moyen terme)
Chimie quantique :
calcul de propriétés
d’amarrage de
certaines protéines
Résolution approchée
de problèmes
d’optimisation
combinatoire (projet
de recherche avec
EDF)

Combien de qubits?
Graphe de Quantum Benchmark

Combien de qubits?
Google 2019
Shor

Combien de qubits?
Pasqal

1. Pour aider à l’achitecture de notre machine
Nos besoins en calcul
- Projets R&D
- Comparaison avec des algorithmes classiques
- Etudes de performance
- Simulation des erreurs du système
Certains de ces développements sont réalisés en recherche
ouverte, et nous avons donc candidaté à une allocation GENCI.
2. Pour développer des cas d’usage en amont du développement de la machine

1. Accès aux ressources : protocole ssh standard
2. Aide technique disponible par e-mail,temps de réponse de 1 à 2 jours
3. Parallélisation des codes de calcul assez facile à mettre en place (MPI for
python dans notre cas)
Allocation de temps de calcul grâce au GENCI
-> Candidature
-> 160 000 heures cœur sur 1 an, accès au centre du CINES à Montpellier
1. Dossier technique + dimensionnement de la demande, dépose le 5
septembre
2. Réponse positive le 22 octobre

Contact
Loïc Henriet
loic@pasqal.io
+33 6 88 38 16 59

Pierre Gronlier
Architect Solution @OVHCloud
Data, IA &
Grille de Calcul

O V H clo
u d
P ro p rie
tary &
C o n fid e
n tial
38
Serveurs Dédiés & VPS
Cloud Privé
Cloud Public
Stockage
Réseau & Sécurité
Télécom
What we do ?
OVHcloud est un des fournisseurs majeurs de cloud
spécialisé dans la fourniture de solutions industrielles
Cloud
À hautes performances et de pointe
Rentables pour mieux gérer,
Sécuriser et faire évoluer les données.

Nos Technologies
30 Datacentres dans le monde.
Notre propre réseau mondial de haute
qualité, engagé dans les normes de
sécurité les plus élevées : NSX et vRack.
Sécurisez votre plate-forme avec la micro-
segmentation de L2 privé qui couvre les
centres de données mondiaux
Service de passerelle SSL: jusqu'à 10 000
connexions simultanées.
Service DNS Anycast en option.
Normes de conformité et de certification
les plus élevées
Anti-DDoS: protection DDoS de couche 4-
7 hautement résiliente intégrée au réseau
O V H clo
u d
P ro p rie
tary &
C o n fid e
n tial
39
Zone US – hors
périmètre OVHcloud
(soumis au Patriot &
Cloud Act)

Fournisseur d’infrastructure cloud
de premier niveau

Portefeuille Data
Process
Analyze
Analytics data platform (Hadoop)
Cloudera managed (Hadoop)
Data Processing(Spark)Beta
Learn
Consume
GPU instances/servers
NVIDIA NGC (GPU-accelerated apps)
AI studio
Machine Learning Serving
AI API Marketplace
Beta
Alpha
Alpha
Ingest
Data collector
iostream (Pulsar)
Alpha
Beta
Store
Object Storage
Block Storage
Cold Storage
Managed databases
Timeseries databases
Logs databases
NAS-HA
Dedicated servers for Storage
new

Produit IA Prescience
•#autoML based on
Scikit-learn
Machine Learning
Serving
•Managed model
serving
AI Studio
•pretrained models
marketplace
Nvidia GPU Cloud
•On-demand GPU with
80+ prepackaged
applications

Processing data at scale.
Définitions:
HPC vs Grid computing (batch processing)
Ordre de grandeur des latences (1ms, 1µs, 1ns)

Compter le nombre d’occurrences de
chaque verbe dans Wikipedia
Copie de Wikipedia en anglais:
- 68 GB raw XML file
- 19 567 269 articles
- ~1% des tweets journaliers
Trouver et compter les verbes

Architecture globale
Storage Storage
Compute nodes
Je veux:
- Le faire rapidement
- L’automatiser
- Surveiller l’infrastructure
- Surveiller l’application

- Tokenisation
- Part of Speech Tagging
- Lemmatization vs Stemming
Les bases du Natural Language Processing
https://nlp.johnsnowlabs.com/

SELECT verb, COUNT(*) FROM wikipedia
GROUP BY verb
ORDER BY COUNT(*) DESC;
1. Provisionner l’infrastructure
2. Configurer un agent sur lesVM pour collecter les métriques
3. Envoyer les métriques d’infrastructure vers OVHcloud Metrics
4. Configurer le cluster Spark
5. Configurer Spark pour envoyer les logs vers OVHcloud Logs
6. Déployer un script pour analyser les logs et extraire les
métriques
7. Envoyer les métriques applicatives vers OVHcloud Metrics
8. Prendre un copie de wikipedia (17GB .bz2 -> 69GB .xml)
9. Lire le fichier xml
10. Extraire les articles
11. Tokenization
12. Lemmatization
13. POS tagging
14. Filtrer les verbes
15. Counter
16. Supprimer l’infrastructure
Simple, n’est ce pas ? J

Example de résultat
Cluster de calcul de 12x c2-60:
- 720 GB RAM
- 192 vCPU @3Ghz
- 12Gbps bandwidth
Stockage on Openstack Swift
Total time: ~8minutes (load + compute)
https://github.com/ticapix/ovh-demo-spark-nlp

Est-ce tout ?
Hardware + Software

Code
val df = sc.read
.option("rowTag", "page")
.xml("swift://wiki.ovh/enwiki-20190801-pages-articles.xml")
.select(
col("id"),
col("revision.text").as("text")
)
val pipeline = PretrainedPipeline("explain_document_ml", lang="en")
pipeline.transform(texts)
.select(col("lemma.result").as("lemma"), col("pos.result").as("pos"))
.withColumn("result", explode(arrays_zip(col("lemma"), col("pos"))))
.select(col("result"))
.filter(col("result.pos").startsWith("VB"))
.select(col("result.lemma").as("verb"))
.groupBy("verb")
.count()
.orderBy(desc("count"))
.write
.parquet("swift://wiki.ovh/verbs.parquet")
SELECT verb, COUNT(*) FROM wikipedia GROUP BY verb ORDER BY COUNT(*) DESC;
Load data
NLP and data
transformation
Filtering
Count
Save data

1/4
Comprendre
le framework
de travail
def POSTagUniq(spark: SparkSession, df: DataFrame): Array[String] = {
import spark.implicits._
val types: Dataset[Array[String]] =
df.select(col("pos.result")).as[Array[String]]
types.reduce((e1, e2) => e1.union(e2)).distinct.sorted
}
In this exemple: 12 times slower than built-in spark functions !!
.filter(r => r.getAs[Row]("result").getString(1).startsWith("VB"))
.map(r => r.getAs[Row]("result").getString(0))
.groupBy("value")
.count()
.write
.parquet("swift://wiki.ovh/verbs.parquet")
Eviter l’utilisation
d’UDF

2/4 RTFM
Lire la
documentation
Ne pas complexifier
le code
Etre paresseux
New in spark 2.4.0
https://spark.apache.org/docs/2.4.4/api/java/index.html?org/apache/spark/sql/functions.html
val df = sc.read
.xml("swifta://wiki.ovh/enwiki-20190801-pages-articles.xml")
.select(
col("id"),
col("revision.text").as("text")
)
val pipeline = PretrainedPipeline("explain_document_ml", lang="en")
.filter(col("result.pos").startsWith("VB"))
.select(col("result.lemma").as("verb"))
.groupBy("verb")
.count()
.write
.parquet("swifta://wiki.ovh/verbs.parquet")

3/4
bibliothèques
tierces
Etre méticuleux
Rechercher les SPOF
et goulot
d’étranglement
val df = sc.read
.xml("swifta://wiki.ovh/enwiki-20190801-pages-articles.xml")
...
pipeline.transform(texts)...
.parquet("swifta://wiki.ovh/verbs.parquet")

4/4
Connaitre son
infrastructure
Trouver la difference ;)
VS

Résumé
OVHcloud vous donne des outils,
ensuite c’est à vous de jouer!

Contact OVHcloud
Pierre GRONLIER
pierre.gronlier@corp.ovh.com

Retrouvez la programmation
de French Tech Central
sur le site
french-tech-central.com

Workshop Projets AI - synergie offres privées et publiques @GENCI @OVHcloud

Recommandé

Recommandé

Contenu connexe

Similaire à Workshop Projets AI - synergie offres privées et publiques @GENCI @OVHcloud

Similaire à Workshop Projets AI - synergie offres privées et publiques @GENCI @OVHcloud (20)

Plus de FrenchTechCentral

Plus de FrenchTechCentral (20)

Workshop Projets AI - synergie offres privées et publiques @GENCI @OVHcloud