How to use UBCluster.
UBCluster is an HPC machine with 164 processors, 96 Go of RAM and some very known softawre in parallel calculation, like freefem++, octave, NBCR, ...
MLlib est une librairie de machine Learning qui contient la plus part des algorithmes d’apprentissage classiques (SVMs, naive Bayes, decision tree,régression linéaire, logistic regression,k-means....)
Ce support correspond à une conférence qui s'intéresse à la mise en œuvre des Framework de Machines et Deep learning pour les applications web et mobiles. Principalement les Framwork TensorFlow.JS et DeepLeanring4J.
Je l'ai présentée au début dans mon établissement auquel j’appartiens, l’ENSET Mohammedia puis dans la conférence Carrefour des informaticiens, organisée par les étudiants de l'AIAC :
Académie internationale Mohammed VI de l'aviation civile.
et le code source est publié sur mon compte GitHub. La suite de cette série sera sans doute publiées dans les prochaines conférences :
https://github.com/mohamedYoussfi/angular-tensorflowJS
https://github.com/mohamedYoussfi/angular-ml5.js-mobilenet-feature-extractor
https://github.com/mohamedYoussfi/deeplearning4j-cnn-mnist-app
Les vidéos de la conférence sont publiée dans ma chaîne vidéo : https://www.youtube.com/user/mohamedYoussfi
Le plan de la présentation est suivant :
- Quelques Concepts de base à comprendre :
- Machines er Deep Learning, Les réseaux de neurones artificiels, MLP et CNN
- Les problèmes et les contraintes posées par les algorithmes d’apprentissage basés sur les réseaux de neurones
- Principaux catalyseurs qui ont redynamisé l’intelligence artificielle :
- Calcul de hautes performances à savoir les architectures massivement parallèles et les systèmes distribués
- La Virtualisation et le cloud Computing
- Big Data, IOT et Applications Mobiles
- Framework et Algorithmes de Machines et Deep Learning
- Réseaux et Télécommunications
- Open source
- L’écosystème des Framework de Machines et Deep Learning.
- L’architecture du Framwork TensorFlow
- Comment développer des applications de machines et Deep Learning pour les applications Web et Mobile en utilisant TensorFlow.JS et ML.JS
- Comment développer des applications de machines et Deep Learning pour les applications Java JEE en utilisant le Framework DeepLearning4J
Mot Clés :
Intelligence Artificielle, Machines learning, deep learning, TensorflowJS, Deeplearning4j, java, java script, angular
Présentation effectuée à Open Source Expérience 2022 par Christophe Villeneuve et Sébastien de MariaDB sur "MariaDB : une base de données NewSQL".
Cette présentation a pour but de montrer que la base de données Mariadb propose des nouvelles fonctionnalités et avancés importantes pour devenir un coeur
How to use UBCluster.
UBCluster is an HPC machine with 164 processors, 96 Go of RAM and some very known softawre in parallel calculation, like freefem++, octave, NBCR, ...
MLlib est une librairie de machine Learning qui contient la plus part des algorithmes d’apprentissage classiques (SVMs, naive Bayes, decision tree,régression linéaire, logistic regression,k-means....)
Ce support correspond à une conférence qui s'intéresse à la mise en œuvre des Framework de Machines et Deep learning pour les applications web et mobiles. Principalement les Framwork TensorFlow.JS et DeepLeanring4J.
Je l'ai présentée au début dans mon établissement auquel j’appartiens, l’ENSET Mohammedia puis dans la conférence Carrefour des informaticiens, organisée par les étudiants de l'AIAC :
Académie internationale Mohammed VI de l'aviation civile.
et le code source est publié sur mon compte GitHub. La suite de cette série sera sans doute publiées dans les prochaines conférences :
https://github.com/mohamedYoussfi/angular-tensorflowJS
https://github.com/mohamedYoussfi/angular-ml5.js-mobilenet-feature-extractor
https://github.com/mohamedYoussfi/deeplearning4j-cnn-mnist-app
Les vidéos de la conférence sont publiée dans ma chaîne vidéo : https://www.youtube.com/user/mohamedYoussfi
Le plan de la présentation est suivant :
- Quelques Concepts de base à comprendre :
- Machines er Deep Learning, Les réseaux de neurones artificiels, MLP et CNN
- Les problèmes et les contraintes posées par les algorithmes d’apprentissage basés sur les réseaux de neurones
- Principaux catalyseurs qui ont redynamisé l’intelligence artificielle :
- Calcul de hautes performances à savoir les architectures massivement parallèles et les systèmes distribués
- La Virtualisation et le cloud Computing
- Big Data, IOT et Applications Mobiles
- Framework et Algorithmes de Machines et Deep Learning
- Réseaux et Télécommunications
- Open source
- L’écosystème des Framework de Machines et Deep Learning.
- L’architecture du Framwork TensorFlow
- Comment développer des applications de machines et Deep Learning pour les applications Web et Mobile en utilisant TensorFlow.JS et ML.JS
- Comment développer des applications de machines et Deep Learning pour les applications Java JEE en utilisant le Framework DeepLearning4J
Mot Clés :
Intelligence Artificielle, Machines learning, deep learning, TensorflowJS, Deeplearning4j, java, java script, angular
Présentation effectuée à Open Source Expérience 2022 par Christophe Villeneuve et Sébastien de MariaDB sur "MariaDB : une base de données NewSQL".
Cette présentation a pour but de montrer que la base de données Mariadb propose des nouvelles fonctionnalités et avancés importantes pour devenir un coeur
Similaire à Les bibliothèques de calcul scientifiques (20)
Détection des droites par la transformée de HoughKhaled Fayala
Pour extraire des informations à partir des images, il existe plusieurs approches qui se base sur la détection des éléments spécifiques dans l’image parmi ces approches nous citons la transformée de hough.
L'essor des technologies de l'information et de la communication (TIC) a marqué de façon
décisive le vingtième siècle: par la radiodiffusion, la télévision, la téléphonie ou Internet. La communication entre les personnes a subi une véritable évolution.Cette évolution, notamment dans le domaine de l’informatique, a donné naissance à des nouvelles formes de communication entre locuteurs tel que le SMS. Ce rapport présente une application de traduction des SMS.
Plateforme d'enseignement à distance : efrontKhaled Fayala
Ce rapport présente un projet qui consiste à créer deux espaces de cours sur deux plateformes d’enseignement à distance différentes. L’objectif de notre travail est de comparer ces deux plateformes (Moodle et eFront) après avoir effectué une étude théorique et pratique. La comparaison se faite en se basant sur un ensemble de critères mis en évidence dans chaque plateforme.
Application mobile bancaire sous la plateforme AndroidKhaled Fayala
Ce rapport présente un projet qui a pour objectifs de réaliser une application mobile bancaire sur la plateforme Android pour permettre aux utilisateurs de localiser les agences et les distributeurs, et plusieurs autres services. Les banques aussi ont la possibilité de gérer ses données grâce à une application Web.
BPMN : Business Process Modelling NotationKhaled Fayala
La notation BPMN est destiné à la modélisation abstraite de processus vus en tant que Workflow et elle est plutôt utile en phase de spécification des besoins.
Pour plus de détailles, regarder cette présentation
Les établissements et personnel enseignant consacrent énormément de temps et de ressources au développement et à l’adaptation du matériel pédagogique.
Dans cette présentation, nous allons décrire SCORM :)
Je vous laisse le temps pour regarder cette présentation.
Enjoy
L’évolution des technologie de l’information et de la communication a modifié la nature de la communication.
Transmission des informations plus facile grâce aux diversités des moyens de communications utilisés tel que le SMS.
L’équipe du projet BeBoP a proposé un webinaire le 30 mai 2024 pour découvrir comment la technologie vidéo, combinée à l’intelligence artificielle, se met au service de l’analyse du comportement des taurillons.
JTC 2024 - Atelier APaChe-Pâturage des arbres par les chèvres
Les bibliothèques de calcul scientifiques
1. Les bibliothèques de calcul
scientifiques
Khaled Fayala
Haifa Ben Massoud
Yosra Mouraly
Réalisé par:
Mastère de recherche en informatique
Ecole Supérieur des Sciences
et Techniques de Tunis
التونسية الجمهورية
العلمي والبحث العالي التعليم وزارة
تونس جامعة
بتونـس والتقنيـات للعلـوم العليـا المدرسة
3. Motivation
La performance de programmes, en termes de temps d‘exécution, et
utilisation des ressources est un problème que rencontre tout programmeur.
Ce problème prend une ampleur particulière en :
→ Calcul scientifique – calcul numérique:
•Algèbre linéaire
•Résolution linéaire
•Transformée de Fourier
4. Motivation
Comment on peut améliorer la
performance de programmation?
Bibliothèques scientifiques
Comment on peut simplifier
la tâche de programmation?
Comment on peut réutiliser les
programmes déjà crées ?
6. Introduction
Les bibliothèques scientifiques sont des ensembles de sous-programmes
testés, validés, et optimisés.
Ces ensembles, sont regroupées par domaine et mises à disposition
afin de pouvoir être utilisées sans avoir les réécrire.
7. Intérêts
Réutilisation
→ Réduction du temps de développement
Portabilité
→Indépendance vis-à-vis de l’implémentation (séquentielle, ou parallèle)
→ Indépendance vis-à-vis du type des données
Efficacité
→Choix du meilleur algorithme
9. Classification
Bibliothèques portables
Disponibles sur la plupart des plates-formes :
Du domaine public : BLAS, LAPACK, ScaLAPACK , etc.
Commerciales : IMSL et NAG
Les bibliothèques propres aux constructeurs
Tous les constructeurs de calculateurs scientifiques ont développé leurs propres
bibliothèques :
ESSL et PESSL chez IBM, SSL2VP(P) chez Fujitsu
ASL et MathKeisan chez NEC , SciLib chez Cray, etc.
Elles ne sont pas portables
10. Classification
Il existe 2 types de bibliothèques :
Bibliothèques séquentielles
Bibliothèques parallèles
12. Basic Linear Algebra Subprograms
Initialement écrite en Fortran77, et diffusé en 1979
Fournit des opérations de bas niveau pour la manipulation des
vecteurs, des matrices et des scalaires.
Base de très nombreuses bibliothèques.
Largement utilisées pour le calcul haute performance.
BLAS
13. Bibliothèque BLAS est divisé en 3 niveaux, selon la nature des opérations :
BLAS niveau 1 : opérations sur les vecteurs
BLAS niveau 2 : opérations sur matrice-vecteur
BLAS niveau 3 : opérations sur matrice-matrice
BLAS
14. BLAS
BLAS niveau 1 : (Vecteur - Vecteur)
Opérations de type z = αx + y (α scalaire, x, y, et z vecteurs)
Traitement élément par élément des éléments de vecteurs
Grand succès
O(n) opérations sur O(n) éléments
15. BLAS
BLAS niveau 2 : (Matrice - Vecteur)
Motivés par :
• Diminution du nombre d’accès au mémoire
• Augmentation du grain de calcul
Opérations de type Z = ßy + αAx (A une matrice)
O(n²) opérations pour O(n²) éléments
16. BLAS
BLAS niveau 3 : (Matrice - Matrice)
Motivés par :
• Minimisation des mouvements de données entre les mémoires
• Meilleure utilisation des caches
Opérations de type Z = ßC + αAB (A,B,C matrices)
O(n³) opérations pour O(n²) éléments
17. BLAS
Environnement du logiciel
• Cette librairie est intégrée dans la plupart des distributions Linux (Debian,
Ubuntu, Mandriva,...).
Plates-formes
• BLAS est portée sur les plates-formes unix suivantes : ALPHA, SUN4, etc.
et windows (via cygwin).
18. LAPACK
Linear Algebra PACKage
LAPACK est un ensemble de sous-programmes Fortran
Son utilisation à partir d'autres langages compilés (C,C++) ne représente
pas de difficultés particulières. Une version CLAPACK, traduite en C existe.
Fondée en grande partie sur les procédures de Blas 3
19. LAPACK
Résoudre des problèmes d'algèbre linéaire denses
* résolution des systèmes linéaires
* problèmes aux valeurs propres : trouver un vecteur v de
dimension n vérifiant Av = λBv avec A et B deux matrices carrées de
dimension n×n.
20. LAPACK
• Factorisation des matrices LU
-L : matrice triangulaire inférieure ayant des 1 sur la diagonale
-U : matrice triangulaire supérieure
• Factorisation des matrices QR
-Q : matrice orthogonale (transposée (Q)*Q=In)
-R : matrice triangulaire supérieure
• Factorisation cholesky A=L*transposée(L)
- A : matrice symétrique définie positive (transposée(A)=A
- L : matrice triangulaire inférieure
• …
* factorisation de matrices :
* …
21. LAPACK
Manipulation efficace de matrices pleines ou bandes, mais ne contient
pas de méthodes adaptées aux opérations sur les matrices creuses.
Conçue pour les machines vectorielles puis étendue aux machines
parallèles à mémoire partagée
Utilise des algorithmes par blocs de façon à exploiter les performances
des opérations BLAS3, et pour utiliser au mieux la hiérarchie mémoire
23. PBLAS
Parallel Basic Linear Algebra Subroutines
Ce sont les BLAS parallèles
Implantée au dessus des BLAS + BLACS ( Basic Linear Algebra
Communication Subroutines)
BLAS : calculs locaux
BLACS : Communication
Considérée comme un noyau pour d’autres bibliothèques numérique
parallèles
24. SCALAPACK
Scalable Linear Algebra PACKage
Projet de Jack DONGARRA , 1989
Bibliothèque du domaine publique (gratuite)
Bibliothèque composée d'un ensemble de sous-programmes
Fortran
Résoudre en parallèle des problèmes d'algèbre linéaire
Conçue pour les machines parallèles MIMD à mémoires
distribuées
25. SCALAPACK
Extensible
- garantit le bon équilibrage de la charge
. équilibre de charge pour des petits blocs
- garantit les performances quand le nombre de processeurs
augmente
. faible coût de communication pour des gros blocs
(diminution du nombre de messages)
taille de blocs qui soit le bon compromis entre équilibre de la
charge et latence de communication
26. SCALAPACK
Portable
. Code source en Fortran 77 et C
Evolution continue des bibliothèques de base
. Meilleurs algorithmes
. Optimisation pour la majorité des machines
28. Aujourd’hui composé de plusieurs bibliothèques:
• PARPACK : recherche de certaines valeurs propres sur de très
grosses matrices
• CAPSS : résolution des systèmes linéaires sur matrices creuses
définies positives symétriques
• PARPRE : pour le traitement de matrices creuses quelconques
SCALAPACK
29. PESSL
Parallel Engineering and Scientific Subroutines Library
Crée par IBM
Contient de routines mathématiques
PBLAS niveaux 2 et 3
Résolution de système linéaires :
Sous-ensemble de routines ScaLAPACK
Transformées de Fourier en 2D et 3D
Génération de nombres aléatoires
30. PESSL
Calcul numérique haute performance sur les clusters d’IBM
Supporte le modèle de programmation SPMD (Single Program,
Multiple Data)
Utilise la bibliothèque Blacs (Basic Linear Algebra Communication Subroutines) version
MPI pour la communication
Utilisé par des applications écrits en Fortran, C et C + + s’exécutant
sous Linux et AIX
Fonctionne en environnement 32 bits et 64 bits.
31. BLACS
Basic Linear Algebra Communication Subroutines
Bibliothèque standard de communication permettant sur une grille
prédéfinie de processus :
D’échanger facilement des blocs de matrices
De les diffuser globalement et calculer des réductions sur eux
Écrit en C
Plusieurs implémentations (MPI , PVM3.3)
Syntaxe standard sur tous les systèmes
32. BLACS
Contient des sous-programmes de communication sur lesquels s’appuient
les bibliothèques (PBLAS, ScaLAPACK, NAG // et autres) .
Composée de deux sortes de sous-programmes pour :
L’initialisation et la terminaison de l’environnement BLACS
L´échange de données entre les processus à l’aide de primitives de
communication
33. BLACS
Initialisation et terminaison
Consistent essentiellement en ces cinq appels:
BLACS PINFO() : initialise l’environnement BLACS ;
BLACS GET() : définit un contexte unique de communication ;
BLACS GRIDINIT() : initialise une grille logique 2D de processus ;
BLACS GRIDEXIT() : libère la grille logique de processus ;
BLACS EXIT() : libère toutes les grilles de processus préalablement
définies
.
34. BLACS
Primitives de communication
Les primitives de communication sont soit de :
Type point à point
Type diffusion (broadcast)
Un message envoyé est bufférisé jusqu’à réception.
Un seul buffer d’émission à la fois.
37. Conclusion
Utiliser des librairies scientifiques permet de se consacrer uniquement aux
nouveaux développements et donc de ne pas devoir réinventer la roue à
chaque fois.
Elles peuvent résoudre des problèmes de performance optimisation
portabilité etc …
Elles sont nombreuses mais on a mis l’accent sur BLAS , LAPACK,
PBLAS, SCALAPAC , BLACS, PESSL parce qu’elles sont les plus connues
et utilisées
38. Bilan
Mots clé : bibliothèques séquentielles , bibliothèques parallèles, BLAS ,
LAPACK, PBLAS, SCALAPACK , BLACS, PESSL
Constations :
Séquentielle Parallèle
Portable Blas, LAPACK PBLAS,BLACS,SCALAPACK
Propres aux constructeurs ESSL PESSL
Difficultés :
Synthèse des plusieurs documents trouvés
Choix des bibliothèques
Difficultés : (1) on ‘a trouvé plusieurs documents sur internet, la difficulté est de comment faire un synthèse de ces documents en mettant l’accent sur les choses importants.
(2) Plusieurs bibliothèques existent mais on choisi de mettre l’accent sur les bibliothèques les plus importants