SlideShare une entreprise Scribd logo
1  sur  20
Télécharger pour lire hors ligne
Compressez vos
Données avec un
Auto-encodeur
BornToBe
TABLE DES MATIÈRES
❖ Généralités sur la compression de données.
❖ Quelques approches populaires de compression.
❖ La quantification Vectorielle et Auto-encodeurs dans la
compression de données.
❖ Implémentation
❖ Résultats
La Compression de données
➢ C’est l'opération informatique consistant à transformer une
suite de bits A en une suite de bits B plus courte pouvant
restituer les mêmes informations, ou des informations voisines,
en utilisant un algorithme de décompression.
✓
➢ C'est une opération de codage qui raccourcit la taille (de
transmission, de stockage) des données au prix d'un travail de
compression.
✓
➢ Celle-ci est l'opération inverse de la décompression.
La Compression de données
➢ Les données en informatique nécessitent souvent beaucoup d’espace pour être stocker.
✓
➢ Transmettre ces données lourdes à travers d’un point à l’autre est une opération coûteuse
en temps.
✓
➢ Ce sont là, quelques raisons ayant poussé à la mis sur pieds des techniques de
compression de données.
➢
➢ Plus précisément, on distingue au moins 4 raisons pouvant mener à la compression de
données, à savoir :
La Compression de données
➢ Le gain en Espace mémoire
✓ probablement la raison la plus évidente. La recherche de ce gain est guidé par deux
éléments :
✓ Le stockage (minimiser l’espace pour stocker plus de données)
✓ Le transfert (minimiser la taille des données pour réduire la bande passante)
➢ Le gain en temps de traitement
✓ il est souvent plus rapide de traiter la donnée compressées que la version originale.
✓ La compression effectue souvent la suppression des informations superflues qui
n’interviennent pas ou peu dans le résultat du traitement.
La Compression de données
➢ La compatibilité :
✓ Le transfert de données a mené à la compression et à la mise sur pieds d’outils capables de
lire ces données compressés.
✓ De nos même si les données compressées peuvent êtres utilisées, ces outils sont
incapables de les exploiter. D'où la nécessité de compresser, pour assurer la compatibilité.
➢ La sécurité :
✓ la compression peut être utilisée pour le cryptage de données.
✓ L’exemple s’observe avec les images protégées de la copie et de l’utilisation abusive
à l’aide d’une compression avec perte.
Quelques approches populaires de
compression.
01 Les Approches prédictives
02 La quantification vectorielle
03 Les approches par transformées
04 Les techniques en sous-bandes
La Quantification Vectorielle
La technique de la quantification vectorielle
est celle sur laquelle porte la suite de la
présentation.
La Quantification Vectorielle
➢ Avant de parler de la quantification vectorielle, il faut noter que tout commence avec la
quantification scalaire.
✓
➢ La quantification scalaire consiste à coder des échantillons qui sont représentés par une
valeur.
✓
➢ La quantification vectorielle est une généralisation de la quantification scalaire.
✓ L’idée de base est de coder ou de remplacer par une clé des valeurs d’un espace
vectoriel multidimensionnel vers des valeurs d’un sous-espace discret de plus petite
dimension.
La Quantification Vectorielle
➢ La quantification vectorielle propose une
quantification optimisée.
✓
➢ l’espace est divisé en classes adaptées à l'ensemble des
échantillons
✓
➢ on calcule un représentant pour chaque classe
(élément rouge sur la figure ci-contre).
✓
➢ L'ensemble des représentants est appelé dictionnaire.
✓
➢ Pour quantifier un échantillon (x1,x2), on lui attribue
les valeurs du représentant le plus proche.
La Quantification Vectorielle
➢ Après avoir représenté les échantillons d’un groupe par leur représentant, on obtient
bien une forme réduite du groupe initial.
✓
➢ On voit bien là que la quantification est proche de la compression.
✓
➢ C'est une technique très utilisée en reconnaissance de parole, compression de parole,
codage d’image.
✓
➢ A ce niveau, nous nous tournons vers les réseaux de neurones afin de mettre en oeuvre
la technique de quantification dans la compression d’image.
La Quantification Vectorielle
➢ La compression d’image par
quantification peut être réaliser en
utilisant un réseau de Neurones.
✓
➢ Le types de réseau utilisé est
l’Auto-encodeur.
✓
➢ Ci-contre, la structure d’un
auto-encodeur pour la compression
d’image.
La Quantification Vectorielle et
Auto-encodeur
➢ En utilisant des techniques de compression des données, il est possible de supprimer une
partie des informations redondantes contenues dans les images.
✓
➢ On observe effectivement l’application de la quantification vectorielle dans ce sens ou
l’image obtenue est plus petite (nécessite moins d'espace de stockage et moins de temps
de transmission).
✓
➢ L’objectif d’un auto-encodeur dans la compression est de pouvoir réaliser la fonction
identité. Regardons cela plus en détails.
La Quantification Vectorielle et
Auto-encodeur
➢ Imaginons une image de grande taille (NxM) à l’entrée (Input Layer) de l’auto-encodeur.
✓
➢ Cette image est acheminée vers la couche cachée (Hidden Layer) et possède désormais
des dimensions (N1xM1), tels que N1xM1 > N1xM1.
✓
➢ L’image N1xM1 est enfin acheminée vers la couche de sortie, ou elle sera retransformée
en l’image initiale de dimensions NxM.
✓
➢ Bien évidemment, l’image obtenue à la sortie peut avoir une distorsion par rapport à
l’image initiale, d'où la perte dans la compression.
La Quantification Vectorielle et
Auto-encodeur
➢ L’auto-encodeur passe en oeuvre en
séparant l’encodeur et le décodeur.
✓
➢ La partie encodeur sera utilisée comme
compresseur
✓
➢ Tandis que la partie décodeur servira à
la décompression
✓ ddd
NB : Il faut noter que les sorties de la couche cachée ont des valeurs réelles. La véritable compression
produit donc lorsque les sorties de cette couche sont quantifiées avant la transmission de l’image.
Implémentation
➢ Environnement.
✓ Jupyter notebook
✓ Keras
✓ MatplotLib
✓ Numpy
➢ Data Set
✓ MNIST : National Institute of Standards and Technology.
✓ 70 000 images 28×28 pixels représentant des chiffres uniques écrits à la main
entre 0 et 9.
✓ 60 000 images pour l'entraînement et 10 000 pour le test.
Implémentation
Structure de l’auto-encodeur utilisé
Implémentation
Résultats
Après reconstruction des images compressées
Ressources
❖ https://fr.wikipedia.org/wiki/Compression_de_donn%C3%A9es#:~:text=La%20compression%20de%20donn%C3%A9es%
20ou,utilisant%20un%20algorithme%20de%20d%C3%A9compression.
❖ https://campusvirtual.ull.es/ocw/file.php/55/applets/compr/bp9PLUS.html
❖ https://github.com/dimedrik/CodeML

Contenu connexe

Similaire à Auto encodeur et compression

Image Numérique - Notions Techniques
Image Numérique - Notions TechniquesImage Numérique - Notions Techniques
Image Numérique - Notions Techniquesguestdc3a91
 
Computer Vision - Classification automatique des races de chien à partir de p...
Computer Vision - Classification automatique des races de chien à partir de p...Computer Vision - Classification automatique des races de chien à partir de p...
Computer Vision - Classification automatique des races de chien à partir de p...FUMERY Michael
 
.NET Microframework: du code, de l’électronique, de la robotique
.NET Microframework: du code, de l’électronique, de la robotique.NET Microframework: du code, de l’électronique, de la robotique
.NET Microframework: du code, de l’électronique, de la robotiqueMicrosoft
 
[Café techno] Spectrum Project - Affronter et gérer la masse de données hétér...
[Café techno] Spectrum Project - Affronter et gérer la masse de données hétér...[Café techno] Spectrum Project - Affronter et gérer la masse de données hétér...
[Café techno] Spectrum Project - Affronter et gérer la masse de données hétér...Groupe D.FI
 
Les mathématiques au service du transport de l’information
Les mathématiques au service du transport de l’informationLes mathématiques au service du transport de l’information
Les mathématiques au service du transport de l’informationDany-Jack Mercier
 
Visual Transformer Overview
Visual Transformer OverviewVisual Transformer Overview
Visual Transformer OverviewDr Hajji Hicham
 
Manuel scribus par Terre Nourricière
Manuel scribus par Terre NourricièreManuel scribus par Terre Nourricière
Manuel scribus par Terre NourricièreTerre Nourricière
 
Rapport-du-projet CNN.docx
Rapport-du-projet CNN.docxRapport-du-projet CNN.docx
Rapport-du-projet CNN.docxkhalil Ismail
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfMissaouiWissal
 
Chiffrement des terminaux : comment ça marche ?
Chiffrement des terminaux : comment ça marche ?Chiffrement des terminaux : comment ça marche ?
Chiffrement des terminaux : comment ça marche ?Symantec
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfAhmedToujani1
 
Tutoriel de traitement d'images CCD cométaire avec Iris
Tutoriel de traitement d'images CCD cométaire avec IrisTutoriel de traitement d'images CCD cométaire avec Iris
Tutoriel de traitement d'images CCD cométaire avec IrisDidier Walliang
 
Cours algorithmique et complexite complet
Cours algorithmique et complexite completCours algorithmique et complexite complet
Cours algorithmique et complexite completChahrawoods Dmz
 
Cours algorithmique et complexite
Cours algorithmique et complexite Cours algorithmique et complexite
Cours algorithmique et complexite Saddem Chikh
 

Similaire à Auto encodeur et compression (20)

Initiation à la retouche d’images
Initiation à la retouche d’imagesInitiation à la retouche d’images
Initiation à la retouche d’images
 
Image Numérique - Notions Techniques
Image Numérique - Notions TechniquesImage Numérique - Notions Techniques
Image Numérique - Notions Techniques
 
Photofiltre
Photofiltre Photofiltre
Photofiltre
 
Computer Vision - Classification automatique des races de chien à partir de p...
Computer Vision - Classification automatique des races de chien à partir de p...Computer Vision - Classification automatique des races de chien à partir de p...
Computer Vision - Classification automatique des races de chien à partir de p...
 
Sat Definitions
Sat DefinitionsSat Definitions
Sat Definitions
 
.NET Microframework: du code, de l’électronique, de la robotique
.NET Microframework: du code, de l’électronique, de la robotique.NET Microframework: du code, de l’électronique, de la robotique
.NET Microframework: du code, de l’électronique, de la robotique
 
[Café techno] Spectrum Project - Affronter et gérer la masse de données hétér...
[Café techno] Spectrum Project - Affronter et gérer la masse de données hétér...[Café techno] Spectrum Project - Affronter et gérer la masse de données hétér...
[Café techno] Spectrum Project - Affronter et gérer la masse de données hétér...
 
Les mathématiques au service du transport de l’information
Les mathématiques au service du transport de l’informationLes mathématiques au service du transport de l’information
Les mathématiques au service du transport de l’information
 
Compression JPEG
Compression JPEGCompression JPEG
Compression JPEG
 
Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1 Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1
 
Visual Transformer Overview
Visual Transformer OverviewVisual Transformer Overview
Visual Transformer Overview
 
WPF.pptx
WPF.pptxWPF.pptx
WPF.pptx
 
Manuel scribus par Terre Nourricière
Manuel scribus par Terre NourricièreManuel scribus par Terre Nourricière
Manuel scribus par Terre Nourricière
 
Rapport-du-projet CNN.docx
Rapport-du-projet CNN.docxRapport-du-projet CNN.docx
Rapport-du-projet CNN.docx
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdf
 
Chiffrement des terminaux : comment ça marche ?
Chiffrement des terminaux : comment ça marche ?Chiffrement des terminaux : comment ça marche ?
Chiffrement des terminaux : comment ça marche ?
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdf
 
Tutoriel de traitement d'images CCD cométaire avec Iris
Tutoriel de traitement d'images CCD cométaire avec IrisTutoriel de traitement d'images CCD cométaire avec Iris
Tutoriel de traitement d'images CCD cométaire avec Iris
 
Cours algorithmique et complexite complet
Cours algorithmique et complexite completCours algorithmique et complexite complet
Cours algorithmique et complexite complet
 
Cours algorithmique et complexite
Cours algorithmique et complexite Cours algorithmique et complexite
Cours algorithmique et complexite
 

Dernier

analyse husseindey AMIROUCHE Abdeslem.pptx
analyse husseindey AMIROUCHE Abdeslem.pptxanalyse husseindey AMIROUCHE Abdeslem.pptx
analyse husseindey AMIROUCHE Abdeslem.pptxHadJer61
 
To_understand_transformers_together presentation
To_understand_transformers_together presentationTo_understand_transformers_together presentation
To_understand_transformers_together presentationbahija babzine
 
Le contrôle de la recherche d'emploi en 2023
Le contrôle de la recherche d'emploi en 2023Le contrôle de la recherche d'emploi en 2023
Le contrôle de la recherche d'emploi en 2023France Travail
 
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel AttalELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attalcontact Elabe
 
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...France Travail
 
Bidirectional Encoder Representations from Transformers
Bidirectional Encoder Representations from TransformersBidirectional Encoder Representations from Transformers
Bidirectional Encoder Representations from Transformersbahija babzine
 

Dernier (6)

analyse husseindey AMIROUCHE Abdeslem.pptx
analyse husseindey AMIROUCHE Abdeslem.pptxanalyse husseindey AMIROUCHE Abdeslem.pptx
analyse husseindey AMIROUCHE Abdeslem.pptx
 
To_understand_transformers_together presentation
To_understand_transformers_together presentationTo_understand_transformers_together presentation
To_understand_transformers_together presentation
 
Le contrôle de la recherche d'emploi en 2023
Le contrôle de la recherche d'emploi en 2023Le contrôle de la recherche d'emploi en 2023
Le contrôle de la recherche d'emploi en 2023
 
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel AttalELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
 
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
 
Bidirectional Encoder Representations from Transformers
Bidirectional Encoder Representations from TransformersBidirectional Encoder Representations from Transformers
Bidirectional Encoder Representations from Transformers
 

Auto encodeur et compression

  • 1. Compressez vos Données avec un Auto-encodeur BornToBe
  • 2. TABLE DES MATIÈRES ❖ Généralités sur la compression de données. ❖ Quelques approches populaires de compression. ❖ La quantification Vectorielle et Auto-encodeurs dans la compression de données. ❖ Implémentation ❖ Résultats
  • 3. La Compression de données ➢ C’est l'opération informatique consistant à transformer une suite de bits A en une suite de bits B plus courte pouvant restituer les mêmes informations, ou des informations voisines, en utilisant un algorithme de décompression. ✓ ➢ C'est une opération de codage qui raccourcit la taille (de transmission, de stockage) des données au prix d'un travail de compression. ✓ ➢ Celle-ci est l'opération inverse de la décompression.
  • 4. La Compression de données ➢ Les données en informatique nécessitent souvent beaucoup d’espace pour être stocker. ✓ ➢ Transmettre ces données lourdes à travers d’un point à l’autre est une opération coûteuse en temps. ✓ ➢ Ce sont là, quelques raisons ayant poussé à la mis sur pieds des techniques de compression de données. ➢ ➢ Plus précisément, on distingue au moins 4 raisons pouvant mener à la compression de données, à savoir :
  • 5. La Compression de données ➢ Le gain en Espace mémoire ✓ probablement la raison la plus évidente. La recherche de ce gain est guidé par deux éléments : ✓ Le stockage (minimiser l’espace pour stocker plus de données) ✓ Le transfert (minimiser la taille des données pour réduire la bande passante) ➢ Le gain en temps de traitement ✓ il est souvent plus rapide de traiter la donnée compressées que la version originale. ✓ La compression effectue souvent la suppression des informations superflues qui n’interviennent pas ou peu dans le résultat du traitement.
  • 6. La Compression de données ➢ La compatibilité : ✓ Le transfert de données a mené à la compression et à la mise sur pieds d’outils capables de lire ces données compressés. ✓ De nos même si les données compressées peuvent êtres utilisées, ces outils sont incapables de les exploiter. D'où la nécessité de compresser, pour assurer la compatibilité. ➢ La sécurité : ✓ la compression peut être utilisée pour le cryptage de données. ✓ L’exemple s’observe avec les images protégées de la copie et de l’utilisation abusive à l’aide d’une compression avec perte.
  • 7. Quelques approches populaires de compression. 01 Les Approches prédictives 02 La quantification vectorielle 03 Les approches par transformées 04 Les techniques en sous-bandes
  • 8. La Quantification Vectorielle La technique de la quantification vectorielle est celle sur laquelle porte la suite de la présentation.
  • 9. La Quantification Vectorielle ➢ Avant de parler de la quantification vectorielle, il faut noter que tout commence avec la quantification scalaire. ✓ ➢ La quantification scalaire consiste à coder des échantillons qui sont représentés par une valeur. ✓ ➢ La quantification vectorielle est une généralisation de la quantification scalaire. ✓ L’idée de base est de coder ou de remplacer par une clé des valeurs d’un espace vectoriel multidimensionnel vers des valeurs d’un sous-espace discret de plus petite dimension.
  • 10. La Quantification Vectorielle ➢ La quantification vectorielle propose une quantification optimisée. ✓ ➢ l’espace est divisé en classes adaptées à l'ensemble des échantillons ✓ ➢ on calcule un représentant pour chaque classe (élément rouge sur la figure ci-contre). ✓ ➢ L'ensemble des représentants est appelé dictionnaire. ✓ ➢ Pour quantifier un échantillon (x1,x2), on lui attribue les valeurs du représentant le plus proche.
  • 11. La Quantification Vectorielle ➢ Après avoir représenté les échantillons d’un groupe par leur représentant, on obtient bien une forme réduite du groupe initial. ✓ ➢ On voit bien là que la quantification est proche de la compression. ✓ ➢ C'est une technique très utilisée en reconnaissance de parole, compression de parole, codage d’image. ✓ ➢ A ce niveau, nous nous tournons vers les réseaux de neurones afin de mettre en oeuvre la technique de quantification dans la compression d’image.
  • 12. La Quantification Vectorielle ➢ La compression d’image par quantification peut être réaliser en utilisant un réseau de Neurones. ✓ ➢ Le types de réseau utilisé est l’Auto-encodeur. ✓ ➢ Ci-contre, la structure d’un auto-encodeur pour la compression d’image.
  • 13. La Quantification Vectorielle et Auto-encodeur ➢ En utilisant des techniques de compression des données, il est possible de supprimer une partie des informations redondantes contenues dans les images. ✓ ➢ On observe effectivement l’application de la quantification vectorielle dans ce sens ou l’image obtenue est plus petite (nécessite moins d'espace de stockage et moins de temps de transmission). ✓ ➢ L’objectif d’un auto-encodeur dans la compression est de pouvoir réaliser la fonction identité. Regardons cela plus en détails.
  • 14. La Quantification Vectorielle et Auto-encodeur ➢ Imaginons une image de grande taille (NxM) à l’entrée (Input Layer) de l’auto-encodeur. ✓ ➢ Cette image est acheminée vers la couche cachée (Hidden Layer) et possède désormais des dimensions (N1xM1), tels que N1xM1 > N1xM1. ✓ ➢ L’image N1xM1 est enfin acheminée vers la couche de sortie, ou elle sera retransformée en l’image initiale de dimensions NxM. ✓ ➢ Bien évidemment, l’image obtenue à la sortie peut avoir une distorsion par rapport à l’image initiale, d'où la perte dans la compression.
  • 15. La Quantification Vectorielle et Auto-encodeur ➢ L’auto-encodeur passe en oeuvre en séparant l’encodeur et le décodeur. ✓ ➢ La partie encodeur sera utilisée comme compresseur ✓ ➢ Tandis que la partie décodeur servira à la décompression ✓ ddd NB : Il faut noter que les sorties de la couche cachée ont des valeurs réelles. La véritable compression produit donc lorsque les sorties de cette couche sont quantifiées avant la transmission de l’image.
  • 16. Implémentation ➢ Environnement. ✓ Jupyter notebook ✓ Keras ✓ MatplotLib ✓ Numpy ➢ Data Set ✓ MNIST : National Institute of Standards and Technology. ✓ 70 000 images 28×28 pixels représentant des chiffres uniques écrits à la main entre 0 et 9. ✓ 60 000 images pour l'entraînement et 10 000 pour le test.