Plan 
• 1. Introduction 
• 2. Vue d’ensemble 
• 3. Sources discrètes & Entropie 
• 4. Canaux discrets & Capacité 
• 5. Cod...
• Propriétés d'un codeur de source 
9Régularité : messages ≠ Ö codes ≠ 
9Déchiffrabilité : séparation des mots non ambiguë...
• Longueur moyenne d'un mot-code 
N 
Σ= 
l = 
p s l 
i i i 
1 
( ). 
• Limite de la longueur moyenne 
l ≥ H S = 
( ) l 
D ...
• Théorème des canaux sans bruit (codage de source) 
" Par un codage approprié (codage par groupe de n symboles de 
la sou...
• Codage binaire de Huffman (1952) 
- Algorithme de génération d'un codage optimal symbole par 
symbole. 
- Code à longueu...
• Codage Arithmétique (1976) 
Š Huffman Ö 1 symbole = 1 mot-code 
Š Arithmétique Ö 1 flot de symboles = nbre en virgule fl...
Arithmétique ≥ Huffman 
/ + de calcul Proba très élévée Æ1 bit 
Peu de symboles (È) 
Ø 
Run Length 
Codeurs statistiques 
...
• Table d'Huffman FAX III 
Dpt. Génie Electrique Théorie de l ’information T. Grenier 36 
• Codage de type dictionnaire (1...
ˆ Codeur LZW 
ID = {Ci,Wi} , P=∅ 
Tant que (symboles à coder) 
C = symbole suivant 
Si P⊕C ∈ ID 
P = P⊕C 
Sinon 
sortir WP...
Prochain SlideShare
Chargement dans…5
×

2 codage source

717 vues

Publié le

codage de l'information

Publié dans : Formation
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

2 codage source

  1. 1. Plan • 1. Introduction • 2. Vue d’ensemble • 3. Sources discrètes & Entropie • 4. Canaux discrets & Capacité • 5. Codage de source • 6. Codage de canal • 7. Cryptographie • 8. Conclusion Dpt. Génie Electrique Théorie de l ’information T. Grenier 22 5. Codage de source 9Adapter la source au canal Ö l'alphabet Ö le débit 9Utiliser la capacité du canal Ö maximiser I(X,Y) y Hyp : Source stationnaire, canaux sans perturbation Codeur de source Source initiale Source à entropie max Codeur de source Ö supprimer la redondance Dpt. Génie Electrique Théorie de l ’information T. Grenier 23
  2. 2. • Propriétés d'un codeur de source 9Régularité : messages ≠ Ö codes ≠ 9Déchiffrabilité : séparation des mots non ambiguë • Mot-code [S]=[s1,s2, …, sN] [X]=[x1 ,x2, …, xD] ª [C]=[c1,c2, …, cN] • Exemple Symbole Code A Code B Code C Code D s1 00 0 0 0 s2 01 10 01 10 s3 10 110 011 110 s4 11 1110 0111 111 Dpt. Génie Electrique Théorie de l ’information T. Grenier 24 9Code à longueur variable / fixe 9Code à décodage unique : mot-code Ù symbole unique 9Code séparable : pas de signe de démarcation entre les mots 9Code instantané ou irréductible : on détermine les mots-codes à mesure que l'on reçoit les lettres de l'alphabet du code. CNS : Aucun mot-code n'est le préfixe d'un autre ! y Arbre & codes binaires instantanés Dpt. Génie Electrique Théorie de l ’information T. Grenier 25
  3. 3. • Longueur moyenne d'un mot-code N Σ= l = p s l i i i 1 ( ). • Limite de la longueur moyenne l ≥ H S = ( ) l D min log H(S) = H(C) = l .H(X ) Ö • Capacité - Efficacité - Redondance C = Max(H(X )) = logD D H X log log − ( ) D ρ = H X log η = ( ) D H S .log η = ( ) l D E x Æ c o d e o p t. Dpt. Génie Electrique Théorie de l ’information T. Grenier 26 • Codes optimaux absolus Codes dont l'efficacité est maximale : η= 1 l l H S ( ) D log min ª = = ª D li 1 Condition nécessaire pour les codes N = Σ= 1 − i optimaux absolus Ö Dpt. Génie Electrique Théorie de l ’information T. Grenier 27
  4. 4. • Théorème des canaux sans bruit (codage de source) " Par un codage approprié (codage par groupe de n symboles de la source), l'information moyenne par lettre de l'alphabet du code peut être amenée aussi proche que l'on veut de la capacité du code, c'est-à-dire qu'il existe toujours un codage optimal absolu ." Rq1 : à n fixé, le code qui donne ηmax<1 est dit 'optimal' Rq2 : en pratique, on travaillait à n=1 Dpt. Génie Electrique Théorie de l ’information T. Grenier 28 • Codage de Shannon-Fano Algorithme de génération d'un codage optimal absolu, pour des sources divisibles récursivement (jusqu'à un symbole par ensemble) en deux sous-ensembles équiprobables. Symboles Proba Mots-codes Longueur sk p(sk) ck lk s1 0.25 0 00 2 s2 0.25 0 1 01 2 s3 0.125 0 100 3 s4 0.125 0 1 101 3 s5 0.0625 0 1100 4 s6 0.0625 1 0 1 1101 4 s7 0.0625 1 0 1110 4 s8 0.0625 1 1 1111 4 Dpt. Génie Electrique Théorie de l ’information T. Grenier 29
  5. 5. • Codage binaire de Huffman (1952) - Algorithme de génération d'un codage optimal symbole par symbole. - Code à longueur variable Ö codes longs pour probas faibles • Algorithme c Extraction des probabilités d Création de l'arbre e Création de la table d'Huffman f Codage ÖOn transmet la table + les codes en binaire Ö n Lecture de la table d'Huffman o Création de l'arbre de décodage p Lecture séquentielle et décodage Dpt. Génie Electrique Théorie de l ’information T. Grenier 30 Rq : code d'échappement = Huffman + fixe Dpt. Génie Electrique Théorie de l ’information T. Grenier 31
  6. 6. • Codage Arithmétique (1976) Š Huffman Ö 1 symbole = 1 mot-code Š Arithmétique Ö 1 flot de symboles = nbre en virgule flottante ˆ Codeur ˆ Decodeur m=0 ; M=1 ; Tant que !(fin de fichier) { i = symbole suivant; soit [ai ; bi] associé à i ; s = M-m ; M = m + s.bi ; m = m + s.ai ; } Renvoyer m, le compacté du fichier N = nombre codé ; Faire { trouver i / N ∈[ai ; bi[ ; sortir i ; s = bi - ai ; N = (N - ai) / s ; } Tant qu'il reste un symbole à lire Dpt. Génie Electrique Théorie de l ’information T. Grenier 32 • Exemple si pi [ai ; bi[ Huffi 9 0.1 [0.0 ; 0.1[ 111 A 0.1 [0.1 ; 0.2[ 110 E 0.1 [0.2 ; 0.3[ 101 I 0.1 [0.3 ; 0.4[ 100 B 0.1 [0.4; 0.5[ 0111 G 0.1 [0.5 ; 0.6[ 0110 L 0.2 [0.6 ; 0.8[ 00 S 0.1 [0.8; 0.9[ 0100 T 0.1 [0.9 ; 1.0[ 0101 0.4372207712 = ? 10111010 10100100 11011001 01 01111000 00011101 10110010 11010100 Dpt. Génie Electrique Théorie de l ’information T. Grenier 33
  7. 7. Arithmétique ≥ Huffman / + de calcul Proba très élévée Æ1 bit Peu de symboles (È) Ø Run Length Codeurs statistiques - Dépendants de la qualité de la statistique - Statistique connue par le décodeur Dpt. Génie Electrique Théorie de l ’information T. Grenier 34 • Codage par longueur de plage (Run length coding) ÖCoder le nombre de symboles identiques 000001111100000000000000000 Ö 5w5b17w 000000000001111100000000000 Ö 11w5b11w A B C C C C C C A B C A B C Ö A B !6C A B C A B C • CCITT, Fax groupe III ª Huffman sur les plages de 0 précédant les 1 • JPEG ª Huffman sur les plages de 0 précédant les coeff. DCT Dpt. Génie Electrique Théorie de l ’information T. Grenier 35
  8. 8. • Table d'Huffman FAX III Dpt. Génie Electrique Théorie de l ’information T. Grenier 36 • Codage de type dictionnaire (1977) Ö Coder une extension de la source de longueur variable 1977 : LZ (Lempel & Ziv) Ö 1984 : LZW (Welch) 9Dictionnaire de symboles incrémenté dynamiquement ª apprentissage 9 Fichier codé = suite des adresses des mots du dico ! Gérer l'incrément des bits d'adresse PKZIP, ARJ Õ LZW + Huffman Dpt. Génie Electrique Théorie de l ’information T. Grenier 37
  9. 9. ˆ Codeur LZW ID = {Ci,Wi} , P=∅ Tant que (symboles à coder) C = symbole suivant Si P⊕C ∈ ID P = P⊕C Sinon sortir WP P⊕C Æ ID P=C Fin si Fin tant que sortir WP ˆ Décodeur LZW ID = {Ci,Wi} cW = 1er code ; sortir s(cW) Tant que (codes à lire) pW = cW cW = code suivant Si (s(cW) ∈ ID) sortir s(cW) P = s(pW) C = 1er symbole de s(cW) P⊕C Æ ID Sinon P = s(pW) C = 1er symbole de s(pW) sortir s(P⊕C) P⊕C Æ ID Fin si ABBABABAC.... Fin tant que Dpt. Génie Electrique Théorie de l ’information T. Grenier 38 • Conclusion sur le codage de source Utilisé en compression audio & vidéo (JPEG, MPEG ...) mais en étant associé à des algorithmes non réversibles (avec pertes) Supprime la redondance Ö Sensibilité au bruit Ö Codage de canal Dpt. Génie Electrique Théorie de l ’information T. Grenier 39

×