Le document traite de la théorie de l'information selon Shannon, abordant des concepts clés tels que les sources discrètes, l'entropie, les canaux de communication et les techniques de codage. Il explore le modèle de communication, les types de sources et de canaux, ainsi que les applications pratiques telles que la cryptographie. Enfin, des théorèmes fondamentaux sont présentés, mettant l'accent sur le codage de source et le codage de canal.

1. Théorie de l’information
Thomas Grenier
Dpt. Génie Electrique Théorie de l ’information T. Grenier 1
Plan
• 1. Introduction ……………………….. D3-7
• 2. Sources discrètes & Entropie ……. D8-16
• 3. Canaux discrets & Capacité …….. D17-21
• 4. Codage de source ………………. D23-39
• 5. Codage de canal …………………. D41-73
• 6. Cryptographie ……………………. D75-D112
• 7. Conclusion ……………………….. D113
Dpt. Génie Electrique Théorie de l ’information T. Grenier 2

2. 1. Introduction
1948 : Shannon Æ Théorie de l'information
Réflexion sur les techniques de communication (XIX°)
- Mécanique, accoustique
- Ondes radio-électrique
- Télégraphe (code morse)
- Téléphone, ….
Système de communication = Σ fonctions physiques réalisables
ª Mauvaise compréhension des perturbations, des débits …
Vue d’ensemble d’un système de communication
indépendante des moyens techniques & physiques
Dpt. Génie Electrique Théorie de l ’information T. Grenier 3
/ Ca ne sert à rien !
☺ 1960 / conquête spatiale Æ codage de source
Aujourd'hui Ã
9GSM Ö codage de source & canal
9TV Num Ö codage de source & canal
9Réseaux Ö codage de canal (erreurs)
9@business Ö cryptage
Dpt. Génie Electrique Théorie de l ’information T. Grenier 4

3. • Paradigme de Shannon = modèle sys. com.
Source = je parle
Canal = l'air ambiant
Perturbations = bruit sonore
Destinataire = tu écoutes
Dpt. Génie Electrique Théorie de l ’information T. Grenier 5
• Modèle détaillé
9Th. Signaux Ö décrit messages et perturbations
9Modulation Ö modifie les signaux pour les propager
9Electronique Ö réalise les fonctions
9Th. Information Ö propose une mesure quantitative de
l'information et étudie sa représentation,
sa transmission, sa dégradation
Dpt. Génie Electrique Théorie de l ’information T. Grenier 6

4. 9Source : siège d'évènements aléatoires qui constituent
le message émis Ö Entropie
9Canal : transmet et dégrade le message Ö Capacité
Des messages différents portent la même information, le codage
cherche le message avec les meilleures propriétés.
9Codage de source Ö supprime la redondance, réduit le coût
9Codage de canal Ö protège contre les perturbations
9Cryptage Ö protège contre les curieux
Deux théorèmes fondamentaux :
z Codage de source z Codage de canal
Dpt. Génie Electrique Théorie de l ’information T. Grenier 7
2. Sources discrètes & Entropie
Sources débitant des messages sous forme discrète !
9Source discrète d'information : suite de variables aléatoires
discrètes X1, X2, … Xn
9Symbole ou lettre : élément fondamental irréductible
contenant une information, cad réalisation particulière de la
source d'information.
9Mot : succession finie de symboles
9Alphabet : totalité des D lettres
[X] = [x1,x2, …., xD]
Dpt. Génie Electrique Théorie de l ’information T. Grenier 8

5. 9Source discrète sans mémoire : source pour laquelle la
probabilité d'apparition d'un symbole ne dépend pas des
symboles précédents p ( x / x , x ,...) = p ( x
) in in − 1 in −
2 in 9Source discrète à mémoire : source pour laquelle la probabilité
d'apparition d'un symbole dépend du ou des symboles précédents
9Source sationnaire : source pour laquelle les probabilités
d'apparition des différents symboles ne dépendent pas de
l'origine des temps p ( x ) = p ( x )
∀
k in in + k 9Source à débit contrôlable : source pouvant générer des
messages comme suite à une commande externe (Télégraphe, .)
Dpt. Génie Electrique Théorie de l ’information T. Grenier 9
9Source à débit non contrôlable : source générant des
messages avec un débit fixé, propriété de la source (CD audio)
9Source discrète à contraintes fixes : source pour laquelle
certains symboles ne peuvent être utilisés qu'en des conditions
déterminées (Morse, …)
9Source discrète à contraintes probabilistes : source à
mémoire. Dans un état, la source peut générer n'importe
lequel des symboles avec une probabilité qui dépend des
symboles précédents (texte …)
9Source de Markov : source pour laquelle la probabilité de
générer un symbole ne dépend que du symbole à l'instant n-1
in in in in in p x x x p x x
( / , ,...) =
( / ) −1 −2 −1
Dpt. Génie Electrique Théorie de l ’information T. Grenier 10

6. Quantité d'information & Entropie
• Quantité d'information propre
Propriété de l'information = imprévisibilité
Quantité d'information propre : h ( x ) = f ( 1 p ( x
))
Avec f croissante & f(1)=0
2 evt. indépendants apportent la somme de leur quantité d'info
( , ) ( 1 h x h y
h x y = f p x y = f p x p y = f + = +
) ( ) ( )
) ( 1
p y
( )
) ( 1 ( ). ( )
p x
( )
) ( 1 ( , )
f
f Æ fonction logarithme (Base 2 >> bit)
( ) log( 1 p x h x = p x = −
( )) log( ( ))
Dpt. Génie Electrique Théorie de l ’information T. Grenier 11
( , ) log( 1 h x y = p x y
( , ))
( ) log( 1 h x y = p x y
( ))
Règle de Bayes : p(x, y) = p(x y). p( y) = p( y x). p(x) = p( y, x)
h(x, y) = h(x y) + h( y) = h( y x) + h(x) = h( y, x)
h(x y) = h(x) si x et y indépendants
Ex Æ cartes
Dpt. Génie Electrique Théorie de l ’information T. Grenier 12

7. • Entropie
Hyp : source discrète finie stationnaire sans mémoire
Emission = variable aléatoire X
= ( = ) pour i = 1,2, ..., n i i p p X x
1
n
= Σ=
1
i
i p
Quantité d'information moyenne associée
à chaque symbole de la source = entropie
n
n
Σ Σ
= =
i i H X E h X p p p p
( ) = ( ( )) = .log(1 ) = −
.log( )
i
i i
i
1 1
Dpt. Génie Electrique Théorie de l ’information T. Grenier 13
• Ex : Source binaire
p (1)
=
p
p (0) = 1
−
p
⎩ ⎨ ⎧
p p p p p
.log( ) (1 ). log(1 ) pour 0 1
− − − − < <
p
0 si =
0 ou 1
=
H X
( )
Dpt. Génie Electrique Théorie de l ’information T. Grenier 14

8. • Propriétés de l ’entropie
9Continuité : l'entropie est une fonction continue de chaque
variable pi.
9Additivité : de part la définition de l'information propre.
9Positive :
9Bornée :
( ) ( , ,..., ) 0 1 2 = ≥ n H X H p p p
( ) ( 1 , 1 ,..., 1 ) log( n)
H X ≤ H =
• Redondance
n n n
( ) ( ) max R = H X − H X
ρ = − H X
1 ( )
max H X
( )
Dpt. Génie Electrique Théorie de l ’information T. Grenier 15
• Entropie & Débit d ’information
9Le débit d'information d'une source est donné par le produit
de l'entropie de la source (valeur moyenne de l'info /symbole)
par le nombre moyen de symboles par seconde soit :
D = H X bits s− X
( ) ( . 1 ) avec τ durée moyenne d' un symbole
τ
• Source Qaire
9Source Qaire : source S dont l'alphabet possède Q éléments
9kième extension : source Sk dont l'alphabet Qkaire est obtenu
en groupant par bloc de k celui de la source S
Dpt. Génie Electrique Théorie de l ’information T. Grenier 16

9. 3. Canaux discrets & Capacité
9Canal : milieu de transmission de l'information situé entre la source
et la destination. Le canal opère une transformation entre l'espace
des symboles à l'entrée et celui de la sortie.
9Canal discret : les espaces d'entrée et de sortie sont discrets
9Canal continu : les espaces d'entrée et de sortie sont
continus
9Canal sans mémoire : si la transformation d'un symbole x à
l'entrée en un symbole y en sortie ne dépend pas des
transformations antérieures
9Canal stationnaire : si les transformations ne dépendent pas de
l'origine des temps
Dpt. Génie Electrique Théorie de l ’information T. Grenier 17
[ ]
⎤
⎥ ⎥ ⎥ ⎥ ⎦
⎡
=
⎢ ⎢ ⎢ ⎢
⎣
m
m
x y x y ...
x y
1 1 1 2 1
x y x y x y
2 1 2 2 2
... ...
x y x y ...
x y
n n n m
X .
Y
1 2
[ ]
⎡
=
p x y p x y p x y
( , ) ( , ) ... ( , )
1 1 1 2 1
m
p x y p x y p x y
( , ) ( , ) ( , )
2 1 2 2 2
... ...
n n n m
• Probabilités marginales
i i j p x p x y
( ) ( , )
j i j p y p x y
( ) ( , )
i x p x p X H Σ=
j y p y p Y H Σ=
Dpt. Génie Electrique Théorie de l ’information T. Grenier 18
⎤
⎥ ⎥ ⎥ ⎥
⎦
⎢ ⎢ ⎢ ⎢
⎣
( , ) ( , ) ... ( , )
( , )
1 2
m
p x y p x y p x y
P X Y
Σ=
=
m
j
1
Σ=
=
n
i
1
( ) ( ).log( ( ))
1
i
n
i
= −
( ) ( ).log( ( ))
1
j
m
j
= −

10. • Entropie réunie ou conjointe
n
m
i j H X Y ΣΣ p x y p x y
( , ) ( , ).log( ( , ))
j
1 1
i
= =
= −
• Entropie conditionnelle ou équivoque
n
m
i j H X Y ΣΣ p x y p x y
( / ) ( , ).log( ( / ))
j
1 1
i
= =
= −
• Canaux non perturbés
H X Y H Y X
( / ) = ( / ) =
0
H X Y H X H Y
( , ) = ( ) =
( )
i j
i j
• Canaux très perturbés
H X Y H X H Y X H Y
( / ) = ( ) et ( / ) =
( )
H ( X , Y ) = H ( X ) +
H ( Y
)
Dpt. Génie Electrique Théorie de l ’information T. Grenier 19
Transinformation & capacité
• Information mutuelle
i(x; y) = log( p(x y) p(x)) Æi(x; y) = i( y; x)
• Transinformation
)
p x y
( , )
i j
I X Y ΣΣp x y
i j p x p y
( ). ( )
n
m
( ; ) ( , ).log(
j
1 1 i j
i
= =
=
I X Y H X H Y H X Y
( ; ) = ( ) + ( ) −
( , )
I X Y H X H X Y H Y H Y X
( ; ) = ( ) − ( / ) = ( ) −
( / )
Dpt. Génie Electrique Théorie de l ’information T. Grenier 20

11. • Capacité d’un canal
C = Max (I (X ;Y ))
• Redondance d’un canal
Rc = C − I (X;Y)
• Efficacité d’un canal
I X Y
η = ( ; )
C
c
I X Y
ρ =1− ( ; )
C
Ex Æ canal binaire
c
Dpt. Génie Electrique Théorie de l ’information T. Grenier 21