Théo inf

549 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
549
Sur SlideShare
0
Issues des intégrations
0
Intégrations
4
Actions
Partages
0
Téléchargements
9
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Théo inf

  1. 1. Plan du cours Introduction Système de communication Schéma général de la communication Sources d’information Sources d’information discrètes Canal Canal discret sans mémoire Canal continu03/01/13 1
  2. 2. Théorie de l’information Théorie de l’information: Théorie mathématiquequi se préoccupe des systèmes dinformation, dessystèmes de communication et de leurs efficacités.• Créée par C. E. Shannon dans les années 40.•Fournit une mesure quantitative de la notiondinformation apportée par un message (ou uneobservation). 03/01/13 2
  3. 3. Système de communication Moyens de transmettre une information depuis lasource jusqu’à un utilisateur à travers un canal.Source : voix, musique, image (fixe ou animée), texte, . . .Canal : radio, fil, fibre optique, support magnétique ou optique, . . .Bruit : perturbations électromagnétiques, rayures, . . .03/01/13 3
  4. 4. Système de communication03/01/13 4
  5. 5. Théorie de linformation La transmission peut se faire dans l’espace oudans le temps.Codeur: Ensemble des opérations effectuées sur lasortie de la source avant la transmission. Cesopérations peuvent être par exemple:•la modulation, la compression, le brouillage, l’ajout deredondance, la cryptographieLe décodeur doit être capable, à partir de la sortiedu canal, de restituer de façon acceptablel’information fournie par la source. 03/01/13 5
  6. 6. Théorie de linformationEn Général, Les sciences de linformation essaient de dégager lesens des informations en vue de prendre des décisions depuis desdonnées en sappuyant sur des questions de:  corrélation,  dentropie  dapprentissage.Alors que Les technologies de linformation, soccupent de lafaçon de:  concevoir,  implémenter  et déployer des solutions pour répondre à des besoins identifiés.03/01/13 6
  7. 7. Théorie de linformation On constate donc que dans la chaîne qui mène de ladonnée à laction (prise de décision, déduction,….):(données -> information -> connaissance -> sens -> motivation)• Seule les deux premières transformations sont prises encompte par la théorie de linformation classique données -> information03/01/13 7
  8. 8. Schéma général de la communication X=“HELLO” x=0011010100… y=0011000100… Y=“CELLO” Sourceinformation Transmetteur Canal Récepteur Destination P(X) X=F(x) y Y=G(y) Bruit P(y|x) 1er rôle du transmetteur/récepteur : – Traduire la source en un langage admis par le canal 2ème rôle du transmetteur/récepteur : – réduire la redondance de la source 3ème rôle du transmetteur/récepteur : – gérer les erreurs du canal, – les détecter et/ou les corriger 03/01/13 8
  9. 9. Sources d’information• Définition : Systèmes capables de sélectionner etd’émettre des séquences de signes (ou messages)appartenant à un ensemble (ou alphabet) donné• Ex. de signes : lettres, chiffres, échantillons• Ex. de sources : système à 2 niveaux logiques, texte03/01/13 9
  10. 10. Modèles de Sources d’informationOn peut distinguer, parmi les classes de modèlesde sources:• les sources discrètes sans mémoire, finie ou infinie.• les sources non discrètes, ou sources continues,03/01/13 10
  11. 11. Sources d’information discrètesUne source discrète χ est un alphabet finiχ = (a1,…, aK) muni dune loi de probabilité PX.• Exemples : Sources d’information alphanumériques, de symboles binaires, d’information numérique (signaux quantifiés en amplitude, en fréquence ou en phase)2 sortes de sources:• Sources sans mémoire : signes générés indépendamment les uns des autres => modèle de Bernoulli• Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents=> modèle de Markov: Ex : description statistique des langues écrites usuelles03/01/13 11
  12. 12. Hypothèse sur la source• On considère le message produit par la source comme un signal aléatoire dont on peut connaître les probabilités d’occurrence des symboles p(X).Exemple 1: source binaire équiprobable, “010010111001…”, p(0) = 1-p(1) = 0.5Exemple 2: source binaire biaisée, “11011110011111…”, p(0) = 1-p(1) = 0.2Exemple 3: source alphabétique équiprobable, “AGRWTCHG…”, p(A) = p(B) = p(C) = … p(Z) = 1/26. 03/01/13 12
  13. 13. 03/01/13 13
  14. 14. Canal• Pour modéliser un canal de transmission, il est nécessaire de spécifier l’ensemble des entrées et l’ensemble des sorties possibles.• Canal discret sans mémoire: L’entrée est une lettre prise dans un alphabet fini A = {a1,...,an} et la sortie est une lettre prise dans un alphabet fini B = {b1,...,bm}03/01/13 14
  15. 15. Canal discret sans mémoire• Chaque lettre de la séquence reçue ne dépend statistiquement que de la lettre émise de même position.• Entièrement décrit par la donnée des probabilités conditionnelles p(b|a) pour toutes les lettres a de l’alphabet d’entrée et toutes les lettres b de l’alphabet de sortie.03/01/13 15
  16. 16. Canal continu• Plus proches des canaux physiques.• L’entrée et la sortie sont des fonctions continues du temps.03/01/13 16
  17. 17. Canal continu• Le codeur du canal discret, transforme une séquence binaire en une séquence de lettres d’un alphabet fini A = {a1, . . . , an}.• La seconde partie du codeur, le modulateur de données digitales, envoie pendant un temps τc sur le canal une des fonctions de temps prédéfinies s1(t), . . . , sn(t).• La durée τc est l’intervalle de temps séparant l’émission de deux lettres par le codeur de canal discret.03/01/13 17
  18. 18. Canal continu• L’ensemble de ces fonctions du temps mises bout à bout est converti à la sortie du canal par le démodulateur de données digitales en une séquence de lettres d’un alphabet de sortie B = {b1, . . . , bm} au rythme, d’une lettre toutes les τc secondes03/01/13 18
  19. 19. Hypothèse sur le canal• On considère le canal de transmission en termes probabilistes via les probabilités de transition p(y|x) d’obtenir un symbole y en sortie quand le symbole x a été introduit en entréeExemple 1: canal binaire sans bruit, p(0|0) = p(1|1) = 1 p(1|0) = p(0|1) = 0Exemple 2: canal binaire bruité, p(0|0) = p(1|1) = 1- p , p(1|0) = p(0|1) = pExemple 3: machine à écrire bruitée, p(A|A) = p(B|A) = 0.5 , p(B|B) = p(C|B) = 0.5 , p(C|C) = p(D|C) = 0.5 , … 03/01/13 19
  20. 20. 03/01/13 20
  21. 21. Exemple d’informationProblème:Une bibliothèque possède un grand nombre: douvrages, des revues, des livres et des dictionnaires.Nous cherchons un cours complet sur la théorie delinformation. 03/01/13 21
  22. 22. Exemple d’information• Tout dabord, il est logique que nous ne trouveronspas ce dossier dans des ouvrages darts ou delittérature; nous venons donc dobtenir uneinformation qui diminuera notre temps derecherche.• Il est précisé que nous voulions aussi un courscomplet, nous ne le trouverons donc ni dans unerevue, ni dans un dictionnaire.• Nous avons obtenu une informationsupplémentaire (nous cherchons un livre), quiréduira encore le temps de notre recherche. 03/01/13 22
  23. 23. Notion de la quantité d’information03/01/13 23
  24. 24. Notion de la quantité d’information03/01/13 24
  25. 25. Notion de la quantité d’informationProblèmeConsidérons N boîtes numérotées de 1 à N.Un individu A a caché au hasard un objet dans une de ces boîtes.Un individu B doit trouver le numéro de la boîte où est caché lobjet. Pour cela, B a le droit de poser des questions à lindividu A A doit répondre sans mentir par OUI ou NON.Mais chaque question posée représente un coût à payer par lindividu B (parexemple un dinar). Un individu C sait dans quelle boîte est caché lobjet. Il a la possibilité devendre cette information à lindividu B.B nacceptera ce marché que si le prix de C est inférieur ou égal au coûtmoyen que B devrait dépenser pour trouver la boîte en posant des questionsà A.Linformation détenue par C a donc un certain prix. Ce prix représente la quantité dinformation représentée par la connaissancede la bonne boîte : cest le nombre moyen de questions à poser pouridentifier cette boîte.Nous la noterons I. 03/01/13 25
  26. 26. Notion de la quantité d’information•Si N = 1, I = 0. Il ny a quune seule boîte. Aucune questionnest nécessaire.•Si N = 2, I = 1. On demande si la bonne boîte est la boîten°1. La réponse OUI ou NON détermine alors sansambiguïté quelle est la boîte cherchée.•Si N = 4, I = 2. On demande si la boîte porte le n°1 ou 2.La réponse permet alors déliminer deux des boîtes et ilsuffit dune dernière question pour trouver quelle est labonne boîte parmi les deux restantes. 03/01/13 26
  27. 27. Notion de la quantité d’information•Si N = 2k, I = k. On écrit les numéros des boîtes en base 2. Lesnuméros ont au plus k chiffres binaires, et pour chacun des rangsde ces chiffres, on demande si la boîte cherchée possède le chiffre0 ou le chiffre 1.• En k questions, on a déterminé tous les chiffres binaires de labonne boîte. Cela revient également à poser k questions, chaquequestion ayant pour but de diviser successivement le nombre deboîtes considérées par 2 (méthode de dichotomie).On est donc amené à poser I = log2(N), mais cette configuration nese produit que dans le cas de N événements équiprobables. 03/01/13 27
  28. 28. Notion de la quantité d’information• Supposons maintenant que les boîtes soient colorées, et quil yait n boîtes rouges.• Supposons également que C sache que la boîte où est cachélobjet est rouge. Quel est le prix de cette information?• Sans cette information, le prix à payer est log(N). Muni de cetteinformation, le prix à payer nest plus que log(n).• Le prix de linformation « la boîte cherchée est rouge » est donc :log(N) − log(n) = log(N / n). 03/01/13 28
  29. 29. Notion de la quantité d’informationOn définit ainsi la quantité dinformation comme une fonctioncroissante de N/n avec :N : le nombre dévènements possiblesn : le cardinal du sous-ensemble délimité par linformationQuantité dinformation: I=log2(N/n)03/01/13 29
  30. 30. 03/01/13 30
  31. 31. Information mutuelle03/01/13 31
  32. 32. 03/01/13 32
  33. 33. 03/01/13 33
  34. 34. Entropie, formule de ShannonSupposons maintenant que les boîtes soient de diversescouleurs :n1 boîtes de couleur C1,n2 boîtes de couleur C2,...,nk boîtes de couleurs Ck,avec n1 + n2 + ... + nk = N. 03/01/13 34
  35. 35. Entropie, formule de ShannonLa personne C sait de quelle couleur est la boîte recherchée. Quel est le prix de cette information ?Linformation « la boîte est de couleur C1 » vaut log N/n1,et cette éventualité a une probabilité n1/N.Linformation « la boîte est de couleur C2 » vaut log N/n2,et cette éventualité a une probabilité n2/N... 03/01/13 35
  36. 36. Entropie, formule de ShannonLe prix moyen de linformation est donc: n1/N log( N/n1 )+ n2/N log (N/n2 )+ ... + nk/N log (N/nk)Plus généralement, si on considère k évènements disjointsde probabilités respectives p1, p2, ..., pk avec :p1 + p2 + ... + pk = 1, alors la quantité dinformationcorrespondant à cette distribution de probabilité est: p1 log 1/p1 + ... + pk log 1/pk.Cette quantité sappelle entropie de la distribution deprobabilité 01/03/13 36
  37. 37. Entropie, formule de Shannon L’entropie permet donc de mesurer la quantité dinformation moyenne dun ensemble dévènements (en particulier de messages) et de mesurer son incertitude. On la note H : avec la probabilité associée à lapparition de lévènement i.01/03/13 37
  38. 38. Entropie• Du point de vue dun récepteur, plus la source émet dinformations différentes, plus lentropie (ou incertitude sur ce que la source émet) est grande, et vice versa.• Plus le récepteur reçoit dinformation sur le message transmis, plus lentropie (incertitude) vis-à-vis de ce message décroît.01/03/13 38
  39. 39. Entropie• La définition de lentropie dune source selon Shannon est telle que plus la source est redondante, moins elle contient dinformation.• En labsence de contraintes particulières, lentropie est maximale pour une source dont tous les symboles sont équiprobables.01/03/13 39
  40. 40. Entropie• Dans le cas particulier dun système de télécommunication, lentropie de la source dinformation (le transmetteur) indique lincertitude du récepteur par rapport à ce que la source va transmettre01/03/13 40
  41. 41. Entropie • Une source réputée envoyer toujours le même symbole, disons la lettre a, a une entropie nulle, cest-à-dire minimale. • En effet, un récepteur qui connait seulement les statistiques de transmission de la source est assuré que le prochain symbole sera un a, sans jamais se tromper. • Le récepteur na pas besoin de recevoir de signal pour lever lincertitude sur ce qui a été transmis par la source car celle-ci nengendre pas daléa01/03/13 41
  42. 42. Entropie• Par contre, si la source est réputée envoyer un a la moitié du temps et un b lautre moitié, le récepteur est incertain de la prochaine lettre à recevoir. Lentropie de la source dans ce cas est donc non nulle (positive) et représente quantitativement lincertitude qui règne sur linformation émanant de la source.01/03/13 42
  43. 43. Entropie• Du point de vue du récepteur, lentropie indique la quantité dinformation quil lui faut obtenir pour lever complètement lincertitude (ou le doute) sur ce que la source a transmis01/03/13 43
  44. 44. Entropie • Si une source émet nlettres équiprobables (ou encore avec une loi de probabilité uniforme), son entropie est donc log2 n. • Si n= 2r, son entropie est alors r. Or pour représenter 2r lettres distinctes en binaires, rcases sont nécessaires. L’entropie d’une source est quelquefois donnée en bits/seconde01/03/13 44
  45. 45. 01/03/13 45
  46. 46. 01/03/13 46
  47. 47. Entropie d’une source discrète• Exemple 2: 26 lettres de l’alphabet 26 1  1  H ( X ) = −∑ log  = 4.7bits / lettre k =1 26  26 • Exemple 3: code ASCII 7 bits - 128 symboles 128 1  1  H (X ) =−∑ log128  = 7bits / lettres k = 128 1  • Exemple 4: X dans {a,b,c,d}, p(a) = ½ , p(b) = ¼ , p(c) = p(d) = ? 1 1 1 1 1 1 1 1 7H ( X ) = − log − log − log − log = bits / symbole 2 2 4 4 8 8 8 8 401/03/13 47
  48. 48. Entropie d’une source discrète01/03/13 48
  49. 49. Entropie d’une source discrète01/03/13 49
  50. 50. Entropie d’une source discrète01/03/13 50
  51. 51. 01/03/13 51
  52. 52. 01/03/13 52
  53. 53. 01/03/13 53
  54. 54. 01/03/13 54
  55. 55. 01/03/13 55

×