Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Théorie de l’information | Codage de source 1 Département D’Electronique Master

Théorie de l’information | Codage de source 1 Département D’Electronique Master Académique : Systèmes de Télécommunications numériques Matière : THEORIE DE L’INFORMATION POUR LES TELECOMMUNICATIONS « Codage de Source » Année 2011/2012 THEORIE DE L’INFORMATION POUR LES TELECOMMUNICATIONS « Codage de Source » UED122 Dr.L. SALAH Née DEKKICHE Théorie de l’information | Codage de source 2 CHAPITRE 1 1. Introduction : Il est possible de classer les sources en deux catégories selon les signaux ou messages qu’elles émettent : Les sources analogiques : domaine de la TV, la vidéo, la radio (l’audio en général). Les sources discrètes : disques optiques (Cd, DVD,…), les mémoires magnétiques (disques durs, bandes,…). Quelque soit le type de source, l’information doit être transmise sous forme numérique. L’encodeur de source est l’élément chargé de la transformation du format de l’information. Bien entendu, le problème est différent selon que nous avons à faire à une source continue ou discrète. 2. Modèle mathématique d’une source : Une source transmet une information à un récepteur celui-ci ne connaissant pas l’information qui va lui être transmise. On peut dire alors : 1. Une source d'information émet en général un message non déterministe. D'un point de vue signal ça ne peut être qu'un signal aléatoire et la modélisation mathématique associée doit être stochastique une information est un processus stochastique. 2. Ce qui rend une information intéressante est son caractère imprédictible. Une information est ainsi d'autant plus riche qu'elle est peu probable. 3. Source discrète sans mémoire : Une source dispose d'un "alphabet" constitué d'éléments ou symboles ou caractères {x1 , x2 , x3,…, xk} K est la longueur de l'alphabet. Ces symboles sont associés pour constituer un message. Emettre un message revient à émettre une succession de symboles appartenant à une source. Chaque symbole xk de l'alphabet a une probabilité d'utilisation pk. Théorie de l’information | Codage de source 3 Définition : une source sans mémoire est une source pour laquelle la probabilité d'émission d'un caractère est indépendante de ce qui a été émis avant ou sera émis après. C’est une catégorie de sources qui est plus simple à modéliser. 4. Architecture générale d’une chaine de transmission: 1. Quantité d'information: La quantité d'information d'un symbole est d'autant plus grande que celui La quantité d'information de deux symboles successifs est la somme de leurs quantités d'information. La quantité d'information notée I est une fonction qui doit ainsi avoir les propriétés suivantes: 1. I(.) est une fonction continue de la probabilité p 2. I(pk) si pk I(pk) est une fonction décroissante de p 3. I(pk et pj) = I(pk) + I(pj). 4. Un symbole certain possède une quantité d Une fonction mathématique qui remplit les conditions Pour obtenir la propriété 2, il suffit de prendre La quantité d'information d'un symbole x Remarque : la base du logarithme utilisée est pour binary digit ou binary unit 2. Entropie d'une source : L'entropie H(S) d'une source S est cette source. Du point de vue mathématique, cela s'exprime par H(S) = E[ I(X) ] soit: Théorie de l’information | Codage de source CHAPITRE 2 Quantité d'information: La quantité d'information d'un symbole est d'autant plus grande que celui-ci est peu probable. La quantité d'information de deux symboles successifs est la somme de leurs quantités d'information. quantité d'information notée I est une fonction qui doit ainsi avoir les propriétés suivantes: I(.) est une fonction continue de la probabilité pi. ) est une fonction décroissante de pk. Un symbole certain possède une quantité d'information nulle : I(pk=1) = 0. Une fonction mathématique qui remplit les conditions 1, 3 et 4 n’est autre que il suffit de prendre –log(pk) = log(1/pk). d'information d'un symbole xk de probabilité pk a ainsi été définie par Shannon comme : utilisée est la base 2 et c'est cette base qui définit H(S) d'une source S est la quantité d'information moyenne cette source. Du point de vue mathématique, cela s'exprime par H(S) = E[ I(X) ] soit: Théorie de l’information | Codage de source 4 ci est peu probable. La quantité d'information de deux symboles successifs est la somme de leurs quantités d'information. quantité d'information notée I est une fonction qui doit ainsi avoir les propriétés suivantes: n’est autre que : log(pk). a ainsi été définie par Shannon comme : et c'est cette base qui définit l'unité obtenue : le bit contenue dans l'alphabet X de cette source. Du point de vue mathématique, cela s'exprime par H(S) = E[ I(X) ] soit: Elle est exprimée en bits/symbole ou Shannon/symbole. Exemple: source binaire avec deux symboles Cette entropie est maximale pour p = Cet exemple est un cas particulier d'une source ayant un alphabet de K symboles. On est maximale lorsque tous les symboles sont équiprobables donc p Ce qui montre le théorème suivant sur l'entropie d'une source: 3. Entropie jointe entre deux sources : • Cette notion permet de mesurer le degré de similitude entre deux sources. • Soit deux sources : X d'alphabet {x • Si p( xi , yj ) est la densité de probabilité jointe entre deux caractères alors la quantité d'information jointe est : Définition : l’entropie jointe des deux sources est alors la quantité d'information moyenne jointe entre deux caractères de la source : Théorie de l’information | Codage de source Elle est exprimée en bits/symbole ou Shannon/symbole. source binaire avec deux symboles "0" et "1" de probabilités respectives p et = 0,5 et vaut zéro pour p = 0 et p = 1. Cet exemple est un cas particulier d'une source ayant un alphabet de K symboles. On est maximale lorsque tous les symboles sont équiprobables donc pk = 1/K et l'entropie devient Ce qui montre le théorème suivant sur l'entropie d'une source: Entropie jointe entre deux sources : mesurer le degré de similitude entre deux sources. Soit deux sources : X d'alphabet {x1, x2,…,xN} et Y d'alphabet {y1, y2,…,y ) est la densité de probabilité jointe entre deux caractères alors la quantité d'information des deux sources est alors la quantité d'information moyenne jointe entre deux Théorie de l’information | Codage de source 5 Elle est exprimée en bits/symbole ou Shannon/symbole. de probabilités respectives p et 1-p. Cet exemple est un cas particulier d'une source ayant un alphabet de K symboles. On démontre que son entropie entropie devient: ,…,yM} ) est la densité de probabilité jointe entre deux caractères alors la quantité d'information des deux sources est alors la quantité d'information moyenne jointe entre deux Cas ou les deux sources sont indépendantes: 4. Quantité d'information mutuelle : Généralisation du calcul précédent avec les sources dépendantes en faisant apparaître les deux termes précédents : Dans ce résultat le premier terme est un terme supplémentaire par rapport au cas de sources indépendantes : c'est le terme d'information mutuelle. Sachant que p( la quantité d'information mutuelle I( X , Y ) Théorie de l’information | Codage de source Cas ou les deux sources sont indépendantes: Quantité d'information mutuelle : précédent avec les sources dépendantes en faisant apparaître les deux termes Dans ce résultat le premier terme est un terme supplémentaire par rapport au cas de sources indépendantes : c'est le terme d'information mutuelle. Sachant que p( xi , yj ) p( xi ).p( yj ) ce terme est négatif . En définissant quantité d'information mutuelle I( X , Y ) entre les deux sources comme une quantité positive nous aurons: Théorie de l’information | Codage de source 6 précédent avec les sources dépendantes en faisant apparaître les deux termes Dans ce résultat le premier terme est un terme supplémentaire par rapport au cas de sources indépendantes : p( xi ).p( yj ) ce terme est négatif . En définissant entre les deux sources comme une quantité positive nous aurons: Nous retrouvons bien sûr le cas de deux sources indépendantes pour lesquelles : 5. Entropie conditionnelle : Nous pouvons aussi définir à partir des densités de probabilité conditionnelles une quantité d'information conditionnelle: Puis une entropie conditionnelle : Et enfin une entropie conditionnelle moyenne 6. Expressions de la quantité d'information mutuelle et de l'entropie conditionnelle moyenne : L'entropie conditionnelle permet d'obtenir d'autres formulations de ces quantités en utilisant la loi de Bayes : Théorie de l’information | Codage de source Nous retrouvons bien sûr le cas de deux sources indépendantes pour lesquelles : Entropie conditionnelle : Nous pouvons aussi définir à partir des densités de probabilité conditionnelles une quantité d'information entropie conditionnelle moyenne : Expressions de la quantité d'information mutuelle et de l'entropie conditionnelle L'entropie conditionnelle permet d'obtenir d'autres formulations de ces quantités en utilisant la loi de Théorie de l’information | Codage de source 7 Nous pouvons aussi définir à partir des densités de probabilité conditionnelles une quantité d'information Expressions de la quantité d'information mutuelle et de l'entropie conditionnelle L'entropie conditionnelle permet d'obtenir d'autres formulations de ces quantités en utilisant la loi de Un résultat semblable peut être établi en quantité d'information mutuelle: Ces expressions ajoutent deux nouvelles formulations de l'entropie jointe des deux sources : 7. Intérêt de ces quantités et formulations : Lors de la transmission par un canal, uploads/Philosophie/ cours-codage-source.pdf