Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Chapter 2 SOURCES DISCRETES Marc URO CTABLE DES MATIERES ENTROPIE D'UNE SOURCE DISCRETE CODAGE DE SOURCE GENERALITES SUR LES CODES CODAGE D'UNE VARIABLE ALEATOIRE DISCRETE CODAGE D'UNE SOURCE CODES A LONGUEUR VARIABLE CODES BLOC C SOURCES DISCRÈTES ENTROP

SOURCES DISCRETES Marc URO CTABLE DES MATIERES ENTROPIE D'UNE SOURCE DISCRETE CODAGE DE SOURCE GENERALITES SUR LES CODES CODAGE D'UNE VARIABLE ALEATOIRE DISCRETE CODAGE D'UNE SOURCE CODES A LONGUEUR VARIABLE CODES BLOC C SOURCES DISCRÈTES ENTROPIE D'UNE SOURCE DISCRÈTE Exemple On considère les lettres de l'alphabet auxquelles on ajoute le caractère blanc ou espace pour séparer les mots Si on considère les symboles équiprobables et indépendants on obtient une entropie par lettre de H log bits Disposant dans une urne papiers sur chacun desquels est inscrit un des symboles et procédant à des tirages avec remise on obtiendrait une séquence du type XFOML RHKHJFFJUJ ZLPWCFWCKCYJFFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD Dans une telle séquence seules les lettres nous sont familières par leur agencement Un modèle plus ?n consiste à estimer les probabilités d'apparition des lettres en e ?ectuant des statistiques à partir des textes écrits Shannon a réalisé ces statistiques sur des textes anglais et il a obtenu Lettre E T A O N R I S Fréquence relative Lettre H D F L C M U G Y Fréquence relative Lettre P W B V K X J Q Z Fréquence relative C sources discrètes Le calcul de l'entropie par lettre e ?ectué à partir de ces fréquences relatives d'apparition des ? lettres assimilées à des probabilités conduit à H ?? pi log pi bits En e ?ectuant i de nouveaux tirages avec remise dans une urne contenant les lettres dans les proportions correspondant aux fréquences relatives du tableau précédent on obtiendrait une séquence de la forme OCRO HLI RGWR NMIEL VIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVA NAH BRL Cette 'phrase' ressemble un peu plus que la précédente à un texte anglais en ce sens que la longueur d'un mot y est voisine de la normale et que la répartition du nombre de voyelles et de consonnes est vraisemblable Toutefois cette séquence reste relativement éloignée d'un texte anglais Ceci tient au fait que les lettres successives d'un texte ne sont nullement indépendantes les unes des autres en anglais la lettre 't' est souvent suivie d'un 'h' tandis qu'elle est rarement suivie d'un 'z' ou d'un 'w' Pour tenir compte des dépendances entre une lettre et la lettre suivante il faut e ?ectuer des statistiques sur les couples de lettres qui apparaissent dans un texte sensé On peut alors assigner à chaque couple de lettres une probabilité d'apparition Ces nombres permettent le calcul de l'entropie conditionnelle H U U o? U U représente le couple formé par une lettre et la lettre suivante à l'aide de la relation H U U H U U ?? H U La valeur numérique obtenue est H bits Pour simuler l'expérience en prenant en considération la dépendance d'une lettre avec la suivante on procède comme suit urnes contiennent chacune les couples de lettres avec la même première lettre et dans des proportions correspondant aux valeurs estimées On extrait une série de couples de lettres de ces urnes en notant à chaque fois la seconde lettre À