Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Chapitre2 sources discretes

Entropie d ? une Source discrète Exemple Introductif On considère les lettres de l ? alphabet Blanc ? symboles équiprobables L ? entropie pour chaque lettre est de H log bits On e ?ectue un tirage avec remise XFOML RHKHJFFJUJ ZLPWCFWCKCYJFFJEYVKCQSGHYD QPAAMKBZAACIBZLHJQD Si on tient compte des fréquences d ? apparition de chaque symbole à partir d ? un apprentissage ? H ?? pi log pi bits i OCRO HLI RGWR NMIEL VIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVA NAH BRL Laurent BOUILLAUT Théorie de l ? Information ?? Chapitre ?? Sources Discrètes C Entropie d ? une Source discrète Exemple Introductif suite Si on tient maintenant compte de la dépendance entre les lettres successives en anglais on a souvent un ? h ? après un ? t ? et rarement un ? w ? après un ? z ? ? Recherche de statistiques sur les couples de lettres à partir de l ? ensemble d ? apprentissage On peut alors calculer l ? entropie conditionnelle pour chaque couple de lettres H U U H U U ?? H U H bits urnes contenant chacune les couples de lettres avec la même première lettre et dans des proportions correspondant aux valeurs estimées On tire un couple on note les deux lettre on tire un autre couple dans l ? urne correspondant à la dernière lettre écrite On note la dernière lettre du couple ? ON IE ANTSOUTINYS ARE T INCORE ST BE S DEALY ACHIN D ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTISBE En considérant maintenant les fréquences d ? apparition de lettres par triplets H bits Il faut maintenant urnes ? IS NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONSTRURES OF THE RETAGIN IS REGOACIONA OF CRE Laurent BOUILLAUT Théorie de l ? Information ?? Chapitre ?? Sources Discrètes C Entropie d ? une Source discrète Exemple Introductif suite Si on tenait compte de lettres successives H bits En moyenne en anglais l ? information apportée par une lettre est de l ? ordre de bits L ? entropie relative H H est de l ? ordre de La redondance est de l ? ordre de Généralisation Soit U une source discrète un dispositif susceptible de fournir des symboles issu d ? un alphabet U U ? Un ? les VA correspondant aux valeurs émises par U aux instants ? n ? U est dite Stationnaire si La loi de probabilité de U ne dépend pas de l ? instant considéré ie ?? k les Uk suivent la même loi Entropie d ? une source La di ?culté tient à ce que les VA Ui ne sont pas forcément indépendantes et une dé ?nition correcte de l ? Entropie par lettre de la source doit prendre en compte les liens probabilistes entre les Ui Laurent BOUILLAUT Théorie de l ? Information ?? Chapitre ?? Sources Discrètes C Entropie d ? une Source discrète Généralisation suite Première approche On dé ?nit d ?