TU Dresden, Fakult¨ at Mathematik und Naturwissenschaften, Institut f¨ ur Algeb
TU Dresden, Fakult¨ at Mathematik und Naturwissenschaften, Institut f¨ ur Algebra. Informationstheorie Ausarbeitung zum Seminar Schreiben mathematischer Texte Bearbeiter: Sandra Winzer Matrikel-Nr: 3396656 Dominic H¨ anel Matrikel-Nr: 3343358 Franziska Boitz Matrikel-Nr: 3351850 Alexander M¨ uller Matrikel-Nr: 3265725 Betreuer: Prof. Dr. Stefan E. Schmidt Eingereicht am 16.06.2010 Inhaltsverzeichnis 1 Historischer Einstieg 3 1.1 Etymologie des Informationsbegriffs . . . . . . . . . . . . . . . 3 1.2 Informationstheorie und Computertechnik im 20. Jahrhundert 3 1.3 Historische Entwicklung der Informationstheorie (SHANNON) 4 1.3.1 Biographie Claude Elwood Shannon . . . . . . . . . . . 4 1.3.2 SHANNONs Errungenschaften in der Informationstheo- rie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2 Informationstheorie 8 2.1 Gegenstand der Informationstheorie und Codierungstheorie . . 8 2.2 Der BegriffInformation und Informationsmaß . . . . . . . . . 9 2.3 Aufgaben und Ziele . . . . . . . . . . . . . . . . . . . . . . . . 10 3 Algebraische Grundlagen 10 3.1 Definitionen wichtiger Grundbegriffe . . . . . . . . . . . . . . 10 3.2 Vektorr¨ aume . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.3 Polynome . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 4 Grundlagen aus der Wahrscheinlichkeitsrechnung 17 5 Codierungstheorie 21 5.1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 6 Code - Ein- und Abgrenzung 21 6.1 Definition Code . . . . . . . . . . . . . . . . . . . . . . . . . . 21 6.2 Redundanz . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 6.3 Wichtige Codes . . . . . . . . . . . . . . . . . . . . . . . . . . 22 7 Effizienz eines Codierers 23 8 Vorstellung einiger Codes 25 8.1 Einordnung der Kanalcodes . . . . . . . . . . . . . . . . . . . 25 8.2 Fehlerkorrektur mit Hilfe des Hamming-Abstandes . . . . . . . 26 8.2.1 Der Hamming-Abstand . . . . . . . . . . . . . . . . . . 27 8.3 Lineare Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 8.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . 29 8.3.2 Die Generatormatrix . . . . . . . . . . . . . . . . . . . 30 1 8.3.3 Die Kontrollmatrix . . . . . . . . . . . . . . . . . . . . 31 8.4 Zyklische Codes . . . . . . . . . . . . . . . . . . . . . . . . . . 32 8.4.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . 32 8.4.2 Darstellung als Polynome . . . . . . . . . . . . . . . . 32 8.4.3 Das Generatorpolynom . . . . . . . . . . . . . . . . . . 33 8.4.4 Codierung . . . . . . . . . . . . . . . . . . . . . . . . . 34 8.5 Anmerkung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 9 Entropie 37 9.1 Einf¨ uhrung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 10 Verwendung von Entropie in Fachrichtungen 37 10.1 Physikalisch-chemischer Entropiebegriff. . . . . . . . . . . . . 37 10.2 Entropie von Wahrscheinlichkeitsr¨ aumen . . . . . . . . . . . . 40 10.2.1 Eigenschaften der Entropie eines endlichen Wahrschein- lichkeitsraumes . . . . . . . . . . . . . . . . . . . . . . 41 10.2.2 Eindeutigkeitssatz f¨ ur die Entropie . . . . . . . . . . . 43 10.3 Der Entropiebegriffin der Informationstheorie . . . . . . . . . 48 10.3.1 Entropie, Unsicherheit und Informationsgehalt einer Nachricht . . . . . . . . . . . . . . . . . . . . . . . . . 49 10.3.2 Mathematische Definition der Entropie nach SHANNON 50 11 Die S¨ atze von SHANNON 51 11.1 Der erste Satz von SHANNON . . . . . . . . . . . . . . . . . . 52 11.2 Der zweite Satz von SHANNON . . . . . . . . . . . . . . . . . 52 12 Anwendungen der Informationstheorie 54 12.1 Kryptologie - Einmalverschl¨ usselung . . . . . . . . . . . . . . 55 12.1.1 Sicherheit . . . . . . . . . . . . . . . . . . . . . . . . . 55 12.1.2 Funktionsweise . . . . . . . . . . . . . . . . . . . . . . 56 12.1.3 Vor- und Nachteile . . . . . . . . . . . . . . . . . . . . 58 12.2 Informationstheorie in den Kognitionswissenschaften . . . . . 60 12.2.1 Symbolismus . . . . . . . . . . . . . . . . . . . . . . . 61 12.2.2 Konnektionismus . . . . . . . . . . . . . . . . . . . . . 62 12.2.3 Beispiel: Assoziativspeichermodell . . . . . . . . . . . . 63 12.2.4 Vergleich der Paradigmen . . . . . . . . . . . . . . . . 65 12.2.5 Extraterrestrische Radio¨ ubertragungen . . . . . . . . . 66 2 1 Historischer Einstieg 1.1 Etymologie des Informationsbegriffs Der BegriffInformation wird gegenw¨ artig h¨ aufig benutzt, jedoch l¨ asst die- ser Gebrauch oft den klassischen Ursprung außer Acht. Somit soll sich der erste Abschnitt kurz mit der Herkunftsgeschichte des Informationsbegriffs besch¨ aftigen. Im Rahmen dieser Arbeit wird die Etymologie auf wesentliche Punkte be- schr¨ ankt. F¨ ur eine detailliertere Ausf¨ uhrung kann bei RAFAEL CAPURRO (1978) nachgelesen werden. [9] Der Informationsbegriffbasiert auf einem Schl¨ usselbegriffder griechischen Philosophie. Dabei wird ein Formbegriffgepr¨ agt. PLATON greift diesen Formbegriff, der die Gestalt oder das Aussehen einer Sache beschreibt, auf und stellt sie ins Zentrum seiner Philosophie. Das heißt er betrachtet die Form als Urbild oder Idee, wobei die Form als der Materie aufgesetzt an- gesehen wird. ARISTOTELES nimmt dies auf und bezeichnet empirische Gegenst¨ ande als aus Materie und Form zusammengesetzt. Unser heutiger Formbegriffstammt aus der ¨ Ubersetzung des griechischen Formbegriffs in das Lateinische forma. Information nutzt der Lateiner, um die Handlung des Formens und Gestaltens auszudr¨ ucken. Dies geschieht auch im Zusammen- hang von Belehrung und Unterweisung als einer Formung des Intellekts. Dem folgt eine abstraktere Bedeutung als Vorstellung oder Begriff. Das deutsche Wort informieren stammt aus dem lateinischen Verb informare. Dabei stellt sich eine ausschlaggebende Bedeutungs¨ ubertragung von unterrichten zu be- nachrichtigen heraus. Erst wurde im deutschen das Wort Bildung gegen¨ uber dem Wort Information vorgezogen. Somit blieb Information als neuzeitliche Bedeutung von Information als Wissensmittlung oder Nachricht. [9] 1.2 Informationstheorie und Computertechnik im 20. Jahrhundert In den 30er Jahren des 20. Jahrhunderts entwickeln sich die Nachrichten- und die Informationstheorie, womit die neuzeitlich-moderne Bedeutung von Information als Nachricht verfestigt ist. Die mathematisierte Theorie der In- formation geht auf Arbeiten von SHANNON, HARTLEY, WEAVER und WIENER zur¨ uck. 3 In der uploads/S4/ informationstheorie-seminararbeit-pdf.pdf
Documents similaires
-
18
-
0
-
0
Licence et utilisation
Gratuit pour un usage personnel Attribution requise- Détails
- Publié le Apv 02, 2022
- Catégorie Law / Droit
- Langue French
- Taille du fichier 1.3403MB