Informationstheorie und Codierung: Unterschied zwischen den Versionen
Zur Navigation springen
Zur Suche springen
Mr. D (Diskussion | Beiträge) |
Mr. D (Diskussion | Beiträge) |
||
Zeile 58: | Zeile 58: | ||
* Transinformation: <math>T(Y|X) = H(Y) - H(Y|X) = H(X) - H(X|Y) = H(X) - H(X,Y) + H(Y)</math> | * Transinformation: <math>T(Y|X) = H(Y) - H(Y|X) = H(X) - H(X|Y) = H(X) - H(X,Y) + H(Y)</math> | ||
* Kanalkapazität: <math> C = T(X,Y) * f_{Sy}</math> | * Kanalkapazität: <math> C = T(X,Y) * f_{Sy}</math> | ||
− | === | + | === Kanalcodierung === |
+ | * Aufgabe: redundante Informationen hinzufügen um Fehler zu erkennen und eventuell zu korrigieren | ||
+ | * Fehlerzahl zu hoch --> Neuübertragung nötig | ||
+ | * Grundlage: Fehlerhafte Übertragung durch: | ||
+ | ** Verzerrungen: Phasen und Dämpfungsverzerrung | ||
+ | ** Interferenzen: Nebensprechen, Rauschen, Fremdstörungen | ||
+ | * führt zu Bitfehlern | ||
+ | * Klassifizierung korrigierender Codes: | ||
+ | [[Datei:KorrigierendeCodes.PNG|Klassifizierung korrigierender Codes]] | ||
==Leitungscodierer== | ==Leitungscodierer== |
Version vom 2. August 2009, 17:28 Uhr
Übersicht Informationstheorie und Codierung
Informationsquellen
- Zufallsquelle
- z Symbole
- Symbolwahrscheinlichkeit:
- Entropie:
- Bernoulliquelle
- Symbolwarscheinlichkeit: aus Tabelle
- Informationsgehalt:
- Entropie:
- Markoffquelle
- Quelle mit Gedächtnis
- Ordnung: beschreibt von wievielen Zuständen der nächste Zustand abhängt
- Entropie für Prozess 1.Ordnung:
Quellencodierer
- Code - Menge von Codeworten die Symbolen eineindeutig zugeordnet sind
- betrachten Codierung diskreter Quellen
- Gleichmäßige Codes - alle Codeworte haben gleiche Länge (nicht effizient)
- Ungleichmäßige Codes:
- Fano
- Ordne Symbole nach fallenden Wahrscheinlichkeiten
- bilde 2 Gruppen gleicher Wahrscheinlichkeit und ordne 1 oder 0 zu
- solange wiederholen bis alles Symbole codiert sind
- Huffman
- Ordne Symbole nach fallenden Wahrscheinlichkeiten
- Fasse niedrigste Wahrscheinlichkeiten zusammen, ordne erneut
- wenn alle zusammengefasst, Baum aufstellen und Bits zuordnen
- Coderedundanz
- mittlere Codewortlänge:
- Redundanz:
- Blockcodierungen
- erster Shannonscher Satz: Coderedundanz kann prinzipiell durch Blockcodierung beseitigt werden
- m Symbole zu Blöcken zusammengefasst und codiert
- --> durch zusammenfassen vieler zeichen kann man sich beliebig annähern
- Optimalcodierung von Markoff-Quellen
- Codiere Zustandswahrscheinlichkeiten und Übergänge
- Codeworte mehrfach vergeben --> Dekodierung ohne Kenntnis der Vergangenheit nicht möglich
- Decodierungsfehler wirken sich lange aus
- weitere Codes:
- Golomb
- Rice
- universelle Präfixcodes
- arithmetische Codierung
- Fano
Kanalcodierer
Kanalmodell
- durch Störungen auf dem Kanal gehen Informationen verloren (Äquivokation)
- oder kommen hinzu (Irrelevanz)
- Entropie am Empfänger:
- Entropie am Sender:
- Irrelevanz:
- Äquivokation:
- Transinformation:
- Kanalkapazität:
Kanalcodierung
- Aufgabe: redundante Informationen hinzufügen um Fehler zu erkennen und eventuell zu korrigieren
- Fehlerzahl zu hoch --> Neuübertragung nötig
- Grundlage: Fehlerhafte Übertragung durch:
- Verzerrungen: Phasen und Dämpfungsverzerrung
- Interferenzen: Nebensprechen, Rauschen, Fremdstörungen
- führt zu Bitfehlern
- Klassifizierung korrigierender Codes:
Leitungscodierer
- Anforderungen:
- gleichstromfrei
- synchronisierbar
- erkennbare Fehler (z.B. durch Disparität)
- Coderedundanz hier:
- AMI Code (Alternate Mark inversion)
- 0 als 0 gesendet
- 1 abwechselnd +/-
- HDB3-Code
- Erweiterung AMI
- maximal 3 aufeinanderfolgende Nullen --> bessere Synchronisierbarkeit
- mit Paritätsausgleichs und Verletzungsbits (B00V)
- PST Code (Paired Selected Ternary)
- 4B3T Codes
- MMS43-Code (Franaszek)
- 4B3T Code Tabellenauswahl abhängig von Disparität
- CMI( Code MArk Inversion)
- 0 --> -+ | 1 --> --/++
- für LWL 0 statt -
- 5B6B Code