Informationstheorie

Inhalt

Die Vorlesung bietet eine Einführung in die Grundlagen der Shannonschen Informationstheorie. Dabei werden sowohl ein intuitives Verständnis von Kommunikationssystemen als auch die mathematischen Grundlagen der zuverlässigen Informationsübertragung vermittelt.

Ziel der Vorlesung ist es, die Studierenden in die Lage zu versetzen, die zentralen Ergebnisse der Informationstheorie herzuleiten. Dazu gehören insbesondere die fundamentalen Grenzen der verlustfreien Quellenkompression (Quellencodierung) sowie die maximal erreichbaren Datenraten für eine zuverlässige Übertragung über Kommunikationskanäle (Kanalcodierung). Darüber hinaus werden die für diese Herleitungen erforderlichen mathematischen Werkzeuge und Konzepte eingeführt, darunter Informationsmaße wie Entropie, gegenseitige Information und Kanalkapazität sowie deren Eigenschaften und verwandte Konzepte wie typische Folgen.

• Grundlagen der Wahrscheinlichkeitstheorie

  • Ereignisse, Wahrscheinlichkeiten, Zufallsvariablen, Zufallsvektoren, stochastische Prozesse, Konvergenz von Zufallsfolgen, Konvergenzsätze

• Grundlagen der Informationstheorie

  • Informationsmaße für diskrete Zufallsvariablen: Entropie, bedingte Entropie, relative Entropie, gegenseitige Information, bedingte gegenseitige Information, Ungleichungen

  • Informationsmaße für kontinuierliche Zufallsvariablen: differentielle Entropie, bedingte differentielle Entropie, relative Entropie, gegenseitige Information, Ungleichungen

  • Informationsmaße für Zufallsfolgen

  • Typische Folgen und asymptotische Gleichverteilungseigenschaft (Asymptotic Equipartition Property)

• Quellencodierung

  • Definitionen und Eigenschaften

  • Quellencodierung für diskrete gedächtnislose Quellen (Codes fester und variabler Länge)

  • Ausgewählte Quellencodes: Shannon-Codes, Huffman-Codes

• Datenübertragung und Kanalkapazität

  • Diskrete gedächtnislose Kanäle: Kanalcodierungssatz

  • Diskrete gedächtnislose Kanäle mit Zuständen: Kanalkapazitäten

  • Gauß-Kanal: Kanalmodell und Kanalcodierungssatz

  • Bandbegrenzter Gauß-Kanal, vektorwertige Kanäle

Dozent: Prof. Eduard Jorswieck
Assistenten: Jyun-Sian Wu, Pin-Hsun Lin