Information Theory and Coding - Interactive curriculae of TU Ilmenau

After the lectures students are familar with the basic concepts of information theory. By understanding quantities such as entropy, joint entropy or mutual information, they can evaluate the theoretical limits for data compression and data transmission for simple but particularly important cases. They are also able to apply concrete schemes for source and channel coding in practice. By knowing the theoretical limits, they can assess the efficiency of these methods. With regard to channel coding, the students are familiar with both common block coding and convolutional coding schemes and can use these error correction schemes after the Exercises in Matlab. The students are also familiar with the principles of Turbo codes and LDPC codes.  

Die Studierenden verstehen nach der Vorlesung die grundlegenden Konzepte der Informationstheorie. Durch das Verständnis von Größen wie Entropie, Verbundentropie oder Transinformation können sie die theoretischen Grenzen für die Datenkompression und für die Datenübertragung für einfache, aber besonders wichtige Fälle, evaluieren. Zudem sind sie in der Lage, konkrete Verfahren zur Quellen- und Kanalcodierung praktisch anzuwenden. Durch die Kenntnis der theoretischen Grenzen können Sie die Effizienz der Verfahren beurteilen. Hinsichtlich der Kanalcodierung sind die Studenten sowohl mit gängigen Verfahren der Blockcodierung und als auch der Faltungscodierung vertraut und können nach den Übungen diese Verfahren in Matlab anwenden. Zudem verstehen sie das Prinzip der Turbo-Codes und der LDPC-Codes.

1. Fundamentals of statistics and random processes
2. Entropy and mutual information of discrete random variables
3. Compression limits
4. Source coding with prefix codes
5. Channel capacity (DMC and AWGN)
6. Block codes (concept, examples)
7. Asymptotic coding gain
8. Convolutional codes (Trellis diagram, state diagramm, Viterbi-decoding, applications)
9. Recursive convolutional codes
10. Cyclic redundancy check (CRC)
11. Turbo-Codes (parallel concatenated convolutional codes (PCCC), encoder-/decoder-structure, maximum a-posteriori (MAP)-decoding)
12. Low-Density-Parity-Check Codes (LDPC)
13. Polar Codes

Tafel, Skript, Overheadprojektor, Übungen mit Matlab

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, John Wiley & Sons, Inc., 1991, ISBN 0-471-06259-6.
• Shu Lin and Daniel J. Costello, Error Control Coding, Pearson Prentice Hall, 2004, Second Edition.