Théorie & codage de l'information [T8IS212M]

Théorie & codage de l'information [T8IS212M]

En pratique

Nature
Elément constitutif
Volume horaire de TP
10
Volume horaire de TD
6
Volume horaire de CM
14
Volume horaire de travail personnel
20
Langue d'enseignement
Français

Description du contenu de l'enseignement

Dans une première partie, ce module introduit les concepts fondamentaux de la théorie de l'information : notions d'entropie, d'information mutuelle, de capacité d'un canal de communication. Les théorèmes de Shannon du codage de source et du codage de canal sont énoncés et vérifiés à l'aide de procédés de codage (Huffman, arithmétique, Lempel-Ziv; codes à répétition)

Dans une deuxième partie, l'application au codage des contenus image/vidéo est détaillée d'un point de vue théorique (théorie débit-distorsion) et pratique (formats JPG, J2K, MPEG2, H264, H265)

La troisième partie est consacrée à l'utilisation des mesures d'information pour l'analyse de données en général (information mutuelle vs. corrélation de variables), notamment pour des applications en classification automatique (fonctions de coût en IA) et en sélection d'attributs.

Organisation

Modalités d'organisation et de suivi

Cours et Travaux Dirigés

  1. Théorie de l'information
    1. Information, entropie d'une source discrète sans mémoire
    2. Compression de l'information: codage de Huffman, de Lempel-Ziv, codage arithmétique
    3. Canal discret sans mémoire, canal binaire symétrique
    4. Information mutuelle et capacité d'un canal
  2. Codage des images et vidéos
    1. Théorie débit-distorsion
    2. Codage pratique pour l'image : formats JPG, J2K
    3. Codage pratique pour la vidéo : formats MPEG-2, H264, H265
  3. Application à l'analyse de données
    1. pour la classification
    2. pour la réduction de dimensionalité

Travaux Pratiques

  1. Développement de méthodes de codage (RLE) et d'analyse de l'information (entropie d'une ou plusieurs variables, information mutuelle) sur des images.
  2. Analyse du couple qualité d'approximation - coût de stockage pour une image.
  3. Sélection de composantes spectrales pour la réduction de dimension d'une image hyperspectrale.

Informations pédagogiques

Compétences à acquérir

L'objectif est de maîtriser les principales notions de la théorie de l'information (entropie, information mutuelle) afin d'être à même de les appliquer en codage de l'information et en science des données.

Pré-requis recommandés

  • Probabilités [T7CS011M]

Bibliographie, lectures recommandées

  • T.M. Cover and J.A. Thomas, Elements of Information Theory,  Wiley & Sons.
  • S. Haykin, Communication Systems, Wiley & Sons.
  • D. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003.

 

Dernière modification : ven, 08/01/2021 - 15:56