Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Compression vid Compression vidé éo o Maryline Clare, ENSTA, 15 février 2006 Co

Compression vid Compression vidé éo o Maryline Clare, ENSTA, 15 février 2006 Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 2 Introduction Introduction z Traitement du signal => codage audio, codage de la parole, codage des images, … z Images = images fixes et vidéos z Images fixes : sujet abordé la semaine dernière – Transformées, quantification, codage entropique, … z La vidéo apporte une 3ème dimension : le temps. Cela se traduit par beaucoup de changements en termes de codage… Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 3 Sommaire Sommaire ¾But : acquérir assez de notions pour pouvoir ensuite approfondir le domaine si nécessaire z Le monde de la vidéo – Applications, nécessité, organismes de normalisation z Notions de base – Vocabulaire, formats vidéo z Techniques élémentaires – Réductions spatiale et temporelle, estimation et compensation de mouvement, codage basé trames, contrôle de débit, schéma classique d’un codeur vidéo z Estimation et compensation de mouvement: détails z Normes MPEG – Généralités, bitstream, images I, images B&P, codeurs- décodeurs z MPEG-1, MPEG-2, MPEG-4 z Zoom sur MPEG-4 AVC z Introduction à MPEG-4 SVC z Conclusion Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 4 Le monde de la vid Le monde de la vidé éo o z Exemples d’applications utilisant la vidéo – Visioconférence, visiophone – Caméscopes – Télévision : informations, pubs, reportages, clips – Films (cinéma, DVDs) – Jeux vidéo – Ordinateurs : Internet, CD-ROMs ¾ Les contraintes de ces applications sont toutes différentes (codage rapide pour caméscopes, décodage rapide pour CD-ROMS, qualité parfaite pour cinéma, etc.) Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 5 Le monde de la vid Le monde de la vidé éo o z Applications de la vidéo numérique – Effets spéciaux z Objets virtuels, décors, … z “Terminator 2”, “The Matrix”, etc. – DVD (Digital Versatile Disc) z Qualité supérieure à une cassette VHS – Télévision numérique – Plus de chaînes grâce à la compression – Pay-Per-View, View-On-Demand – Caméscopes numériques Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 6 Le monde de la vid Le monde de la vidé éo o z Pourquoi la compression est-elle nécessaire? – Exemple de la télévision numérique haute définition (HDTV) aux USA z 1920 pixels par 1080 lignes à 30 trames/seconde, 8 bits pour chaque pixel dans chacune des 3 composantes => 1920 x 1080 x 30 x 8 x 3 = 1.5 Giga bit/s z Bande passante des canaux alloués: 6MHz => 19.2Mb/s z Nécessité de transporter d’autres infos (audio, etc.) => 18Mb/s disponibles z Taux de compression nécessaire (1500/18): 1:83!!! Et pour une excellente qualité! Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 7 Le monde de la vid Le monde de la vidé éo o zContexte Acquisition Restitution Codage source Décodage source 00110101001010010010010101010100011010 Enregistrement et/ou transmission Objet du cours Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 8 Le monde de la vid Le monde de la vidé éo o z Vidéo et normalisation : surtout ITU et ISO H.261 H.263 H.262 = MPEG-2 MPEG-1 MPEG-4 (Partie 2) MPEG-4 (Partie 10) H.264 SG15 ITU-T ISO-IEC JTC1 WG1 (JPEG) WG11 (MPEG) WG12 (MHEG) JVT H.264 = MPEG-4 (Partie 10) Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 9 Le monde de la vid Le monde de la vidé éo o z Chaque réunion MPEG rassemble environ 300 experts, représentant quelques 200 compagnies et 20 pays z MPEG-1: “Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbit/s” – Qualité VHS sur CD-ROM (320x240 pixels + CD audio à 1,5Mbits/s => d’où provient le format“MP3”) z MPEG-2 : “Generic Coding of Moving Pictures and Associated Audio” – DVDs, télévision numérique, TVHD (US et Europe) z (MPEG-3 : à l’origine, TVHD num, mais inclus dans MPEG-2) Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 10 Le monde de la vid Le monde de la vidé éo o – MPEG-4 : “Generic Coding of Audio-Visual Objects” z A l’origine très bas débits, mais finalement tous débits + nouvelles fonctionnalités (objets, etc.) : multimédia et interactivité – MPEG-7 : “Content Description Interface” z Description du contenu z Ne concerne pas seulement la vidéo – MPEG-21 : “Multimedia Framework” z Identifier toutes les parties mises-en-jeu lors de transactions, de l’échanges de documents multimédia pour voir si tout est normalisé de façon suffisante z Lancer des travaux de normalisation des parties manquantes z Ne concerne donc là aussi finalement plus seulement la vidéo Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 11 Sommaire Sommaire ¾But : acquérir assez de notions pour pouvoir ensuite approfondir le domaine si nécessaire z Le monde de la vidéo – Applications, nécessité, organismes de normalisation z Notions de base – Vocabulaire, formats vidéo z Techniques élémentaires – Réductions spatiale et temporelle, estimation et compensation de mouvement, codage basé trames, contrôle de débit, schéma classique d’un codeur vidéo z Estimation et compensation de mouvement: détails z Normes MPEG – Généralités, bitstream, images I, images B&P, codeurs- décodeurs z MPEG-1, MPEG-2, MPEG-4 z Zoom sur MPEG-4 AVC z Introduction à MPEG-4 SVC z Conclusion Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 12 Notions de base Notions de base z Vocabulaire: – Séquence = ensemble d’images successives – Cut, shot, plan = segment de séquences correspondant à un nouveau plan – Trame = image z Mais parfois trame = 2 images ou “champs” entrelacé(e)s – Blocs, macroblocs – Débit z En bits/seconde (bitrate) = information à transmettre par seconde z En images par seconde (framerate) : fréquence d’affichage z Mouvements – de la scène : ACTION (personnages qui bougent) – de caméra EFFET (zoom, panoramique) Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 13 Notions de base Notions de base z Représentation en espaces de couleur R V B Î Y U V R V B Matriçage Y ’ = 0,299R+0,597V+0,114B U ’ = R - Y ’ V ’ = B - Y ’ Numérisation Y = E(219Y ’)+16 U = E(160U ’)+128 V = E(126V ’)+128 Y U V Scène originale Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 14 Notions de base Notions de base z Sous-échantillonage – Couleur définie par 3 composantes – A chaque pixel est associé un triplet z (r, g, b) => rouge, vert, bleu z (y, c1, c2) => espaces type luminance-chrominance – L’oeil est moins sensible aux composantes de chrominance que de luminance – On va donc éliminer de l’information dans les espaces de chrominance par des techniques de sous-échantillonage, puis travailler composante par composante et non pas pixel par pixel – Définition des systèmes 4:2:0 et 4:2:2 Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 15 Notions de base Notions de base 4:4:4 4:2:2 4:2:0 4:1:1 Y Cb Cr Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 16 Notions de base Notions de base z Streaming – Fait de décoder « à la volée » ce que l’on reçoit plutôt que d’avoir tout le fichier décompressé z Taux de compression : – De 100:1 à 200:1 => incluent souvent sous-échantillonage et divers traitements pré-compression… z Entrelacement – Le 1er “champ” contient toutes les lignes de n°s impairs, le 2ème de n°s pairs – D’un champ à l’autre, quasiment la même chose, mais le 2ème étant acquis 20ms après le 1er, le mouvement peut déjà être perceptible Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 17 Notions de base Notions de base – Combiner 2 champs pour faire une seule trame peut donc amener à un effet visuel gênant… – Entrelacement fréquent dans les applications de TV – Vidéo non entrelacée = vidéo progressive Codage Vidéo, ENSTA, 15 février 2006 Maryline Clare 18 Notions de base Notions de base – Entrelacement Image 1 Image 2 x y TRAME 1 TRAME 2 Image 1 Image 2 x y Temps Temps Format progressif Format entrelacé uploads/Industriel/ video-compress-1.pdf