Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

TRAITEMENT DE LA PAROLE Dr. Andrzej Drygajlo andrzej.drygajlo@epfl.ch ELE 233 G

TRAITEMENT DE LA PAROLE Dr. Andrzej Drygajlo andrzej.drygajlo@epfl.ch ELE 233 Groupe de Traitement de la Parole et de Biométrie (GTPB) Institut de Traitement des Signaux (ITS) SECTION D’ELECTRICITE (SE) EPFL IDIAP, Martigny Lausanne 2003 InterSpeech - Eurospeech 2003 • 8th European Conference on Speech Communication and Technology • Organizer: International Speech Communication Association (ISCA) • 1110 registered participants from 47 countries Knowledge Navigator Implications technologiques • Integration du téléphone – Mains libres/micro HiFi – Majordome d’accueil vocal – Vidéoconférence • Codage de la parole – Débit/coût/qualité – Standardisation • Synthèse – Vocabulaire illimité – Intonation naturelle – Synthèse à partir de concepts • Reconnaissance, compréhension – Vocabulaire illimité – Système indépendant du locuteur Speech/Music Discrimination and Recognition dynamism Music/ other sounds Speech entropy CRAZY JOE Interactive Tour-Guide Robot Face Loud speakers Microphone array Buttons SICK laser scanner Bumpers Mobile robot RoboX EXPO.02 – Robotics Exhibition Pourquoi? Quelle est votre définition de la parole? • Moyen de communication par excellence. • Information qui est véhiculée par les ondes sonores. • C’est un bruit qui a un sens. • C’est le vecteur d’information qui différencie l’homme de l’animal. • Signal permettant la communication entre humains. • Je ne sais pas en français. J’espere que ça sera plus clair après ce cours. L’homme est-il fait pour parler? La parole • La parole – faculté de communiquer la pensée par un système de sons articulés émis par les organes de la phonation • La parole – expression verbale de la pensée Le Petit Robert 1993 La voix et le langage • La voix – ensemble de sons produits par le système phonatoire et articulatoire • Le langage – fonction d’expression de la pensée et de communication entre les hommes, mise en œuvre au moyen d’un système de signes vocaux (parole) et éventuellement de signes graphiques (écriture) qui constitue une langue Le cerveau et le langage • Le langage nous aide à structurer le monde en concepts et à reduire la complexité des structures abstraites afin de les appréhender: c’est la propriété de « compression cognitive » • La perception – fonction par laquelle l’esprit se représente les objets Act de communication parlée LOCUTEUR AUDITEUR Comprehénsion Idée Traitement cognitif Traitement cognitif Traitement cognitif Traitement linguistique et phonétique Production du son Traitement linguistique et phonétique Traitement linguistique et phonétique Système auditif périphérique Système auditif périphérique Phonétique et Phonologie • La phonétique s’intéresse à la manière dont les sons du langage sont produits, transmis et perçus par les sujets parlants • La phonétique – branche de la linguistique qui étudie les phonèmes • La phonologie – science qui étudie les phonèmes non en eux-mêmes, mais quant à leur fonction dans la langue Phonème • Phonème (notion phonologique) – unité minimale du langage porteuse d’une signification linguistique • Allophone – realisation d’un phonème (un phonème peut avoir plusieurs allophones) Phonèmes utilisés en français La parole • La parole est un signal réel (4D), continu, d’énergie finie, non stationnaire. • Sa structure est complexe et variable dans le temps: – Tantôt périodique (plus exactement pseudo- périodique) pour les sons voisés, – Tantôt aléatoire pour les sons fricatifs, – Tantôt impulsionnelle dans les phases explosives des sons occlusifs. • Exemple: voix-parole Speech synthesis • Synthesis by rule • Text-to-speech Speech synthesis • Synthesis by rule • Text-to-speech Individuality • Speaker recognition • Speaker adaptation/normalization • Voice conversion Individuality • Speaker recognition • Speaker adaptation/normalization • Voice conversion Human-machine interface • Ergonomics • Subjective/objective evaluation Human-machine interface • Ergonomics • Subjective/objective evaluation Speech recognition /understanding • Speaker-independent • Spontaneous speech Speech recognition /understanding • Speaker-independent • Spontaneous speech Speech coding • Wide/narrow-band • Very-low-bit-rate Speech coding • Wide/narrow-band • Very-low-bit-rate Robustness • Noise/distortion Robustness • Noise/distortion Psychology Physiology Articulation Acoustic phonetics Memory/learning Artificial Intelligence Acoustics Signal processing Speech perception Nerve system Speech production Speech analysis Database Database Feature extraction (dynamics) Speech information processing "tree" (Furui) Communication parlée homme-machine Speech Output Speech Synthesis Language Generation Speech Recognition Speaker Recognition Language Recognition Speech Input Multimodal Interface Language Understanding Dialogue System Database Invention du téléphone L’émetteur à liquide de Bell L’émetteur à induction de Bell Internet Internet VoIP VoIP PSTN PSTN Voice Traffic Content Content servers Voice portal environment 0110-05 UMTS • UMTS – Universal Mobile Telecommunications System • Le téléphone mobile de la 3e génération • Seules les villes profiteront de l’UMTS MIT wearable computing people Traitement automatique de la parole Objectifs A la fin du cours, les étudiants seront capables d’appliquer les principales méthodes de traitement numérique du signal pour l’analyse, la compression, la synthèse et la reconnaissance de la parole. Bibliographie • A. Drygajlo, “Traitement de la parole”, EPFL, Lausanne, 2003 • R. Boite, H. Bourlard, T. Dutoit, J. Hancq, H. Leich, “Traitement de la parole”, PPUR, Lausanne 2000. Bibliographie • B. Gold, N. Morgan, “Speech and Audio Signal Processing”, John Wiley and Sons, New York, 2000 • T. Quatieri, “Discrete-Time Speech Signal Processing: Principles and Practice”, Prentice Hall PTR, Upper Saddle River, 2002. • X. Huang, A. Acero, H.-W. Hon, “Spoken Language Processing”, Prentice Hall PTR, Upper Saddle River, 2001. Contenu • Production et perception de la parole • Analyse et modélisation de la parole • Reconnaissance de la parole • Reconnaissance du locuteur • Synthèse de la parole • Compression et codage de la parole • Communication vocale homme-machine Production et perception de la parole • Aperçu anatomique • Mécanisme de la phonation • Phonétique articulatoire • Acoustique de la phonation • Mécanisme de l’audition • Psychoacoustique – Masquage – Bandes critiques Modélisation de la parole Analyse et modélisation de la parole • Représentation numérique du signal vocal • Analyse temporelle • Analyse spectrale • Modélisation spectro-temporelle et spectrogrammes • Analyse homomorphique • Modélisation basée sur la prédiction linéaire • Estimation des formants • Estimation de la période du fondamental Spectrogramme d’enveloppe Reconnaissance de la parole • Difficultés • Comparaison dynamique (DTW) • Méthodes statistiques – Modèles de Markov cachés (HMM) – Algorithmes de Baum-Welch et de Viterbi – Réseaux de neurones artificiels (ANN) • Reconnaissance: – de mots isolés – de mots connectés – de la parole continue 0103-19 Quantification vectorielle (VQ) Enveloppes spectrales Dictionnaire Gaussian Mixture Model (GMM) 1 2 1 2 1 2 ( ) ( ) (1) (1) (1) ( (2) (2) (2) ) T T T v D v D v v v v v v v D                         • • • • • •       • • •                   Vecteurs acoustiques d’entraînement Histogrammes Paramètre 1 Paramètre 2 Paramètre D GMM Distance = Score = vraisemblance (parole | modèle) Reconnaissance du locuteur • Variabilité intra- et inter-locuteur • Vérification et identification du locuteur • Méthodes déterministes et statistiques • Méthodes dépendantes du texte – Comparaison dynamique (DTW) – Modèles de Markov cachés (HMM) • Méthodes indépendantes du texte – Quantification vectorielle (VQ) – Modèles à mélanges de gaussiens (GMM) Identification biométrique Voix Rétine Signature Iris Empreinte digitale Visage Bases de données Suspect Paramètres Données Base des données de la population potentielle (P) Trace Paramètres Population Affaire Population potentielle Contrôles Références Base des données de contrôle (C) du suspect Base des données de référence (R) du suspect La Voix de BIN LADEN Synthèse de la parole • Prosodie • Techniques de synthèse – Synthèse directe – Synthèse à travers un modèle – Simulation du conduit vocal • Systèmes de synthèse – Synthèse de messages – Synthèse à partir du texte - Traitements linguistico-prosodiques - Synthèse par règles - Synthèse par diphones •The DAVO articulatory synthesizer developed by George Rosen at MIT, 1958. The English Alphabet Song! Compression et codage de la parole • Enjeux actuels - Signal de parole dans la bande téléphonique - Signal de parole en bande élargie - Signal de parole en bande large • Méthodes temporelles (codeurs d’onde) - MIC (PCM), MICD (DPCM), MICDA (ADPCM) - Codage en sous-bandes • Méthodes paramétriques (vocodeurs) • Méthodes hybrides (CELP) • Normes internationales Représentation numérique du signal vocal • Bande large 20 Hz – 20 kHz Fréquence d’échantillonage – 44.1 kHz • Bande élargie 50 Hz – 7 kHz Fréquence d’échantillonage – 16 kHz • Bande téléphonique 300 Hz – 3.4 kHz Fréquence d’échantillonage – 8 kHz Quantification Bits: 16 8 4 3 2 1 Communication vocale homme-machine • Intégration de sous-systèmes • Systèmes de dialogue • Serveurs vocaux interactifs • Systèmes de dictée • Communication vocale homme-robot uploads/Sante/ 01-traitement-de-la-parole-2004-03-10 1 .pdf