Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

autoencoder Auto-encodeurs et Word vec Philippe Giguère CAuto-encodeur CProblèmes des données étiquetées ? À date toujours supervisé ? Nécessite beaucoup de données étiquetées ? Que faire si beaucoup de données mais ne sont pas étiquetées ? Apprentissage

Auto-encodeurs et Word vec Philippe Giguère CAuto-encodeur CProblèmes des données étiquetées ? À date toujours supervisé ? Nécessite beaucoup de données étiquetées ? Que faire si beaucoup de données mais ne sont pas étiquetées ? Apprentissage supervisé ?? non-supervisé ? Pas juste d ? ordre pratique ?? théorie de l ? apprentissage en général CPertes ? Supervisé perte basée sur l ? erreur entre prédiction et vérité- terrain régularisation ? Non-supervisé erreur basée sur la reconstruction de l ? entrée x auto-encodeur x f x h g h x ? Perte L ? g f x ?? x régularisation Pour éviter des solutions inintéressantes CTaxonomie Undercomplete Overcomplete x f x h g h x ? x f x h g h x ? taille x taille h ? encodeur doit trouver une projection vers un espace de plus petite dimension ? si f g sont linéaire proche de PCA exactement si taille x taille h ? sera inutile sans régularisation ? copie de x dans h ? exemple x bruité f UT g U UTU I ? si f g sont non-linéaires projections plus puissantes CImportance de la régularisation ? Sans régularisation l ? encodage pourrait être inutile ?? Perte de reconstruction n ? in uence pas directement l ? utilité de l ? encodage h ?? Cas pathologique théorique encodeur- décodeur très puissant taille h rappel réseaux profonds x indice i x peuvent apprendre par c ?ur des jeux de données ? Priorisation de certains aspects pertinents de x sera souvent utile à d ? autres t? ches ? Régularisation explicite préférable à diminuer la capacité des réseaux f g CVariété manifold ? Principe d ? apprentissage machine ? La plupart des données réelles vont résider dans des sous-régions particulières de l ? espace de x pixels pigés au hasard uniforme dans x vs ? Compression de x possible car réseau n ? a pas à gérer les cas en dehors du manifold CRégularisation vs manifold ? Doit régulariser la perte de reconstruction pour espérer apprendre ce manifold ? Idéalement l ? encodeur trouvera les variations pertinentes dans ce manifold ?? apprendre la surface ? du localement Euclidien manifold tangente ? Formuler l ? entrainement ou l ? architecture pour encourager un comportement particulier générer VAE débruiter etc ? CExemple de manifold plus proches voisins Ct-SNE sur vecteur h taille MNIST L J P van der Maaten and G E Hinton Visualizing High-Dimensional Data Using t-SNE Journal of Machine Learning Research Nov - CFamilles auto-encodeurs AE ? Sparse ? Denoising ? Contractive ? Variational VAE CAuto-encodeur sparse ? Perte supplémentaire sur le code h J ? ? L ?? x g f x ?? ? ? h ? Exemple perte L ? h ? ? ? hi ? Cousin du sparse codinig ? Constitue un prior sur les modèles de h pour la génération des données x ? Semble aider pour des t? ches connexes de classi ?cation CAE denoising ? Ajoute du bruit aléatoire à l ? entrée