Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

introduction 2020 Plan de cours Introduction Fonctions d ? activation Hiver Philippe Giguère CPlan de cours CBienvenue à bord ? ème édition ? L ? équipe de cette année Frédérik Paradis Ga? l Letarte CSéminaire départemental ? Vendredi janvier ? Apprentiss

Plan de cours Introduction Fonctions d ? activation Hiver Philippe Giguère CPlan de cours CBienvenue à bord ? ème édition ? L ? équipe de cette année Frédérik Paradis Ga? l Letarte CSéminaire départemental ? Vendredi janvier ? Apprentissage de réseaux de neurones à activations binaires avec garanties statistiques Ga? l Letarte Étudiant au doctorat membre du GRAAL ? Heure h Local PLT- ? Résumé Malgré les exploits empiriques des réseaux de neurones profonds il existe peu de garanties théoriques solides expliquant leurs performances Nous allons présenter nos récents travaux portant sur l'analyse des réseaux de neurones profonds avec activations binaires pour lesquels nous pouvons obtenir des garanties statistiques sur leur taux d'erreur Il en découle une approche originale permettant d'entra? ner un modèle composé d'une agrégation de tels réseaux Cette analyse se base sur la théorie PAC-Bayésienne qui s'est illustrée récemment comme un outil fructueux pour analyser la capacité de généralisation des réseaux de neurones profonds CRessources GPU En cours de mise-en-oeuvre ? Accès à des GPU via Jupyter notebook ?? NVIDIA K ou K ? http jupyterhub helios calculquebec ca ? Au besoin lisez le Wiki ?? https wiki calculquebec ca w JupyterHub ? C ?urs réservés pour les laboratoires réservation glo ? Gros merci à ?? Florent Parent ?? Félix-Antoine Fortin CManuel obligatoire ? Bonne référence ? Version html gratuite http www deeplearningbook org CPré-requis ? Python laboratoire TP ? Certaine connaissance de l ? apprentissage machine ? Probabilité ? Algèbre linéaire ? Dérivée ? Un peu d ? optimisation CContenu du cours ? Un peu de théorie oui ? ? ? mais aussi de la pratique ? ? ? et de la collection de timbres ?? nombre de techniques trucs ?? exemples d ? architecture ?? grand nombre de papiers ? présentations orales ? Donner un aperçu du domaine vous aider à démarrer dans la recherche ??All science is either physics or stamp collecting ? ??E Rutherford CAperçu ère moitié ? Connaissances de base vertical ?? Introduction neurone fonctions d ? activation ?? Graphes de calculs fonctions de perte rétro- propagation ?? Méthodes d ? entra? nement par optimisation batch norm initialisation des poids trucs et astuces ?? Techniques de régularisation ?? Réseaux à convolution I ?? Réseaux à convolution II ?? Examen intra CAperçu ème moitié ? Concepts avancés horizontal ?? Word embeddings ?? Autoencodeurs ?? Réseaux récurrents RNN LSTM et GRU ?? Modèles d ? attention proposition de régions d ? images réseaux à mémoire ?? Apprentissage multit? ches pertes auxiliaires ?? Distillation compression des réseaux ?? Réseaux génératifs type GAN ?? Et majorité Présentations orales des étudiants e et e cycle CExamen ? Mi-Session février h à h ?? pour GLO - ?? pour GLO - ? Final avril de h à h ?? GLO - seulement ?? Examen de heures ?? Séance de présentations orales pour GLO - ? Pas de documents permis CTravaux pratiques ? travaux ? Total de ? En python ou PyTorch ? Interdit d ? utiliser ?? github