Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

efs ml qest 2 ÉCOLE DE TECHNOLOGIE SUPÉRIEURE UNIVERSITÉ DU QUÉBEC MÉMOIRE PRÉSENTÉ À L'ÉCOLE DE TECHNOLOGIE SUPÉRIEURE COMME EXIGENCE PARTIELLE À L'OBTENTION DE LA MA? TRISE EN GÉNIE DE LA PRODUCTION AUTOMATISÉE M Ing PAR MATHIAS MAHOUSONZOU ADANKON OPTI

ÉCOLE DE TECHNOLOGIE SUPÉRIEURE UNIVERSITÉ DU QUÉBEC MÉMOIRE PRÉSENTÉ À L'ÉCOLE DE TECHNOLOGIE SUPÉRIEURE COMME EXIGENCE PARTIELLE À L'OBTENTION DE LA MA? TRISE EN GÉNIE DE LA PRODUCTION AUTOMATISÉE M Ing PAR MATHIAS MAHOUSONZOU ADANKON OPTIMISATION DE RESSOURCES POUR LA SÉLECTION DE MODELE DES SVM MONTRÉAL LE SEPTEMBRE c droits réservés de Mathias Mahouzonsou Adankon CCE MÉMOIRE A ÉTÉ ÉVALUÉ PAR UN JURY COMPOSÉ DE M Mohamed Cheriet directeur de mémoire Département de génie de la production automatisée à l'École de technologie supérieure M Richard Lepage président du jury Département de génie de la production automatisée à l'École de technologie supérieure M Alain Biem examinateur externe IBM at Watson Research Center N Y USA IL A FAIT L'OBJET D'UNE SOUTENANCE DEVANT JURY ET PUBLIC LE AOÛT À L'ÉCOLE DE TECHNOLOGIE SUPÉRIEURE COPTIMISATION DE RESSOURCES POUR LA SÉLECTION DE MODELE DES SVM Mathias Mahouzonsou Adankon SOMMAIRE La sélection de modèle optimisation des hyper-paramètres est une étape très importante pour garantir une forte performance aux SVM Cette sélection est souvent réalisée par la minimisation d'un estimé de l'erreur en généralisation basé sur les bornes du leave-oneout comme le radius-margin bound et sur certaines mesures de performance comme GACV Generalized Approximate Cross Validation l'erreur empirique etc Ces méthodes de sélection de modèle automatique nécessitent l'inversion de la matrice de Gram-Schmidt ou la résolution d'un problème d'optimisation quadratique supplémentaire ce qui est très coûteux en temps de calcul et en mémoire lorsque la taille de l'ensemble d'apprentissage devient importante Dans ce mémoire nous proposons une méthode rapide basée sur une approximation du gradient de l'erreur empirique avec une technique d'apprentissage incrémentai ce qui réduit les ressources requises en tennes de temps de calcul et d'espace mémoire Avec l'approximation du gradient nous n'avons pas besoin d'inverser la matrice de GramSchmidt avant de calculer le gradient de l'erreur empirique L'apprentissage incrémentai quant à lui permet d'optimiser de façon parallèle les paramètres et les hyper-paramètres de la machine a ?n de réduire le temps de calcul Notre méthode testée sur des bases de données synthétiques et réelles a produit des résultats probants con ?rmant notre approche En outre nous avons noté que le gain de temps s'accro? t lorsque la taille de l'ensemble d'apprentissage devient large ce qui rend notre méthode intéressante dans le cas des applications réelles Nous avons aussi développé une nouvelle expression pour les SVM avec la formulation de la marge molle soft margin ? Ll ce qui permet d'inclure 'hyper-paramètre C dans les paramètres du noyau Ainsi nous pouvons résoudre le problème de la di ?érentiation de C et dans certains cas réduire le nombre des hyper-paramètres dans la sélection de modèle COPTIMIZING RESOURCES IN MODEL SELECTION FOR SVM Mathias Mahouzonsou Adankon ABSTRACT Tuning SVM hyperparameters is an important step for achieving a high-perfmmance learning machine This is usually done by minimizing an estimate of generalization error based on the bounds of the leave-one-out loo as radius-margin bound and on the perfotmance measure as GACV empirical error etc These usual automatic methods used