Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

PARTAGE EFFICACE DES RESSOURCES DE CALCUL DANS LE NUAGE INFORMATIQUE par Achraf

PARTAGE EFFICACE DES RESSOURCES DE CALCUL DANS LE NUAGE INFORMATIQUE par Achraf LABIDI MÉMOIRE PRÉSENTÉ À L’ÉCOLE DE TECHNOLOGIE SUPÉRIEURE COMME EXIGENCE PARTIELLE À L’OBTENTION DE LA MAÎTRISE AVEC MÉMOIRE EN GÉNIE CONCENTRATION : GÉNIE LOGICIEL M. Sc. A. MONTRÉAL, LE 11 JUILLET 2017 ÉCOLE DE TECHNOLOGIE SUPÉRIEURE UNIVERSITÉ DU QUÉBEC ©Tous droits réservés, Achraf Labidi, 2017 ©Tous droits réservés Cette licence signifie qu’il est interdit de reproduire, d’enregistrer ou de diffuser en tout ou en partie, le présent document. Le lecteur qui désire imprimer ou conserver sur un autre media une partie importante de ce document, doit obligatoirement en demander l’autorisation à l’auteur. PRÉSENTATION DU JURY CE MÉMOIRE A ÉTÉ ÉVALUÉ PAR UN JURY COMPOSÉ DE : M. Mohamed Cheriet, directeur de mémoire Département de génie de la production automatisée à l’École de technologie supérieure M. Kim Khoa Nguyen, codirecteur de mémoire Département de génie électrique à l’École de technologie supérieure M. Ghyslain Gagnon, président du jury Département de génie électrique à l’École de technologie supérieure M. Jia Yuan Yu, examinateur externe Université de Concordia IL A FAIT L’OBJET D’UNE SOUTENANCE DEVANT JURY ET PUBLIC LE 5 JUILLET 2017 À L’ÉCOLE DE TECHNOLOGIE SUPÉRIEURE REMERCIEMENTS Mes remerciements s’adressent en premier lieu à mon directeur de mémoire, M. Mohamed Cheriet, pour son soutien et ses conseils qui m'ont été indispensables au long de mes recherches. Je remercie également mon codirecteur M. Kim Khoa Nguyen, pour ses efforts et son encadrement efficace impactant positivement le déroulement de mon projet de recherche. Je tiens aussi à exprimer ma gratitude à Saida Khazri pour son aide précieuse et ses connaissances qu’elle a partagées avec moi durant ma maîtrise. Je remercie mes collègues du laboratoire Synchromédia pour leur disponibilité ainsi que l'ensemble des membres du jury pour leur participation à l’évaluation de ce travail. Je profite de cette occasion pour exprimer ma reconnaissance à ma famille et mes amis, en particulier à mes parents, Nour Elhouda et Hedi. Je les remercie profondément de m'avoir accordé leur support moral. PARTAGE DES RESSOURCES DE CALCUL DANS LE NUAGE INFORMATIQUE Achraf LABIDI RÉSUMÉ L'informatique en nuage ou l'infonuagique est apparue comme un nouveau paradigme capable de gérer une infrastructure informatique à grande échelle. Toutefois, la plupart des infrastructures infonuagiques existantes ne sont pas exploitées efficacement, et la sur- provision de ressources est un problème émergent. En raison des exigences variables au cours du temps des ressources virtuelles, les plateformes physiques pourraient être utilisées de manière inadéquate, ce qui entraîne des coûts opérationnels supplémentaires. Des techniques de migration ont été proposées pour améliorer l'utilisation des ressources physiques, par exemple la consolidation des ressources virtuelles sur les ressources physiques. Les travaux antérieurs motivés par des objectifs énergétiques et d'équilibrage de charge sont souvent limités à une seule technique de migration. Ce mémoire présente un modèle de migration optimisé pour les machines virtuelles basé sur l’état courant et futur de l’utilisation des ressources physiques tout en considérant les différentes techniques de migration. Cette future utilisation s’appuie sur la prédiction de la charge de travail. Notre modèle a pour fin de minimiser le coût opérationnel lors du partage de l'infrastructure sous- jacente. L'expérimentation menée dans le cadre de ce mémoire montre la capacité de notre modèle pour réaliser un meilleur partage des ressources physique et ce, en réduisant le coût opérationnel de 16% en comparaison à une solution existante. L’expérimentation montre également que l’intégration de différentes techniques de migration dans le même modèle implique une optimisation globale par rapport à l’intégration d’une seule technique. Mots-clés: Infonuagique, partage de ressources, migration de VMs, Openstack, virtualisation. SHARING COMPUTING RESOURCES IN CLOUD Achraf LABIDI ABSTRACT Cloud computing has emerged as a new computational paradigm capable of managing large- scale IT infrastructure. However, most of the existing cloud infrastructures are not efficiently operated, and resource overprovisioning is an emerging issue. Due to the time-varying requirements of virtual resources, physical platforms might be inefficiently used, resulting in additional operational costs. Migration techniques were proposed to improve physical resource utilization, e.g. consolidating virtual resources on physical ones. Prior work driven by energy aware and load balancing objectives are often restricted to a single migration technique. This thesis presents an optimized migration model for virtual machines based on current and future states of physical resource usage while considering multiple migration techniques. The future usage is based on workload prediction. Our model aims at minimizing the operational cost when sharing the underlying infrastructure. The experimentations carried out in this work demonstrate the ability of our model to perform better physical resources sharing compared to other models based on one single migration technique and with no prediction techniques. With our model, we managed to reduce the operational cost by 16% on average compared to an existing solution. Keywords: Cloud computing, resource sharing, VM migrations, Openstack, virtualization. TABLE DES MATIÈRES Page CHAPITRE 1 INTRODUCTION ............................................................................................1 1.1 Contexte .........................................................................................................................1 1.2 Problématique ................................................................................................................2 1.3 Questions de recherche ..................................................................................................4 1.4 Objectifs .........................................................................................................................4 1.5 Hypothèse ......................................................................................................................6 1.6 Plan du mémoire ............................................................................................................6 CHAPITRE 2 REVUE DE LITTÉRATURE ............................................................................9 2.1 Introduction ....................................................................................................................9 2.2 Plateforme physique .......................................................................................................9 2.2.1 Architecture traditionnelle ........................................................................ 10 2.2.2 Architecture virtualisée ............................................................................. 10 2.2.2.1 Virtualisation des hôtes .............................................................. 10 2.2.2.2 Virtualisation des réseaux .......................................................... 12 2.3 Plateformes infonuagiques ...........................................................................................12 2.3.1 Applications hébergées ............................................................................. 13 2.3.2 Openstack .................................................................................................. 14 2.3.2.1 Services ...................................................................................... 14 2.3.2.2 Architecture ................................................................................ 17 2.3.2.3 Migration des VMs .................................................................... 19 2.4 Partage des ressources en infonuagique .......................................................................21 2.4.1 Relocalisation dynamique ......................................................................... 22 2.4.2 Prédiction de la charge de travail .............................................................. 22 2.4.2.1 Les séries temporelles ................................................................ 22 2.4.2.2 Les modèles statistiques ............................................................. 23 2.4.2.3 Étapes de prédiction : cas d’ARIMA ......................................... 24 2.5 Travaux connexes ........................................................................................................25 2.5.1 Solutions basées sur la relocalisation ........................................................ 25 2.5.2 Solutions basées sur la prédiction ............................................................. 30 2.5.3 Limites ...................................................................................................... 32 2.6 Conclusion ...................................................................................................................33 CHAPITRE 3 MÉTHODOLOGIE ..........................................................................................35 3.1 Introduction ..................................................................................................................35 3.2 Modèle de prédiction ...................................................................................................35 3.3 Modèle de partage des ressources physiques ...............................................................36 3.3.1 Modèles d’estimation des coûts de relocalisation ..................................... 37 3.3.1.1 Coût de migration ...................................................................... 38 3.3.1.2 Coût d’hébergement ................................................................... 42 3.3.2 Formulation du problème .......................................................................... 43 XII 3.3.2.1 Modèle 1 : sans prédiction ......................................................... 44 3.3.2.2 Modèle 2 : avec prédiction ......................................................... 47 3.3.3 Algorithme ................................................................................................ 48 3.4 Système proposé ..........................................................................................................50 3.4.1 Hypothèses du système ............................................................................. 50 3.4.2 Architecture du système ............................................................................ 50 3.5 Conclusion ...................................................................................................................53 CHAPITRE 4 RÉSULTATS EXPÉRIMENTAUX ................................................................55 4.1 Introduction ..................................................................................................................55 4.2 Implémentation du système .........................................................................................55 4.2.1 Collecte des données ................................................................................. 55 4.2.1.1 Agents de collecte des données .................................................. 56 4.2.1.2 Agent réseau ............................................................................... 58 4.2.1.3 Modules moniteurs..................................................................... 58 4.2.2 Modules de prédiction de l’utilisation des ressources physiques ............. 59 4.2.2.1 Analyseur ................................................................................... 59 4.2.2.2 Prédicteur ................................................................................... 60 4.2.3 Modules de relocalisation ......................................................................... 60 4.2.3.1 Module de prise de décision ...................................................... 60 4.2.3.2 Module de migration des VMs .................................................. 60 4.3 Protocole expérimental ................................................................................................61 4.4 Environnement expérimental .......................................................................................62 4.4.1 Configuration physique ............................................................................. 63 4.4.2 Déploiement d’Openstack ......................................................................... 64 4.4.2.1 Approche multi-nœuds............................................................... 64 4.4.2.2 Réseau virtuel d’Openstack ....................................................... 65 4.5 Description du scénario ................................................................................................68 4.6 Résultats et interprétation ............................................................................................71 4.6.1 Prédiction .................................................................................................. 71 4.6.1.1 Choix des paramètres ................................................................. 71 4.6.1.2 Future utilisation des ressources physiques ............................... 73 4.6.2 Minimisation du coût opérationnel ........................................................... 76 4.6.2.1 Comparaison entre les différents types de migration ................. 76 4.6.2.2 Comparaison entre MIXT et les migrations individuelles ......... 78 4.6.2.3 Modèle 1 vs Modèle 2................................................................ 79 4.6.2.4 MIXT vs MM ............................................................................. 80 4.7 Discussion ....................................................................................................................81 4.8 Conclusion ...................................................................................................................83 CONCLUSION ........................................................................................................................85 ANNEXE I PLANS DE RELOCALISATION .......................................................................87 BIBLIOGRAPHIE ...................................................................................................................90 LISTE DES TABLEAUX Page Tableau 3.1 Variables et constantes pour la formulation du problème ...........................44 Tableau 4.1 Caractéristiques de l'infrastructure physique ..............................................64 Tableau 4.2 Caractéristiques des nœuds de calculs ........................................................68 Tableau 4.3 Distribution initiale des VMs ......................................................................68 Tableau 4.4 Coûts opérationnels .....................................................................................69 Tableau 4.5 Taille de la bande passante entre les serveurs .............................................69 LISTE DES FIGURES Page Figure 2.1 Services Openstack ........................................................................................15 Figure 2.2 Architecture multi-nœuds d'Openstack .........................................................18 Figure 2.3 les techniques de migration, (a) LM, (b) VBLM, (c) BLM, et (d) CM .........19 Figure 2.4 Les étapes de prédiction: cas d’ARIMA .......................................................25 Figure 2.5 Partage des ressources physiques - modèle 1 ................................................27 Figure 2.6 Partage des ressources physiques - modèle 2 ................................................28 Figure 2.7 Partage des ressources physiques - modèle 3 ................................................29 Figure 2.8 Partage des ressources virtuelles basé sur la prédiction ................................30 Figure 2.9 Partage des ressources physiques basé sur la prédiction ...............................32 Figure 3.1 Partage des ressources basé sur la relocalisation dynamique ........................37 Figure 3.2 Structure du problème ...................................................................................43 Figure 3.3 Architecture du système ................................................................................51 Figure 4.1 Stratégie de collecte des données ..................................................................56 Figure 4.2 Configuration physique de l'environnement expérimental ............................63 Figure 4.3 Architecture réseau de la plateforme infonuagique .......................................66 Figure 4.4 Tunnels VXLAN ...........................................................................................67 Figure 4.5 Scénario de partage des ressources physiques ...............................................70 Figure 4.6 Visualisation des données relatives à l'utilisation de la mémoire..................72 Figure 4.7 Données après différenciation .......................................................................72 Figure 4.8 Autocorrélation entre les données .................................................................73 Figure 4.9 Prédiction de l'utilisation de la mémoire .......................................................74 XVI Figure 4.10 Prédiction de l'utilisation de CPU ...............................................................75 Figure 4.11 Prédiction de l'utilisation du stockage .........................................................75 Figure 4.12 Minimisation du coût selon différentes techniques de migration ................77 uploads/Science et Technologie/ labidi-achraf.pdf