Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

PROJET DE MEMOIRE POUR L’OBTENTION DU DIPLOME DE MASTER PROFESSIONNELLE EN INFO

PROJET DE MEMOIRE POUR L’OBTENTION DU DIPLOME DE MASTER PROFESSIONNELLE EN INFORMATIQUE Option : Génie Logiciel Conception et exploitation des données Big Data Cas : Copie d’état-civil Malagasy  Présenté par : Monsieur RAKOTOMANGA Harinirina Luciano  Encadreur Pédagogique : Monsieur RAJAOSOLOMANANTENA Haingonirina Ignace  Classe : 5ème année FC Année Universitaire : 2019 – 2020 1 REMERCIEMENTS 2 Tout d’abord, nous tenons à remercier notre Seigneur, Dieu le tout puissant, qui nous a donné la force, le courage et la patience d’accomplir ce modeste travail. En second lieu, nous souhaitons remercier,  Monsieur , le Président Directeur Général d’ISINFO  Madame ,  Monsieur , notre encadreur, pour ses conseils d’orientation sur le contenu Remercions aussi le président ainsi que les honorables membres du jury pour avoir bien voulu donner leur temps de lire ce travail Nous tenons à exprimer nos sincères remerciements à tous les professeurs qui nous ont enseigné et qui par leurs compétences nous ont soutenu dans la poursuite de nos études. Nos remerciements vont aussi au corps administratif. Enfin, un sincère remerciement à mes parents, la famille, ainsi que mes amis pour tous les encouragements qu’ils m’ont donnés et d’avoir déployé leur force à la réalisation de ce longue travail. A vous tous MERCI ! SOMMAIRE 3 Table des matières REMERCIEMENTS...................................................................................................................2 SOMMAIRE...............................................................................................................................4 AVANT-PROPOS......................................................................................................................5 LISTE DES ABREVIATION.....................................................................................................7 LISTE DES FIGURES...............................................................................................................8 Figure 1: Structure de bases de données Client-Serveur............................................................8 Figure 2 : Sous-systèmes SGBD.................................................................................................8 LISTE DES TABLEAUX.........................................................................................................10 INTRODUCTION GENERALE..............................................................................................11 1. SECTION : CONTEXTE ET APPROCHE.....................................................................13 1.1. Le sujet d’étude..........................................................................................................14 1.1.1 Étude de l’existant...............................................................................................14 1.1.2 Les problématique...............................................................................................14 1.1.3 Objet de l’étude :..............................................................................................................15 1.1.4 Objectifs du sujet d’étude................................................................................................15 1.2. Aspect de fonctionnement..........................................................................................16 2. SECTION : Information et système d’information...........................................................18 2.1 Introduction.........................................................................................................................18 2.2 Généralité............................................................................................................................19 2.2.1 Définition.........................................................................................................................19 2.2.2 Les différents formes de SI.............................................................................................20 2.2.3 Historique du traitement de l’information.......................................................................21 2.2.4 Le Système d’information décisionnelle.........................................................................21 2.2.5 L’organisation du Système d’information.......................................................................22 2.3 Les Bases de données..........................................................................................................25 Figure 1: Structure de bases de données Client-Serveur...........................................26 4 2.4 De SQL Classique vers NoSQL..........................................................................................26 2.4.1 SGBDR............................................................................................................................26 Figure 2 : Sous-systèmes SGBD...............................................................................................27 Les propriétés ACID.................................................................................................................27 2.5 Le traitement de NoSQL.....................................................................................................30 2.5.1 Historique de NoSQL......................................................................................................30 2.5.2 Concepts fort de NoSQL..................................................................................................31 2.5.3 Les différents type de Base de données NoSQL..............................................................32  Les BDs Orientées colonnes.....................................................................................32  Les BDs orientées documents..................................................................................34  Les BDs orientées clé-valeur......................................................................................35  Les BDs orientées graphe...........................................................................................36 2.6 Conclusion..........................................................................................................................37 3. SECTION : Le BIG DATA...............................................................................................38 3.1 Introduction.........................................................................................................................38 3.2 Définition............................................................................................................................39 3.3 Processus de traitement des applications Big Data.............................................................41 Explication :..............................................................................................................................42 3.4 Propriété du Big Data..........................................................................................................43 3.3.1 Scalabilité.........................................................................................................................43 3.3.2 Théorème de CAP............................................................................................................45 3.5 Modèles de stockage...........................................................................................................47 3.5.1 Systèmes à base d'objets..................................................................................................48 3.5.2 Systèmes de fichiers distribués........................................................................................48 3.5.3 Systèmes basés sur des modèles NoSQL.........................................................................49 3.2 Utiliser SGBDR ou NoSQL?..............................................................................................50 3.2.1 Applications transactionnelles :.......................................................................................50 5 3.2.2 Applications de calcul......................................................................................................51 3.2.3 Applications web.............................................................................................................51 3.3 L’utilisation du NoSQL......................................................................................................52 3.1 Conclusion..........................................................................................................................53 4. SECTION :........................................................................................................................54 BIBLIOGRAPHIE....................................................................................................................55 Article.......................................................................................................................................57 Memoire....................................................................................................................................57 AVANT-PROPOS 6 Résumé 7 Les données ont envahi notre monde et modifient nos façons d’agir. L’exploitation du Big Data a ouvert des nouvelles perspectives dans de nombreux domaines, et grâce à des outils analytiques et à la modélisation de données, des chercheurs et des administrations peuvent faire des analyses tendancielles et suivre des phénomènes en temps réel. Ce mémoire s’ajoute aux différents travaux de recherche dans le domaine de stockage de données massive appelé Big Data. Suite à ce problème, de nouvelles technologies ont émergé tels que la base de données NoSQL, celles-ci changent radicalement l’architecture des bases de données que nous avons l’habitude de voir, et permettent ainsi d’augmenter la performance et la disponibilité des services. Mots clés : Big Data, NoSQL, Data Warehouse, Oracle Database Abstract Data has invaded our world and is changing the way we do things. The exploitation of Big Data has opened up new perspectives in many fields, and thanks to analytical tools and data modeling, researchers and administrations can make trend analyzes and follow phenomena in real time. This thesis is in addition to the various research works in the field of massive data storage called Big Data. As a result of this problem, new technologies have emerged such as the NoSQL database, which radically change the architecture of the databases that we are used to seeing, and thus make it possible to increase performance and availability of services. Keywords: Big Data, NoSQL, Data Warehouse, Oracle Database LISTE DES ABREVIATION 8 SI : Système d’information SQL : Structured Query Languag PME : PMI : IaaS : Infrastructure as a Service PaaS : Platform as a Service SaaS : Software as a Service SGBD : Système de de gestion de base de données BD : Base de données LMD : Langage de Manipulation de Données ACID : Atomicité, Cohérence, Isolation, Durabilité SGBDR : Système de de gestion de base de données relationnelle SID : Système d’information décisionnel BI : Business Intelligence BLOB : Binary Large OBjects JSON : JavaScript Object Notation E/S : Entré/Sortie HDFS : Hadoop Distributed File System BSFS : BlobSeerted File System) NoSQL : Not Only SQL LISTE DES FIGURES 9 Figure 1: Structure de bases de données Client-Serveur Figure 2 : Sous-systèmes SGBD Figure 4 : CA, Cohérence + Disponibilité Figure 5 : AP Disponibilité + Distribution Figure 6 : CP Cohérence + Distribution Figure 7 : Table d’une Base de données relationnelle Figure 8 : Table d’une BD NoSQL orientée colonne Figure 9 : Les commandes d’une clé-valeur Figure 10 : Structure de base d’une BD orientée graphe Figure 11 : Processus de traitement des applications Big Data Figure 12 : Scalabilité de Big Data Figure 13 : Apache HDFS 10 LISTE DES TABLEAUX Tableau 1 : Service de l’informatique en nuage 11 INTRODUCTION GENERALE 12 L’acte de naissance est systématiquement considéré par les autorités décisionnaire comme une solution prioritaire pour marquer l’existence d‘une personne dans un pays. Il est encore aujourd’hui une des réponses principales aux problématiques rencontrées par un pays ou, à moindre échelle, un territoire. En effet, la copie de cet acte de naissance joue un rôle très important durant l’existence d’un individu. Alors qu’aujourd’hui le stockage de ces informations est considéré comme un de petits problèmes. En ce sens, généralement, quel que soit le type de stockage actuel, de la donnée physique à la donnée numérique, le service de liaison de ces données collectées, comme dans un seul endroit restera un problème à résoudre. Nous utilisons souvent de la base de données relationnelle pour ce stockage. Bien que le concept de Big Data soit relativement nouveau, en 2005, on assista à une prise de conscience de la quantité de données que les utilisateurs généraient sur Facebook, YouTube et autres services en ligne. Hadoop fut développé cette même année. NoSQL commença également à être de plus en plus utilisé à cette époque. Actuellement, l’association des deux infrastructures semble constituer la meilleure approche. Maîtriser la technologie du Big Data est un enjeu continu. Il ne suffit pas de stocker les données. Pour être utiles, celles-ci doivent être exploitées et, en amont organisées. Des données propres, ou des données pertinentes pour le client est organisées de manière à permettre une analyse significative, et nécessitent beaucoup de travail. Les spécialistes des données passent 50 à 80 % de leur temps à organiser et à préparer les données avant leur utilisation. A l’heure actuelle, Madagascar est un pays qui commence à s’intéresser et à se tourner vers l’informatisation. Ce mémoire de recherche s’intéresse plus particulièrement sur la « Conception et exploitation de données Big Data, cas du copie d’état civil Malagasy ». Afin de traiter le sujet et de répondre aux questionnements émis, un plan de recherche a été établi. A cet effet, Le Big Data est une nouvelle révolution dans le domaine informatique et relative à l’ensemble de données qui deviennent tellement gros et difficiles à gérer avec des outils classiques de gestion de base de données, ce qui nécessite d’utiliser des plateformes et outils dédiées à la gestion de ces données parmi lesquels la plateforme Hadoop qui est composé de deux composants essentiels à savoir : MapReduce qui est un nouveau paradigme de programmation , sur lequel sont effectués les calculs 13 parallèles et distribués de grandes masses de données ; et le HDFS qui est un système de gestion de fichier distribué. L’objectif de l’étude sera donc de concevoir une application et de modéliser son base de données afin de nous aider à gérer tous les données dans la base et de les consulter à n’importe quel moment, et à n’importe quel endroit où le système a été mis en place. A cet égard, ce présent ouvrage sera divisé en quatre parties : - Tout d’abord, Dans le premier chapitre, nous abordons le contexte et approche - Puis, le deuxième chapitre nous montrera les informations et les systèmes d’informations. - Ensuite, nous présenterons la partie théorique sur l’implémentation de notre application dans le troisième chapitre - Et enfin, nous terminerons ce mémoire par une discussion, et afficher le résultat de notre recherche durant ce long chemin de travail. 14 1. SECTION : CONTEXTE ET APPROCHE 1.1. Le sujet d’étude 1.1.1 Étude de l’existant uploads/Geographie/ big-data 1 .pdf