Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Business Intellgence Entrepôt de données Analyse en ligne Gestion des données -

Business Intellgence Entrepôt de données Analyse en ligne Gestion des données - Business Intelligence Olivier Schwander <olivier.schwander@lip6.fr> UPMC 20 février 2017 1 / 33 Business Intellgence Entrepôt de données Analyse en ligne Déﬁnition Métiers Architecture Business intelligence Déﬁnition L’Informatique Décisionnelle (ID), en anglais Business Intelligence (BI), est l’informatique à l’usage des décideurs et des dirigeants des entreprises. Les systèmes de ID/BI sont utilisés par les décideurs pour obtenir une connaissance approfondie de l’entreprise et de déﬁnir et de soutenir leurs stratégies d’aﬀaires, par exemple : d’acquérir un avantage concurrentiel, d’améliorer la performance de l’entreprise, de répondre plus rapidement aux changements, d’augmenter la rentabilité, et d’une façon générale la création de valeur ajoutée de l’entreprise. Wikipédia : article Informatique décisionnelle 2 / 33 Business Intellgence Entrepôt de données Analyse en ligne Déﬁnition Métiers Architecture Business intelligence ETL : Extract - Transform - Load ▶Récupérer les données là où elles sont ▶Transformer les données si besoin ▶Stocker les données de façon exploitable Data Warehouse ▶Stockage des données ▶Toute l’histoire de l’entreprise ▶Stable dans le temps OLAP : Online Analytical Processing ▶Données en grande dimension ▶Visualisation, structuration ▶Pas forcément de traitement statistique compliqué 3 / 33 Business Intellgence Entrepôt de données Analyse en ligne Déﬁnition Métiers Architecture Applications ▶Finance, avec les reportings ﬁnanciers et budgétaires par exemple ; ▶Vente et commercial, avec l’analyse des points de ventes, l’analyse de la proﬁtabilité et de l’impact des promotions par exemple ; ▶Marketing, avec la segmentation clients, les analyses comportementales par exemple ; ▶Logistique, avec l’optimisation de la gestion des stocks, le suivi des livraisons par exemple ; ▶Ressources humaines, avec l’optimisation de l’allocation des ressources par exemple ; source : Rapport CIGREF 2009 4 / 33 Business Intellgence Entrepôt de données Analyse en ligne Déﬁnition Métiers Architecture Pyramide du BI (Big) Data Information Connaissance Sagesse 5 / 33 Business Intellgence Entrepôt de données Analyse en ligne Déﬁnition Métiers Architecture Les métiers du BI 4 métiers ▶Data Integrator ▶Data Analyst ▶Data Scientist ▶Data Steward (Responsable des données) 6 / 33 Business Intellgence Entrepôt de données Analyse en ligne Déﬁnition Métiers Architecture Bas niveau Data Integration ▶Combiner des informations hétérogènes venants de sources diﬀérentes Data Analysis ▶Inspection, nettoyage, transformation et modélisation des données. ▶Data Mining, Data Vizualisation ▶Rendre la donnée compréhensible ▶Communiquer à partir de la donnée 7 / 33 Business Intellgence Entrepôt de données Analyse en ligne Déﬁnition Métiers Architecture Haut niveau Data Scientist Il s’agit de disposer de compétences de haut niveau en matière d’analyse de données, en combinant à la fois les méthodes statistiques, mais aussi d’autres connaissances telles que la linguistique, la sémantique, utiles notamment pour travailler sur des données non structurées, sans oublier la bonne compréhension du métier sur lequel on travaille, et de mettre en oeuvre une démarche d’analyse itérative, en acceptant de tester des hypothèses sans a priori sur le résultat recherché. Data Steward - Responsable des Données [. . . ] susceptibles sur un périmètre métier sur lequel ils détiennent une expertise reconnue, de spéciﬁer les exigences sur les données et d’en contrôler la qualité. Ces responsables de données peuvent être positionnés à diﬀérents niveaux dans l’organisation, et peuvent être pilotés par des coordinateurs au niveau d’un métier, d’une fonction support ou d’une géographie. 8 / 33 Business Intellgence Entrepôt de données Analyse en ligne Déﬁnition Métiers Architecture Architecture générale Architecture Les données opérationnelles sont extraites périodiquement de sources hétérogènes : ﬁchiers plats, ﬁchiers Excel, base de données (DB2, Oracle, SQL Server, etc.), service web, données massives et stockées dans un entrepôt de données. Les données sont restructurées, enrichies, agrégées, reformatées, nomenclaturées pour être présentées à l’utilisateur sous une forme sémantique (vues métiers ayant du sens) qui permettent aux décideurs d’interagir avec les données sans avoir à connaître leur structure de stockage physique, de schémas en étoile qui permettent de répartir les faits et mesures selon des dimensions hiérarchisées, de rapports pré-préparés paramétrables, de tableaux de bords plus synthétiques et interactifs. Ces données sont livrées aux divers domaines fonctionnels (direction stratégique, ﬁnance, production, comptabilité, ressources humaines, etc.) à travers un système de sécurité ou de datamart spécialisés à des ﬁns de consultations, d’analyse, d’alertes prédéﬁnies, 9 / 33 Business Intellgence Entrepôt de données Analyse en ligne Déﬁnition Métiers Architecture Architecture Extraction des données ▶Bases de données ▶Autres sources Structuration des données ▶Prétraitements ▶Aggrégation ▶Interface Présentation des données ▶Visualisation, alertes automatiques ▶Pour une tâche donnée ▶À destination d’un décideur 10 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Stockage Base de données opérationnelle ▶Fonctionnement normal de l’entreprise ▶Pas forcément un historique très grand ▶Peut changer dans le temps Datawarehouse ▶Stockage pour le BI ▶Archivage sur toute l’histoire de l’entreprise ▶Format stable dans le temps Datamart ▶Vue métier ▶À destination du décideur 11 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Déﬁnitions Datawarehouse Le terme entrepôt de données (ou base de données décisionnelle, ou encore data warehouse) désigne une base de données utilisée pour collecter, ordonner, journaliser et stocker des informations provenant de base de données opérationnelles et fournir ainsi un socle à l’aide à la décision en entreprise. Datamart Un DataMart (littéralement en anglais magasin de données) est un sous-ensemble d’un DataWarehouse destiné à fournir des données aux utilisateurs, et souvent spécialisé vers un groupe ou un type d’aﬀaire. 12 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Datawarehouse 13 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Les fonctions ▶Collecte de données ▶Intégration ▶Diﬀusion (ou distribution) ▶Présentation 14 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Fonction de collecte Déﬁnition La fonction collecte (parfois appelée datapumping) recouvre l’ensemble des tâches consistant à détecter, sélectionner, extraire et ﬁltrer les données brutes issues des environnements pertinents Tâche ▶Récupérer les données ▶Méthodologie ETL 15 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Données hétérogènes Plusieurs types de sources ▶Fichiers plats ▶Fichers Excel ▶Bases de données (SQL) ▶Services web ▶Systèmes de stockages pour données massives ▶Interfaces exotiques Plusieurs types de données ▶Chiﬀres, texte, image ▶Données statiques, ﬂux ▶Données bruitées, manquantes, erronées 16 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Flux de données et données statiques Données statiques ▶Image à un instant donné de l’état de l’entreprise ▶Rapports d’activité, bilans, inventaire Flux de données ▶Mise à jour en temps réel ▶Compte rendus quotidiens, commandes, livraisons 17 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Recodage Mise sous forme canonique ▶Choix d’une représentation unique ▶Indépendante de la représentation en entrée Stabilité dans le temps Un changement dans les formats d’entrées en doit pas perturber l’analyse. 18 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions ETL Méthodologie et outils Extract ▶Extraire les données de sources hétérogènes Transform ▶Transformation des données pour les mettre dans un format acceptable Load ▶Charger les données dans le datawarehouse 19 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions ETL Ensemble de connecteurs 20 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Logiciels d’ETL Interfaces graphiques pour le non-spécialiste ▶Anatella2 ▶DataStudio (Data) ▶Feature Manipulation Engine (FME) ▶Hurence avec un ETL natif Hadoop ▶IBM InfoSphere DataStage ▶Informatica PowerCenter ▶MapReport ▶Microsoft SQL Server Integration Services (SSIS) ▶OpenText Genio ▶Oracle Data Integrator (Sunopsis) ▶Oxio Data Intelligence solution ETL ▶SAP Data Services ▶SAS Data Integration Studio ▶Stambia ▶STATISTICA ETL (StatSoft) 21 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Pentaho Data Integration 22 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Fonction d’intégration Déﬁnition La fonction d’intégration consiste à concentrer les données collectées dans un espace uniﬁé, dont le socle informatique essentiel est l’entrepôt de données. Élément central du dispositif, il permet aux applications décisionnelles de masquer la diversité de l’origine des données et de bénéﬁcier d’une source d’information commune, homogène, normalisée et ﬁable, au sein d’un système unique et si possible normalisé. Tâches ▶Deuxième passe de ﬁltrage et validation ▶Synchronisation ▶Certiﬁcation (liens avec des documents légaux) 23 / 33 Business Intellgence Entrepôt de données Analyse en ligne Stockage Fonctions Fonction de diﬀusion Déﬁnition La fonction de diﬀusion met les données à la disposition des utilisateurs, selon des schémas correspondant aux proﬁls ou aux métiers de chacun, sachant que l’accès direct à l’entrepôt de données ne correspond généralement pas aux besoins spéciﬁques d’un décideur ou d’un analyste. Tâche ▶Choisir les données en fonction des besoins des utilisateurs ▶Méthodoligie OLAP 24 / 33 Business Intellgence Entrepôt de données Analyse en ligne Description Opérations OLAP - Online Analytical Processing Déﬁnition Analyse sur-le-champ d’informations selon plusieurs axes, dans le but d’obtenir des rapports de synthèse But ▶Les données sont dans un espace de grande dimension ▶Beaucoup de données ▶Comment gérer ça ? 25 / 33 Business Intellgence Entrepôt de données Analyse en ligne Description Opérations Hypercube 26 / 33 Business Intellgence Entrepôt de données Analyse en ligne Description Opérations Opérations sur l’hypercube ▶Rotate : sélection du couple de dimensions à cibler, ▶Slicing : extraction d’une tranche uploads/Management/cours-5.pdf