Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Présentation Architecture Outils et technologies Le cours Business Intelligence

Présentation Architecture Outils et technologies Le cours Business Intelligence - Introduction Olivier Schwander <olivier.schwander@lip6.fr> UPMC 1 / 45 Présentation Architecture Outils et technologies Le cours Organisation du cours http://www-connex.lip6.fr/~schwander/enseignement/ 2015-2016/m2stat_bi/ Horaires et salles ▶Mardi de 14h à 17h, salle 1525-101 ou 1525-102 ▶Cours puis TD/TP (mais pas toujours) Contenu ▶Business intelligence ▶Bases de données, extraction de données ▶Interventions d’industriels Évaluation ▶Note de TP et travail à la maison ▶Examen ﬁnal 2 / 45 Présentation Architecture Outils et technologies Le cours Inspiration Cours de Ludovic Denoyer ▶Master 1 Données Apprentissage Connaissances ▶Beaucoup plus d’heures ▶Pas le même public (informaticiens) Cours de Bernard Espinasse ▶Ecole Polytechnique Universitaire de Marseille ▶Public encore plus spécialisé Article Wikipedia Informatique décisionnelle Autres sources ▶Indiquées au fur et à mesure 3 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Objectifs Analyse de données pour l’entreprise ▶Donner des clefs de compréhension autour du rôle et de la gestion des données en entreprise ▶Aborder des problématiques de traitement/intégration de données sur des exemples concrets ▶Présenter des outils du domaine pro Analyse de données en pratique ▶Donner des éléments de bases de données ▶Présenter des cas concrets d’extaction de données 4 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Contexte Entreprise ▶On veut gagner de l’argent ▶On cherche à faire des choix intelligents ▶On peut collecter beaucoup de données ▶On a les ressources pour les traiter ▶On cherche les compétences pour les traiter Vous ▶Des mathématiciens, des statisticiens ▶Des étudiants à intégrer dans le monde du travail ▶Lien à faire entre vos compétences et le vocabulaire et les besoins de l’entreprise 5 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Contexte 6 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Déﬁnition L’Informatique Décisionnelle (ID), en anglais Business Intelligence (BI), est l’informatique à l’usage des décideurs et des dirigeants des entreprises. Les systèmes de ID/BI sont utilisés par les décideurs pour obtenir une connaissance approfondie de l’entreprise et de déﬁnir et de soutenir leurs stratégies d’aﬀaires, par exemple : d’acquérir un avantage concurrentiel, d’améliorer la performance de l’entreprise, de répondre plus rapidement aux changements, d’augmenter la rentabilité, et d’une façon générale la création de valeur ajoutée de l’entreprise. 7 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Motivation Enjeux Business des données - CIGREF 2014 Pour qui réussit à optimiser son usage, la donnée devient information, puis, bien partagée au sein de l’entreprise, elle se transforme en connaissance et constitue son savoir. Elle peut être une source de services et d’innovations, notamment lorsqu’on la croise avec d’autres données et qu’elle provient de sources diverses. Mots-clés ▶données, information, connaissance, savoir ▶optimiser, partager, sources diverses 8 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Applications source : Rapport CIGREF 2009 ▶Finance, avec les reportings ﬁnanciers et budgétaires par exemple ; ▶Vente et commercial, avec l’analyse des points de ventes, l’analyse de la proﬁtabilité et de l’impact des promotions par exemple ; ▶Marketing, avec la segmentation clients, les analyses comportementales par exemple ; ▶Logistique, avec l’optimisation de la gestion des stocks, le suivi des livraisons par exemple ; ▶Ressources humaines, avec l’optimisation de l’allocation des ressources par exemple ; 9 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Etude IDC - Microsoft 2014 10 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Etude IDC - Microsoft 2014 11 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Etude IDC - Microsoft 2014 12 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Pyramide du BI (Big) Data Information Connaissance Sagesse 13 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Les métiers du BI 4 métiers ▶Data Integrator ▶Data Analyst ▶Data Scientist ▶Data Steward (Responsable des données) 14 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Bas niveau Data Integration ▶Combiner des informations hétérogènes venants de sources diﬀérentes Data Analysis ▶Inspection, nettoyage, transformation et modélisation des données. ▶Data Mining, Data Vizualisation ▶Rendre la donnée compréhensible ▶Communiquer à partir de la donnée 15 / 45 Présentation Architecture Outils et technologies Contexte Motivation Les métiers du BI Haut niveau Data Scientist Il s’agit de disposer de compétences de haut niveau en matière d’analyse de données, en combinant à la fois les méthodes statistiques, mais aussi d’autres connaissances telles que la linguistique, la sémantique, utiles notamment pour travailler sur des données non structurées, sans oublier la bonne compréhension du métier sur lequel on travaille, et de mettre en oeuvre une démarche d’analyse itérative, en acceptant de tester des hypothèses sans a priori sur le résultat recherché. Data Steward - Responsable des Données [. . . ] susceptibles sur un périmètre métier sur lequel ils détiennent une expertise reconnue, de spéciﬁer les exigences sur les données et d’en contrôler la qualité. Ces responsables de données peuvent être positionnés à diﬀérents niveaux dans l’organisation, et peuvent être pilotés par des coordinateurs au niveau d’un métier, d’une fonction support ou d’une géographie 16 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Architecture Les données opérationnelles sont extraites périodiquement de sources hétérogènes : ﬁchiers plats, ﬁchiers Excel, base de données (DB2, Oracle, SQL Server, etc.), service web, données massives et stockées dans un entrepôt de données. Les données sont restructurées, enrichies, agrégées, reformatées, nomenclaturées pour être présentées à l’utilisateur sous une forme sémantique (vues métiers ayant du sens) qui permettent aux décideurs d’interagir avec les données sans avoir à connaître leur structure de stockage physique, de schémas en étoile qui permettent de répartir les faits et mesures selon des dimensions hiérarchisées, de rapports pré-préparés paramétrables, de tableaux de bords plus synthétiques et interactifs. Ces données sont livrées aux divers domaines fonctionnels (direction stratégique, ﬁnance, production, comptabilité, ressources humaines, etc.) à travers un système de sécurité ou de datamart spécialisés à des ﬁns de consultations, d’analyse, d’alertes prédéﬁnies, 17 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Architecture Extraction des données ▶Bases de données ▶Autres sources Structuration des données ▶Prétraitements ▶Aggrégation ▶Interface Présentation des données ▶Visualisation, alertes automatiques ▶Pour une tâche donnée ▶À destination d’un décideur 18 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Stockage Base de données opérationnelle ▶Fonctionnement normal de l’entreprise ▶Pas forcément un historique très grand ▶Peut changer dans le temps Datawarehouse ▶Stockage pour le BI ▶Archivage sur toute l’histoire de l’entreprise ▶Format stable dans le temps Datamart ▶Vue métier ▶À destination du décideur 19 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Déﬁnitions Datawarehouse Le terme entrepôt de données (ou base de données décisionnelle, ou encore data warehouse) désigne une base de données utilisée pour collecter, ordonner, journaliser et stocker des informations provenant de base de données opérationnelles et fournir ainsi un socle à l’aide à la décision en entreprise. Datamart Un DataMart (littéralement en anglais magasin de données) est un sous-ensemble d’un DataWarehouse destiné à fournir des données aux utilisateurs, et souvent spécialisé vers un groupe ou un type d’aﬀaire. 20 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Datawarehouse 21 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Les fonctions ▶Collecte de données ▶Intégration ▶Diﬀusion (ou distribution) ▶Présentation 22 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Fonction de collecte Déﬁnition La fonction collecte (parfois appelée datapumping) recouvre l’ensemble des tâches consistant à détecter, sélectionner, extraire et ﬁltrer les données brutes issues des environnements pertinents Tâche ▶Récupérer les données ▶Méthodologie ETL 23 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Données hétérogènes Plusieurs types de sources ▶Fichiers plats ▶Fichers Excel ▶Bases de données (SQL) ▶Services web ▶Systèmes de stockages pour données massives ▶Interfaces exotiques Plusieurs types de données ▶Chiﬀres, texte, image ▶Données statiques, ﬂux ▶Données bruitées, manquantes, erronées 24 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Flux de données et données statiques Données statiques ▶Image à un instant donné de l’état de l’entreprise ▶Rapports d’activité, bilans, inventaire Flux de données ▶Mise à jour en temps réel ▶Compte rendus quotidiens, commandes, livraisons 25 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Recodage Mise sous forme canonique ▶Choix d’une représentation unique ▶Indépendante de la représentation en entrée Stabilité dans le temps Un changement dans les formats d’entrées en doit pas perturber l’analyse. 26 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions ETL Méthodologie et outils Extract ▶Extraire les données de sources hétérogènes Transform ▶Transformation des données pour les mettre dans un format acceptable Load ▶Charger les données dans le datawarehouse 27 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions ETL Ensemble de connecteurs 28 / 45 Présentation Architecture Outils et technologies Architecture générale Stockage Fonctions Logiciels d’ETL Interfaces graphiques pour le non-spécialiste ▶Anatella2 ▶DataStudio (Data) ▶Feature Manipulation Engine (FME) ▶Hurence avec un ETL uploads/Management/ cours-1 5 .pdf