Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représent

Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Les Data WareHouse Claude Duvallet Université du Havre UFR Sciences et Techniques 25 rue Philippe Lebon - BP 540 76058 LE HAVRE CEDEX Claude.Duvallet@gmail.com http://litis.univ-lehavre.fr/∼duvallet/ Claude Duvallet — 1/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Plan du cours Introduction et déﬁnition Pourquoi un Data Warehouse? Mettre en œuvre un Data Warehouse Modélisation et implémentation Conclusion Claude Duvallet — 2/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Introduction et contexte En français : les entrepôts de données. En anglais : les Data Warehouse. Déﬁnition d’un entrepôt de données selon Inmon (1992) : L ’entrepôt de données (ED) est une collection de données thématiques, intégrées, non volatiles et historisées, organisées pour le support d’un processus d’aide à la décision. Principe : Base de Données utilisée à des ﬁns d’analyse. Caractéristiques : orientation sujets (« métiers »), données intégrées, données non volatiles, données datées. Claude Duvallet — 3/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Caractéristiques des données d’un entrepôt de données Orientées sujet : un ED rassemble et organise des données associées aux différentes structures fonctionnelles de l’entreprise, pertinentes pour un sujet ou thème et nécessaire aux besoins d’analyse. Intégrées : les données résultent de l’intégration de données provenant de différentes sources pouvant être hétérogènes. Historisées : les données d’un ED représentent l’activité d’une entreprise durant une certaine période (plusieurs années) permettant d’analyser les variations d’une donnée dans le temps. Non-volatiles : les données de l’ED sont essentiellement utilisées en interrogation (consultation) et ne peuvent pas être modiﬁées (sauf certains cas de rafraîchissement). Claude Duvallet — 4/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Data Warehouse : déﬁnition Entrepôt de données : Ensemble de données historisées variant dans le temps, organisées par sujets, consolidées dans une base de données unique, gérées dans un environnement de stockage particulier, aidant à la prise de décision dans l’entreprise. Trois fonctions essentielles : Collecter des données de bases existantes et les charger, Gérer des données dans l’entrepôt, Analyser les données en de la prise de décision. Magasin de données (Data Mart) : C’est un sous-ensemble de l’entrepôt de données qui contient les données pour un secteur particulier de l’entreprise. Exemple : un département, une direction, un service, une gamme de produit,... Claude Duvallet — 5/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Caractéristiques des magasins de données Ils contiennent une portion du contenu d’un entrepôt de données. Ils se focalisent sur un seul sujet d’analyse tel que, par exemple, les ventes de produits ou leur livraison mais pas les deux. Ils servent à faire des analyses simples et concentrées. Le nombre de sources est limité et provient la plupart du temps d’un même département. L ’extraction et le transfert de données rudimentaires sont souvent fait par transfert de ﬁchiers ou par du code propriétaire. Le même processus de conception que les entrepôts de données est utilisé mais il nécessite moins de ressources. Claude Duvallet — 6/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Comptoirs des données opérationnelles (1) En anglais : Operational Data Store. Caractéristiques : Ils intègrent et consolident des données de sources hétérogènes dans le but de faciliter certaines opérations de l’entreprise. Ils peuvent servir de sources à des systèmes opérationnels ou un entrepôt de données. Utilisations : Ils servent à régler des règles d’affaires complexes impliquant des données de plusieurs sources. Ils permettent d’analyser des données consolidées quasiment en temps réel. Ils simpliﬁent le processus ETL (Extraction, Transformation et Chargement) d’un entrepôt de données. Claude Duvallet — 7/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Comptoirs des données opérationnelles (2) Comptoirs des données versus Entrepôts de données : Ils contiennent rarement des données historiques. Ils mettent à jour les données au lieu de les ajouter. Ils effectuent les changements presque instantanément au lieu de les faire en lots. Ils ne remplacent pas les entrepôts de données. Exemples d’applications : Dans le domaine Bancaire, on peut valider en temps réel la solvabilité d’un client demandant un prêt bancaire, lorsque les comptes, les placements, et les dossiers de gestions de risques sont gérés par des applications différentes. Dans le domaine des Télécommunications, on peut suggérer un nouveau forfait à un client, en se basant sur des statistiques récentes d’utilisation. Claude Duvallet — 8/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Les méta-données (1) Déﬁnitions : Ce sont des informations qui déﬁnissent et décrivent les structures, opérations et le contenu du système d’informatique décisionnelle. Il existe trois types de méta-données : technique, d’affaire et de processus. Méta-données techniques : ETL (Extract-Transform-Load) : ce sont les sources et les cibles pour les transferts de données, les transformations, les règles d’affaires, etc. Stockage : Ce sont les tables, les champs, les types, les indexes, les partitions, les dimensions, etc. Présentation : Ce sont les modèles de données, les rapports, les privilèges d’accès, etc. Claude Duvallet — 9/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Les méta-données (2) Méta-données d’affaires : Elles décrivent le contenu de l’entrepôt de données dans des termes compréhensibles par les utilisateurs d’affaires. Exemples : les descripteurs des tables et des champs. Méta-données de processus : Elles décrivent le résultats de diverses opérations du système d’informatique décisionnelle. Exemple : Les logs "ETL" (début, ﬁn, écritures disques, ...), les statistiques sur les requêtes, etc. Les méta-données permettent : de découpler la dépendance entre la technologie et son utilisation. de contrôler l’état et la performance de la solution reposant sur le système d’informatique décisionnelle. de fournir de la documentation pour le système. de déterminer l’impact d’un changement. ⇒Dans l’idéal, il faudrait avoir un seul répertoire pour les méta-données, partagé toutes les composantes de l’ED. Claude Duvallet — 10/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Déﬁnitions Data Mining : Fouille de données Le forage de données a pour but de mettre en évidence des corrélations éventuelles dans un volume important de données aﬁn de dégager des tendances. OLAP : On-Line Analytical Processing Le but de l’OLAP est de permettre une analyse multidimensionnelle sur des bases de données volumineuses aﬁn de mettre en évidence une analyse particulière des données (Cubes OLAP). Claude Duvallet — 11/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Motivations des entreprises Besoin des entreprises : accéder à toutes les données de l’entreprise. regrouper les informations disséminées. analyser et prendre des décisions rapidement (OLAP). Exemples d’applications concernées : Grande distribution : marketing, maintenance, ... produits à succès, modes, habitudes d’achat. préférences par secteurs géographiques. Bancaire : suivi des clients, gestion de portefeuilles mailing ciblés pour le marketing. Télécommunications : pannes, fraudes, mobiles, ... classiﬁcation des clients, détection fraudes, fuites de clients. Claude Duvallet — 12/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Les bénéﬁces (1) Une meilleur capacité d’analyse : Il est possible de découvrir ainsi des tendances cachées. On possède une vue d’ensemble. On peut prendre de meilleures décisions. Une augmentation de la productivité des employés : On peut générer des rapports au niveau des usagers. On a une meilleure synthèse de l’information et un temps d’extraction réduit. On utilise une déﬁnition commune des données. Une diminution des coûts : Il y a moins de rapports Ad Hoc pour les technologies de l’information. Il y a donc aussi une baisse du coût d’accès à l’information. Claude Duvallet — 13/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Les bénéﬁces (2) Une augmentation des revenus : De l’information non disponible via le ERP est désormais disponible. Il existe une meilleure communication entre les services. Il existe de meilleures analyses du marché et donc, des décisions stratégiques peuvent être prises. L ’intégration des données sur une plateforme unique. L ’accent est mis sur le client : Les données concernant les clients sont disponibles et accessibles par tout le monde. Il est possible d’effectuer des ventes croisées. Claude Duvallet — 14/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Concevoir le Data Warehouse Export de données des sources : Hétérogènes et variées. Fichiers, BD patrimoniales, Web,... Déﬁnition des vues exportées. Déﬁnition d’un schéma global : Il intègre les données utiles. Il s’appuie sur le modèle relationnel. Nécessité d’une gestion des méta-données pour : la description des sources, la description des vues exportées, la description du schéma global. Claude Duvallet — 15/37 Les Data WareHouse Introduction Motivations Mettre en œuvre un Data Warehouse Modèles de représentation Acquisition des données Trois étapes : Déterminer et recenser les données à entreposer : recherche des données dans les sources de données de l’entreprise uploads/Management/cours-data-warehouse.pdf