Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Cours Informatique décisionnelle Chapitre 5: Bases de Données OLAP 1 Références

Cours Informatique décisionnelle Chapitre 5: Bases de Données OLAP 1 Références • Thierry Hamon Cours « Cours Entrepôts de données », Institut Galilée - Université Paris 13 • Bernard ESPINASSE « Cours Entrepôts de données et analyse en ligne », Ecole Polytechnique Universitaire de Marseille • Leila KJIRI, « Cours Data Warehoure », Ecole Ensias RABAT 2 Introduction 3 Introduction Entrepôt de données : stockage de données volumineuses, homogènes, exploitables, multidimensionnelles, consolidées; Comment exploiter et analyser ces données ? Processus standard Exécution des requêtes OLTP sur les données sources; Mise à jour régulière de l’entrepôt; Exécution des requêtes OLAP pour analyser les données de l’entrepôt Résumer; Consolider; Observer; Appliquer des formules statistiques; Synthétiser des données selon plusieurs dimensions 4 Introduction au système OLTP • Un système OLTP (Online Transaction Processing) tel qu’un ERP ou un CRM traite des centaines voire des milliers de transactions par jour. • Un système OLTP est totalement orienté vers l’utilisateur qui alimente au quotidien les bases de production. Caractéristiques d'un système OLTP Il traite en temps réel les transactions d'une entreprise (beaucoup de mouvements, informations détaillées) Il contient des structures de données optimisées pour les entrées et les modifications Il fournit des fonctionnalités limitées d'aide à la décision. 5 Introduction au système OLTP Exemples de système OLTP • Suivi de commandes • Service clientèle • Point de ventes • Fonctions bancaires 6 Introduction au système OLTP Concepts: forme normale, clé primaire, clé étrangère, contrainte d’intégrité référentielle, contraintes d’intégrité fonctionnelle  Informations dans les bases de données relationnelles  Mises à jour en ligne  Conception orientée processus  Seul point d’entrée du système: ensemble des transactions Effort: développement des interfaces 7 OLAP: On Line Analytical Processing Définition: • Online Analytical Processing (OLAP), désigne les bases de données multidimensionnelles (aussi appelées cubes ou hypercubes) destinées à l’analyse. • On parle ici de bases de données multidimensionnelles car pour pouvoir analyser des données représentant l’activité d’une entreprise, il faut pouvoir les modéliser suivant des axes. Caractéristiques d'un système OLAP Il traite des requêtes à plusieurs niveaux d’agrégation; Il traite beaucoup d’informations mais des informations synthétiques. 8 OLAP: On Line Analytical Processing • OLAP : ensemble des moyens et techniques utilisés dans les systèmes d’aide à la décision efficaces; • Réalisation de traitements semi-automatiques définis et mis en œuvre par les décideurs: Interrogation; Synthèse des données; Visualisation. 9 OLAP: On Line Analytical Processing Exemples de système OLAP Systèmes de pilotage d'entreprise • Mesures des performances • Rapports sur les exceptions Applications de vente et de marketing • Analyse de produit • Analyse de la clientèle 10 OLAP: On Line Analytical Processing Exemples de système OLAP Applications financières • Rapports • Prévisions Applications opérationnelles • Fabrication • Service clientèle • Coût des produits 11 OLAP: On Line Analytical Processing Concepts: agrégats, données consolidées  Représentation cubique  Suivi des indicateurs  Conception orientée métier Effort: extraction des données, montage des graphiques 12 OLAP: On Line Analytical Processing • Organiser les données de manière similaire aux abstractions de l’analyste Plusieurs dimensions; Différents niveaux de détail; Vue d’ensemble; La donnée : point dans l’espace associé à des valeurs (cube OLAP). 13 OLTP vs OLAP 14 Composants de base de données OLAP Les bases de données OLAP contiennent les composants suivants: Mesures numériques: Les mesures sont des valeurs ou des faits analysés par les utilisateurs. Les mesures d'un cube doivent provenir de la table de faits définie dans la base de données source étoile. Dimensions: Les dimensions représentent des catégories d'entreprise qui fournissent un contexte aux mesures numériques. Elles sont l'équivalent logique des dimensions du schéma en étoile 15 Composants de base de données OLAP Cubes Les cubes associent toutes les dimensions et toutes les mesures dans un modèle conceptuel. Ils fonctionnent comme un support de stockage logique pour une base de données OLAP et sont manipulés par les utilisateurs qui souhaitent accéder à leurs données. 16 Composants de base de données OLAP • Dimension OLAP: Notions niveau, membre 17 Cube OLAP • Il est un support de stockage logique pour une base de données OLAP; • Il est manipulé par les utilisateurs qui souhaitent accéder à leurs données; • Il définit un ensemble de dimensions associées qui forment une grille à n-dimensions; • Chaque cellule du cube contient une valeur, tout comme une feuille de calcul; • La valeur de chaque cellule correspond à une intersection des dimensions. 18 Cube OLAP 19 Cube OLAP 20 Cube OLAP 21 Cube OLAP Navigation dans le cube: Les dimensions vous permettent de: • Découper: vous sélectionnez un seul membre de cette dimension (par exemple, vous pouvez vous concentrer sur un seul produit) • Quadriller: vous placez plusieurs membres d'une dimension sur un axe, puis vous placez plusieurs membres d'une autre dimension sur un autre axe. Ainsi, vous pouvez voir la relation entre les membres de différentes dimensions. 22 Cube OLAP Navigation dans le cube: Les hiérarchies vous permettent de: • Descendre: Lorsque vous descendez dans un membre d'une hiérarchie, tous les enfants de ce membre s'affichent. • Monter: Lorsque vous montez parmi les membres ou les groupes de membres d'une hiérarchie, vous réduisez les détails pour afficher uniquement les informations résumées du parent de chaque membre. 23 Schémas de stockage OLAP •MOLAP Multidimensionnal On-Line Analitycal Process •ROLAP Relationnal On-Line Analitycal Process •HOLAP Hybrid On-Line Analitycal Process • MOLAP Multidimensionnal On-Line Analitycal Process • ROLAP Relationnal On-Line Analitycal Process • HOLAP Hybrid On-Line Analitycal Process 24 ROLAP • Evolution vers une architecture capable de se passer des bases relationnelles jusqu’à un certain seuil puis ensuite d’en tirer parti; • Information stockée physiquement dans une base de données relationnelle, mais vue par l’utilisateur au travers d’un dictionnaire mettant en œuvre une approche multidimensionnelle; • Réalisation du mapping entre le modèle relationnel stocké et le modèle vu par l’utilisateur. 25 ROLAP • SGBD relationnels : plus de 80% des SGBD • Stratégie la plus couramment pour implanter un ED • Nécessité d’adaptation des SGBDR pour répondre aux besoins des ED : Extensions du langage SQL à de nouveaux opérateurs; Usage de vues matérialisées; Indexation binaire pour améliorer les performances • Réalisation de calculs dérivés et agrégations à différents niveaux; • Génération de requêtes adaptées au schéma relationnel de l’ED; • Exploitation des vues matérialisées existantes (facteur principal de performance). 26 ROLAP • Utilisation d’un SGBR relationnel pour stocker l’ED (structure en étoile ou flocon); • Moteur OLAP : élément complémentaire pour Fournir: Une vision multidimensionnelle de l’ED; Réaliser des calculs de données dérivés et des agrégations à différents niveaux; Générer des requêtes SQL adaptées au schéma relationnelle de l’ED (grâce aux vues matérialisées existantes) 27 ROLAP • Rôle du moteur OLAP : Traduction dynamique du modèle logique de données multidimensionnel M en modèle de stockage relationnel R (en étoile ou en flocon); En fait, transformation d’une requête multidimensionnelle m sur M en une requête relationnelle r sur R; • Efficacité de la requête : performance et passage à l’échelle global du système • Importance des techniques et des stratégies d’optimisation dans les produits ROLAP : Techniques d’indexation spécifiques; Sélection et matérialisation de vues; Fragmentation des tables de l’entrepôt 28 ROLAP Sélection et matérialisation des vues en ROLAP: • Pré-calcul d’agrégats: Trois possibilités : 1. pas stockage d’agrégat (coûteux en temps); 2. stockage tous les agrégats (coûteux en espace); 3. stockage d’une partie des agrégats : nécessite de déterminer lesquels stocker. Datacube : faits + tous les cuboïdes possibles cube dense : taille du datacube = taille de la table de faits; 29 ROLAP Sélection et matérialisation des vues en ROLAP: Treillis de Cuboïdes : 30 ROLAP Sélection et matérialisation des vues en ROLAP: • Table physique synchronisée avec les résultats d'une requête; • Synchronisation temps-réel, en lot ou sur demande; • Permet les indexes, le partitionnement, contrôle d'accès, etc. • Hiérarchie d'agrégations possible en créant une nouvelle vue à partir d'autres vues. 31 ROLAP Sélection et matérialisation des vues en ROLAP: • Choix de la matérialisation des cuboïdes en fonction : du grain (niveau d’agrégation) : le grain doit être suffisamment fin pour pouvoir répondre aux requêtes; des requêtes utilisateurs → Matérialisation des cuboïdes grâce à des vues matérialisées 32 ROLAP Sélection et matérialisation des vues en ROLAP: • Résultat du calcul d’une vue stockée sur disque; • Représentation des agrégations des tables d’un schéma en étoile • Utilisation de ces vues par les requêtes (données pré-agrégées) : amélioration les performances; • Possibilité de construction d’une vue matérialisée à partir d’une autre; • Matérialisation de toutes les vues souvent impossible • → Sélection des vues à matérialiser en fonction : du coût d’exécution des requêtes; du coût de maintenance (rafraîchissement); du coût de calcul; de l’espace disque requis. 33 ROLAP Sélection et matérialisation des vues en ROLAP: • Exemple de cube: • Vue matérialisée des agrégats par modèle, couleur, mois, ville : 34 CREATE MATERIALIZED VIEW ventesVue1 refresh force start with sysdate next sysdate+1 AS SELECT modele , couleur , mois , v i l l e , SUM( p r i x ) as prix , uploads/Finance/ cours-informatique-decisionnelle-chapitre-5-bases-de-donnees-olap 1 .pdf