Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

EXPERTISES DECISIONNELLES DOMAINES FONCTIONNELS FORMATIONS AUX OUTILS BI PRÉSEN

EXPERTISES DECISIONNELLES DOMAINES FONCTIONNELS FORMATIONS AUX OUTILS BI PRÉSENTATION DES OUTILS DÉCISIONNELS Date : 24/07/2013 Panorama des outils décisionnels, de leurs fonctionnalités et des réponses qu’ils apportent Référence : FOR-OUTILS Rédacteur : STS-EFY Sommaire L’architecture décisionnelle Les catégories d’outil Concept de l’outil Panorama des éditeurs xxxx Rappel des concepts Historique : … : … : … : ... : … :… : … : … : … : … : .. Construire une timeline Une architecture type Sources de données Abel X3 Espace de collecte (SAS) Espace de travail Silo Datawarehouse Datamarts Stockage décisionnel dans la durée. Intégration de règles métier Domus Niveau d’historisation Niveau de détail Modélisation Centralisation données sources Toilettage Convergence des données Stockage dans la durée de données détaillées et de qualité Profondeur d’historique et niveau du détail fonction du besoin Qualité Non Non Oui Oui Oui Règles métier ETL ETL ETL ETL ETL ETL Qlikview Reporting statique institutionnel Interface de mise à disposition Vues ? Curseur emplacement silo Vues ? Sommaire Les outils ETL Concept de l’outil Panorama des éditeurs xxxx Les outils ETL: Extract, Transform & Load : Collecter, Transformer, Alimenter Objectifs •En entrée du Datawarehouse •Extraire les données utiles à l’analyse présentes dans le système d’information existant •Unifier les sources de données : Transformer et normaliser ces données •Pré-calculer les formules complexes •Stocker l’information dans le Datawarehouse •En sortie du Datawarehouse •Réinjecter les données pertinentes dans les systèmes opérationnels Les outils ETL: Extract, Transform & Load : Collecter, Transformer, Alimenter Caractéristiques •Transparence des technologies qui supportent les interfaces •Programmation graphique •Reverse Engineering •Analyse d’impact •Vaste Catalogue de fonctions de transformations •Connectivité •Puissance de calcul •Gain de productivité •Urbanisation •Maintenabilité Carré Magique du Gartner (Pour les éditeurs conventionnels) Editeurs d’ETL Informatica est l’exception qui confirme la règle dans le sens ou l’éditeur ne souhaite pas investir dans le reste de la chaine décisionnelle (plateforme BI) Editeurs Conventionnels Editeurs Open Source Une offre variée •Critères •Principales briques fonctionnelles •Extraction des données et type d'architecture •Connecteurs PGI natifs •Gestion des contextes •Référentiel, et métadonnées •Performances •Prix Les catégories d'ETL Trois catégories d’ETL , où les traitements sont pris en charge par un exécutable unique appelé moteur (IBM, Informatica, Microsoft, Pentaho…). , où les traitements peuvent nécessiter une étape de compilation (Talend), (Oracle, OXIO…), Fonctionnalités nécessaires La gestion de la qualité, d'audit, voire des couches de Web Services La gestion centralisée des métadonnées et l'administration des scénarios d'alimentation Maintenabilité de la solution, La robustesse de son moteur, Capacité d’interfaçage avec les données externes La variété des connecteurs présents en natif avec l'offre d'ETL, et notamment ceux qui sont dédiés aux PGI (Progiciels de Gestion Intégrée). Dans un contexte où le parc d'applicatifs métiers est hétérogène, faire appel à un ETL disposant nativement d'un grand nombre de connecteurs peut être gage de simplicité et éviter de possibles Des interfaces évoluées IBM DataStage Informatica PowerCenter Business Objects Data Integrator Talend Open Studio Oracle DI Kettle – Pentaho DI Tracabilité et documentation offre : •Un référentiel instancié sur une BdR (mysql, Oracle, SQL Server) •L’accès au référentiel est ouvert et documenté •Un portail Web proposant : •Du monitoring •Un outil de documentation •Un outil de gestion de la qualité Le Data Quality Management Les ETLs sont supposés : • dans le datawarehouse : car il est nécessaire que les décisions soient prises sur la base de données fiables • par voie de conséquence, dans les systèmes sources : toute erreur détectée doit en effet être corrigée le plus en amont possible (assainissement de la chaine) Les permettent donc de détectées au cours du chargement. Les sont d’un outil à l’autre. Il n’existe pas de solution entièrement automatisée. De fait, la gestion des peut représenter A titre d’exemple, les planches suivantes proposent la solution innovante de l’ETL OXIO Evolution des ETL : vers le On Demand Traitement ETL « invocables » à la demande Cas des rapports particulièrement complexes : un traitement ETL est appelé pour préparer les données dans une table qui sera accédée par l’outil de reporting Génération de portails flash « gratuits »: un traitement ETL prépare le fichier XML qui sert de source aux composants Flash. Idéal pour les dashboards Management Donner de l’autonomie aux utilisateurs L’utilisateur veut intégrer des données à partir de fichiers Excel L’utilisateur veut rester maitre de certaines procédures d’alimentation Les prix IBM Information Server Dès 88 000 € (avec 1 an de maintenance comprise) NC Informatica Power Center Dès 50 000 € EDF, Société Générale, Danone... Oracle Warehouse Builder et Data Integrator (Sunopsis) Dès 25 000 € Caroll, Arpège Groupe Caisse d'Epargne... Microsoft SQL Server Integration Services Dès 10 000 $ Prix d'une licence SQL Server Talend Open Studio Offre Open-Source gratuite mais limitée Groupe Accor, GMF, Direction Générale de la Comptabilité Publique... 4500 € par an et par développeur pour solution complète Business Object Data Integrator 38 000 € - 230 000€ Une triple alternative Alternative 1 : + : Rester au plus près des spécificités métiers des données à traiter, tout en s'affranchissant des contraintes liées à l'achat et l'utilisation d'un ETL - : coûteux à long terme, tout simplement car l'évolutivité constante des données métier entraîne une nécessaire adaptation des traitements d'intégration Alternative 2 + : Permet de mettre en oeuvre très rapidement les traitements d'intégration - : coûts élevés (achat des licences, formations,...) et ceci dès la phase de démarrage du projet. Alternative 3 Bénéficie des avantages d'un ETL tout en gardant une maîtrise lissée des coûts. Ces derniers sont en effet réduits aux coûts de formation initiale de l'outil et d'une éventuelle souscription à une hot-line technique. Aucune licence n'est à payer dans ce modèle économique. La solution Kettle Un produit sous licence GNU disponible sur plusieurs systèmes d'exploitation Une suite de 3 composants: L'interface graphique « Spoon », les déclencheurs en mode batch pour les transformations (« Pan ») et les jobs (« Kitchen »). Contrairement à Talend Open Studio, Pentaho Data Integration est un « moteur de transformation » ETL: les données traitées et les traitements à effectuer sont parfaitement séparés. (on parle de « meta-data driven » ETL) Les traitements sont stockés dans un référentiel (repository) qui peut être soit au format XML (fichiers plats), soit dans une base de données (ce qui permet notamment le partage entre plusieurs designers). Tout comme Talend Open Studio, de nombreux types de SGBD sont supportés (une trentaine) ainsi que tous les types de fichiers plats (Csv, délimité, Excel, XML). Une installation simple (un dossier à décompresser) => un environnement d'exécution JAVA 1.5 suffit La possibilité de prévisualiser les flux de données traitées, et ceci pour une étape donnée. La possiblité d'exécuter les traitements sur le poste local, un serveur distant, ou un ensemble de serveurs (exécution en « grappe »; clustering) La possibilité de logger les traitements dans une base de données spécifique. L'intégration parfaite avec la plate-forme décisionnelle Pentaho. Par exemple, les flux de données en provenance de l'ETL peuvent servir à alimenter des rapports ou des dashboards en temps réel. OpenSource La solution Kettle La solution Kettle Sommaire Les bases de données Concept de l’outil Panorama des éditeurs xxxx Les bases des données relationnelles décisionnelles L’utilisation d’outil de reporting impose certaines contraintes à la modélisation décisionnelle pour la mise en œuvre de tableaux ou parfois de la requête à proprement parler. On peut citer : La mise en œuvre de hiérarchies équilibrées (une ligne ne peut pas « sauter » un niveau hiérarchique car cela casserait le modèle relationnel) La mise à plat des relations parent enfant d’une table hiérarchique (besoin d’obtenir un nombre fini de niveau) Bref tout ce qui implique de respecter le principe « Tout est table » des SGBDR. Remarque : dans la cadre du process analytique , on parle parfois de ROLAP pour Relational OLAP Malgré toutes les contraintes imposées, le modèle relationnel reste le plus déployé car il permet de stocker des quantités faramineuses de données avec des temps de réponse raisonnable quand la modélisation est bonne. (Les experts dans ce domaine parlent désormais de pétaoctets soit 1 000 000 Go) Editeurs Conventionnels Editeurs Open Source Editeurs de bases de données Carré Magique du Gartner (Pour les éditeurs conventionnels) Teradata est le véritable spécialiste des entrepôts de données gigantesques (plusieurs PetaOctet). A noter l’absence de SAP dans cette partie. Les bases OLAP Structuration des données selon un principe de dimensions correspondant étroitement aux axes de recherche des utilisateurs. Cette structure en forme de "cube" présente de nombreux avantages : le cube : OLAP réactualise l'ensemble des calculs de synthèse et les agrégats selon la question posée Exemple : chiffre d'affaires réalisé par produit et par région et par période, ou, en pivotant par région et par produit et par période , permettant de découper une "tranche" du cube afin de l'analyser plus finement pour descendre plus avant dans le détail Exemple : Vente des produits frais dans la région Alsace pour le trimestre écoulé Possibilité d’affiner : ...Et dans le département du Bas Rhin ...Et dans la ville de Strasbourg... uploads/Ingenierie_Lourd/ for-outils-presentation-des-outils-decisionnels.pdf