Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Conservatoire National des Data warehouse et data mining Version 1.1 Arts et Mé

Conservatoire National des Data warehouse et data mining Version 1.1 Arts et Métiers de Lille Le 15 Juin 1998 SOMMAIRE GENERAL PRESENTATION (page INTRODUCTION) LA PROBLEMATIQUE DE L'ENTREPRISE (page LA PROBLEMATIQUE DE L'ENTREPRISE) LE DATA WAREHOUSE (page LE DATA WAREHOUSE) OLAP ET ANALYSE MULTIDIMENSIONNELLE (page LE CONCEPT OLAP) LE DATA MINING (page INTRODUCTION AU DATA MINING) DIVERS : ETHIQUE, WEB, … (page DATA MINING ET ETHIQUE) C:\CNAM\Data.doc Valeur C : Ingénierie des systèmes décisionnels Page 1 Conservatoire National des Data warehouse et data mining Version 1.1 Arts et Métiers de Lille Le 15 Juin 1998 SOMMAIRE DETAILLE Page 1 - INTRODUCTION...............................................................................................................................................................10 2 - LA PROBLEMATIQUE DE L'ENTREPRISE...............................................................................................................11 2.1 - INTRODUCTION........................................................................................................................................................11 2.1.1 - L’ENTREPRISE..........................................................................................................................................................11 2.1.2 - LE DÉCIDEUR..........................................................................................................................................................13 2.1.3 - LES NIVEAUX DE PRÉOCCUPATIONS DU DÉCIDEUR..........................................................................................................13 2.1.4 - RESUME..............................................................................................................................................................14 2.2 - LE SYSTÈME DÉCISIONNEL DE L’ORGANISATION.........................................................................................14 2.2.1 - LA RÉSOLUTION DE PROBLÈME....................................................................................................................................15 2.2.1.1 - Le Problème..................................................................................................................................................................15 2.2.1.2 - La Résolution du Problème...........................................................................................................................................15 2.2.1.3 - L’espace de Résolution.................................................................................................................................................16 2.2.1.3.1 - L’espace des états.................................................................................................................................................16 2.2.1.3.2 - Les Opérateurs.....................................................................................................................................................16 2.2.1.3.3 - La Réduction de la Différence..............................................................................................................................16 2.2.1.3.4 - l’Heuristique........................................................................................................................................................17 2.2.1.3.5 - En résumé............................................................................................................................................................17 2.2.2 - LE PARADIGME STI...................................................................................................................................................17 2.2.2.1 - STI................................................................................................................................................................................17 2.2.2.2 - la Représentation du STI...............................................................................................................................................18 2.2.2.3 - Matière traitée : Signes et Symboles.............................................................................................................................19 2.2.2.4 - Les décalages espace, temps, forme du STI..................................................................................................................19 2.2.2.5 - La définition de Simon..................................................................................................................................................19 2.2.2.6 - En Résumé....................................................................................................................................................................19 2.2.3 - L’ORGANISATION ET LE STI........................................................................................................................................20 2.2.3.1 - La Perception de l’environnement.................................................................................................................................20 2.2.3.2 - La représentation mentale et les niveaux de préoccupation...........................................................................................21 2.2.3.3 - Les composantes du modèle..........................................................................................................................................21 2.2.3.4 - L’élément déclencheur du problème.............................................................................................................................22 2.2.3.4.1 - Variation entre 2 évaluations de la représentation du modèle...............................................................................22 2.2.3.4.2 - Variation de l’état des préoccupations..................................................................................................................22 2.2.3.5 - Le Projet de l’Organisation...........................................................................................................................................22 2.2.3.6 - En Résumé....................................................................................................................................................................23 2.2.4 - LA DECISION.............................................................................................................................................................24 2.2.4.1 - Les Phases de la Prise de décision.................................................................................................................................24 2.2.4.2 - Echelle des préoccupations et échelle de normalisation des Décisions..........................................................................25 2.2.4.3 - Structuration du processus de décision..........................................................................................................................28 2.2.4.3.1 - Introduction..........................................................................................................................................................28 2.2.4.3.2 - Rôle des conseils extérieurs..................................................................................................................................29 2.2.4.3.3 - Processus de structuration et de Normalisation....................................................................................................29 2.2.4.3.3.1 - Définitions...................................................................................................................................................29 2.2.4.3.3.2 - Développement du Processus......................................................................................................................30 2.2.4.4 - La Représentation.........................................................................................................................................................31 2.2.4.4.1 - Représentation, Structuration, Process.................................................................................................................31 2.2.4.4.2 - Les Niveaux de Représentations...........................................................................................................................32 2.2.4.4.3 - Equilibration et Modèles......................................................................................................................................33 2.2.4.4.4 - Les Niveaux de Représentation............................................................................................................................34 2.2.4.4.5 - Modèle.................................................................................................................................................................34 2.2.4.4.6 - 1er Espace de résolution.......................................................................................................................................34 2.2.4.4.7 - 2d Espace de Résolution.......................................................................................................................................35 2.2.5 - LE PRINCIPE DE RATIONALITÉ LIMITÉE..........................................................................................................................36 2.2.5.1.1 - Les Modèles à Fonction optimisée.......................................................................................................................36 2.2.5.1.2 - Hypothèses de la rationalité limitée......................................................................................................................36 2.2.5.1.3 - Conséquences.......................................................................................................................................................36 2.2.5.1.4 - Rationalité Limitée et Décision Satisfaisante.......................................................................................................37 2.2.5.1.5 - rationalité limitée et paradigme STI.....................................................................................................................38 2.2.5.1.6 - Rationalité limitée dans les programmes..............................................................................................................39 2.2.6 - LE SIAD OU SYSTÈME INTERACTIF D’AIDE A LA DECISION..............................................................................................39 2.2.6.1.1 - Définition.............................................................................................................................................................39 2.2.6.1.2 - Interactif...............................................................................................................................................................40 2.2.6.1.3 - SIAD & Aide à la décision...................................................................................................................................40 2.2.7 - LES SIAD ÉLÉMENTAIRES...........................................................................................................................................41 2.2.7.1 - Le tableur......................................................................................................................................................................41 C:\CNAM\Data.doc Valeur C : Ingénierie des systèmes décisionnels Page 2 Conservatoire National des Data warehouse et data mining Version 1.1 Arts et Métiers de Lille Le 15 Juin 1998 2.2.7.1.1 - Théorie.................................................................................................................................................................41 2.2.7.1.2 - Méthode...............................................................................................................................................................41 2.2.7.1.3 - Modèle.................................................................................................................................................................41 2.2.7.1.4 - Processeur d’états.................................................................................................................................................41 2.2.7.1.5 - S.T.I.....................................................................................................................................................................41 2.2.7.1.6 - Organisation de l’ensemble des modèles..............................................................................................................41 2.2.7.1.7 - La recherche Heuristique sur les modèles............................................................................................................42 2.2.7.1.8 - La recherche Heuristique sur les valeurs..............................................................................................................42 2.2.7.1.9 - Organisation de l’ensemble des modèles..............................................................................................................42 2.2.7.2 - Système de gestion de bases de données.......................................................................................................................42 2.2.7.2.1 - La Théorie “ Base de données ”...........................................................................................................................42 2.2.7.2.2 - La méthode...........................................................................................................................................................42 2.2.7.2.3 - Le Modèle............................................................................................................................................................42 2.2.7.2.4 - L’état....................................................................................................................................................................43 2.2.7.2.5 - le processeur d'état...............................................................................................................................................43 2.2.7.2.6 - Démarche Heuristique sur les Modèles................................................................................................................43 2.2.7.3 - Générateur de systèmes experts....................................................................................................................................43 2.2.7.3.1 - La Théorie............................................................................................................................................................43 2.2.7.3.2 - Remarque.............................................................................................................................................................44 2.2.7.3.3 - Exemple d’une base de faits.................................................................................................................................44 2.2.7.3.4 - Présentation succincte des systèmes experts.........................................................................................................44 2.2.7.3.5 - Représentation des connaissances........................................................................................................................45 2.2.7.3.6 - Représentation des faits........................................................................................................................................45 2.2.7.3.7 - Inférence incertaine..............................................................................................................................................46 2.2.7.3.8 - Choix d’une règle applicable................................................................................................................................46 2.2.7.3.9 - Le moteur d’inférence..........................................................................................................................................47 2.2.7.3.10 - Types de Fonctionnement : Chaînage avant, arrière, mixte...............................................................................47 2.2.7.3.11 - Logique des Prédicats.........................................................................................................................................47 2.2.7.3.12 - La Théorie..........................................................................................................................................................47 2.2.7.3.13 - La Méthode........................................................................................................................................................48 2.2.7.3.14 - Le Modèle..........................................................................................................................................................48 2.2.7.3.15 - Etat.....................................................................................................................................................................48 2.2.7.3.16 - Opérateur...........................................................................................................................................................48 2.2.7.3.17 - Processeur d’état................................................................................................................................................48 2.2.7.3.18 - Recherche Heuristique sur les modèles..............................................................................................................48 2.2.7.3.19 - Remarques..........................................................................................................................................................49 2.2.8 - LE SYSTÈME DÉCISIONNEL...........................................................................................................................................50 2.3 - LE CONTENU INFORMATIF DU SYSTÈME DÉCISIONNEL..............................................................................53 2.3.1 - CONTENU INFORMATIF ELEMENTAIRE............................................................................................................................53 2.3.1.1 - Acte economique..........................................................................................................................................................53 2.3.1.1.1 - Structure de l’acte économique............................................................................................................................53 2.3.1.1.2 - le Contrat..............................................................................................................................................................54 2.3.1.1.3 - L’environnement..................................................................................................................................................54 2.3.1.1.4 - base de faits..........................................................................................................................................................54 2.3.1.1.5 - Base de Compréhension.......................................................................................................................................55 2.3.1.2 - Les Activités.................................................................................................................................................................56 2.3.1.2.1 - Les Activités Industrielles....................................................................................................................................56 2.3.1.2.2 - Les Activités Administratives..............................................................................................................................56 2.3.1.2.3 - Les Activités Associatives....................................................................................................................................56 2.3.2 - STRATÉGIE DES ORGANISATIONS....................................................................................................................................56 2.3.2.1 - le diagnostic externe......................................................................................................................................................56 2.3.2.2 - Analyse de l’Environnement.........................................................................................................................................57 2.3.2.3 - Le diagnostic interne.....................................................................................................................................................58 2.3.2.4 - Approche Création de Valeur........................................................................................................................................58 2.3.2.5 - Conclusion....................................................................................................................................................................59 2.3.2.6 - L’Ensemble des décisions stratégiques.........................................................................................................................59 2.3.3 - LE CONTENU INFORMATIF DE LA PARTIE HAUTE DES PRÉOCCUPATIONS..................................................................................60 2.3.3.1 - Passage du compliqué au complexe..............................................................................................................................61 2.3.3.2 - La Mondialisation.........................................................................................................................................................61 2.3.3.3 - Le client........................................................................................................................................................................61 2.3.3.4 - Des contingences évolutives.........................................................................................................................................61 2.3.3.5 - Un niveau scolaire occidental élevé..............................................................................................................................61 2.3.3.6 - Le développement des alliances, des réseaux d’entreprises...........................................................................................61 2.3.3.7 - La 4ème révolution du Savoir.......................................................................................................................................62 2.3.4 - CONCLUSION............................................................................................................................................................62 2.4 - CONCLUSION DE LA PROBLEMATIQUE.............................................................................................................62 2.4.1 - SYSTÈME DÉCISIONNEL................................................................................................................................................62 2.4.2 - POSTIONNEMENT DES OUTILS D’AIDE A LA DECISION..........................................................................................................62 2.4.2.1 - Positionnement du Data Warehouse..............................................................................................................................63 2.4.2.2 - Autres Outils décisionnels.............................................................................................................................................65 2.4.2.3 - Tableur et Modèles.......................................................................................................................................................65 2.4.2.4 - Positionnement de l’analyse multidimensionnelle.........................................................................................................66 C:\CNAM\Data.doc Valeur C : Ingénierie des systèmes décisionnels Page 3 Conservatoire National des Data warehouse et data mining Version 1.1 Arts et Métiers de Lille Le 15 Juin 1998 2.4.2.5 - Positionnement du Data Mining....................................................................................................................................67 2.4.2.6 - Positionnement du Système Expert...............................................................................................................................68 2.4.2.7 - Positionnement du tableau de Bord...............................................................................................................................68 2.4.2.8 - Positionnement des E.I.S (Executive Information System)...........................................................................................68 2.4.3 - CONCLUSION............................................................................................................................................................69 3 - LE DATA WAREHOUSE..................................................................................................................................................70 3.1 - PRÉSENTATION........................................................................................................................................................70 3.2 - POURQUOI UN DATA WAREHOUSE.....................................................................................................................71 3.2.1 - LA PROBLÉMATIQUE DES ENTREPRISES............................................................................................................................71 3.2.2 - LA RÉALITÉ DES SYSTÈMES D’INFORMATIONS....................................................................................................................72 3.2.3 - LES OBJECTIFS..........................................................................................................................................................73 3.3 - DÉFINITION................................................................................................................................................................74 3.4 - LES CONCEPTS DE BASE........................................................................................................................................76 3.4.1 - LA STRUCTURE..........................................................................................................................................................76 3.4.2 - LES ARCHITECTURES...................................................................................................................................................78 3.4.2.1 - L’architecture réelle......................................................................................................................................................78 3.4.2.2 - L’architecture virtuelle..................................................................................................................................................78 3.4.2.3 - L’architecture remote....................................................................................................................................................79 3.4.2.4 - Synthèse........................................................................................................................................................................79 3.4.3 - INFOCENTRE ET DATA WAREHOUSE...............................................................................................................................80 4 - LA CONSTRUCTION DU DATA WAREHOUSE.........................................................................................................82 4.1 - LES APPLICATIONS..................................................................................................................................................83 4.2 - LES COMPOSANTS FONCTIONNELS....................................................................................................................83 4.2.1 - L’ACQUISITION..........................................................................................................................................................83 4.2.2 - LE STOCKAGE...........................................................................................................................................................84 4.2.3 - L’ACCÈS..................................................................................................................................................................84 4.3 - LES INFRASTRUCTURES.........................................................................................................................................84 5 - LA CONCEPTION DU DATA WAREHOUSE..............................................................................................................86 5.1 - DÉCOUVRIR ET DÉFINIR LES INITIATIVES........................................................................................................87 5.1.1 - L’ÉTUDE STRATÉGIQUE...............................................................................................................................................87 5.1.2 - LE PLAN D’ACTION.....................................................................................................................................................87 5.2 - L’INFRASTRUCTURE...............................................................................................................................................88 5.2.1 - L’INFRASTRUCTURE TECHNIQUE....................................................................................................................................88 5.2.2 - L’INFRASTRUCTURE ORGANISATIONNELLE........................................................................................................................89 5.3 - LA FORMATION........................................................................................................................................................89 5.4 - LA MISE EN ŒUVRE DES APPLICATIONS...........................................................................................................89 6 - L’ADMINISTRATION DES DONNÉES.........................................................................................................................91 6.1 - LES MÉTADONNÉES................................................................................................................................................91 6.2 - LE RÉFÉRENTIEL DU DATA WAREHOUSE.........................................................................................................92 6.3 - LA MISE EN ŒUVRE.................................................................................................................................................93 6.3.1 - SÉCURITÉ.................................................................................................................................................................93 6.3.2 - GESTION DES PERFORMANCES.......................................................................................................................................94 6.3.3 - BATCHS...................................................................................................................................................................95 7 - LE DATA MART................................................................................................................................................................96 7.1 - DÉFINITION................................................................................................................................................................96 7.2 - MISE EN PLACE.........................................................................................................................................................97 8 - LE CONCEPT OLAP.........................................................................................................................................................99 8.1 - PRÉSENTATION........................................................................................................................................................99 8.2 - LES 12 RÈGLES OLAP...............................................................................................................................................99 8.2.1 - TYPOLOGIE DES REGLES O.L.A.P........................................................................................................................102 8.2.2 - COMMENTAIRES.......................................................................................................................................................103 9 - ANALYSE MULTIDIMENTIONNELLE.....................................................................................................................104 9.1 - LE MODÈLE..............................................................................................................................................................105 9.1.1 - LES DIMENSIONS......................................................................................................................................................105 9.1.2 - LES VARIABLES........................................................................................................................................................106 9.2 - NAVIGATION DANS LES DONNÉES...................................................................................................................107 9.2.1 - DRILL-DOWN, DRILL-UP...........................................................................................................................................107 9.2.2 - SLICE AND DICE......................................................................................................................................................107 9.2.3 - DATA SURFING.......................................................................................................................................................108 C:\CNAM\Data.doc Valeur C : Ingénierie des systèmes décisionnels Page 4 Conservatoire National des Data warehouse et data mining Version 1.1 Arts et Métiers de Lille Le 15 Juin 1998 9.3 - PROBLEME DES MATRICES CREUSES...............................................................................................................108 10 - MODELISATION...........................................................................................................................................................109 10.1 - MODÉLISATION RELATIONNELLE..................................................................................................................110 10.1.1 - MODÈLE DE DONNÉES NORMALISÉ.............................................................................................................................110 10.1.2 - MODÈLE DE DONNÉES DÉNORMALISÉ.........................................................................................................................110 10.2 - MODÉLISATION DIMENSIONNELLE................................................................................................................111 10.2.1 - MODÉLISER EN ÉTOILE............................................................................................................................................111 10.2.2 - MODÉLISER EN FLOCON..........................................................................................................................................111 11 - STOCKAGE DES DONNEES.......................................................................................................................................113 11.1 - LE STOCKAGE DES DONNÉES EXTERNES.....................................................................................................113 11.2 - OPTIMISATION PHYSIQUE.................................................................................................................................114 11.2.1 - AGREGATION DE TABLES...........................................................................................................................................114 11.2.2 - PARTITIONNEMENT DE TABLES...................................................................................................................................115 11.3 - LES MÉTA-DONNÉES...........................................................................................................................................116 12 - LES DIFFERENTS OUTILS OLAP.............................................................................................................................117 12.1 - LES OUTILS MOLAP.............................................................................................................................................117 12.2 - LES OUTILS ROLAP..............................................................................................................................................118 13 - L'ALIMENTATION DU DATA WAREHOUSE........................................................................................................120 13.1 - LES PHASES DE L'ALIMENTATION.................................................................................................................120 13.2 - LA DECOUVERTE DES DONNÉES.....................................................................................................................121 13.3 - L'EXTRACTION DES DONNÉES.........................................................................................................................121 13.4 - LA TRANSFORMATION DES DONNÉES...........................................................................................................122 13.5 - LE CHARGEMENT DES DONNÉES....................................................................................................................122 14 - QUELQUES CHIFFRES...............................................................................................................................................124 14.1 - LE MARCHÉ DU DATA WAREHOUSE..............................................................................................................124 14.2 - LE RETOUR SUR INVESTISSEMENTS..............................................................................................................125 15 - INTRODUCTION AU DATA MINING.......................................................................................................................126 15.1 - L'ENVIRONNEMENT DE L'ENTREPRISE..........................................................................................................126 15.2 - PRESENTATION DU DATA MINING..................................................................................................................126 15.3 - DEFINITION............................................................................................................................................................128 15.4 - LE DATA MINING ET LA RECHERCHE OPERATIONNELLE........................................................................128 15.5 - STATISTIQUES ET DATA MINING.....................................................................................................................129 16 - LA RECHERCHE DE CONNAISSANCES.................................................................................................................130 16.1 - LES STATISTIQUES..............................................................................................................................................130 16.1.1 - INDICATEURS DE TENDANCE CENTRALE................................................................................................130 16.1.2 - INDICATEURS DE DISPERSION..................................................................................................................130 16.1.3 - RELATIONS ENTRE VARIABLES..................................................................................................................131 16.2 - LES SCHEMAS D’INFERENCE............................................................................................................................132 16.2.1 - L’ABDUCTION................................................................................................................................................132 16.2.2 - LA DEDUCTION.............................................................................................................................................133 16.2.3 - L’INDUCTION................................................................................................................................................133 17 - LES TACHES DU DATA MINING..............................................................................................................................134 17.1 - LA CLASSIFICATION...........................................................................................................................................134 17.2 - L’ESTIMATION......................................................................................................................................................135 17.3 - LA PREDICTION....................................................................................................................................................135 17.4 - LE REGROUPEMENT PAR SIMILITUDES.........................................................................................................135 17.5 - L’ANALYSE DES CLUSTERS..............................................................................................................................136 17.6 - LA DESCRIPTION..................................................................................................................................................136 17.7 - L’OPTIMISATION..................................................................................................................................................136 17.8 - ILLUSTRATION DES TACHES DU DATA MINING.........................................................................................137 17.9 - SYNTHESE..............................................................................................................................................................138 18 - LE CERCLE VERTUEUX............................................................................................................................................139 19 - METHODOLOGIE DE DATA MINING.....................................................................................................................140 19.1 - LE TEST D’HYPOTHESES....................................................................................................................................140 19.1.1 - PROCESSUS DU TEST D'HYPOTHESE........................................................................................................140 19.1.1.1 - Générer de bonnes idées............................................................................................................................................140 C:\CNAM\Data.doc Valeur C : Ingénierie uploads/Management/ data-warehousing-and-data-mining.pdf