Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

O Laboratoire d’Informatique Fondamentale de Lille OP AC OP AC Fouille de donné

O Laboratoire d’Informatique Fondamentale de Lille OP AC OP AC Fouille de données (Data Mining) - Un tour d’horizon - E-G. Talbi talbi@lifl.fr Introduction au Data Mining Introduction au Data Mining Définition du Data Mining Pourquoi le Data Mining ? Description du processus KDD (Knowledge Data Discovery) Applications Tâches et Techniques du Data Mining Qu’est-ce que le DM ? Qu’est-ce que le DM ? Processus inductif, itératif et interactif de découverte dans les BD larges de modèles de données valides, nouveaux, utiles et compréhensibles. Itératif : nécessite plusieurs passes Interactif : l’utilisateur est dans la boucle du processus Valides : valables dans le futur Nouveaux : non prévisibles Utiles : permettent à l’utilisateur de prendre des décisions Compréhensibles : présentation simple Notion d’induction [Peirce 1903] Abduction : diagnostic médical, ... Toutes les voitures ont 4 roues La Peugeot 206 a 4 roues ==> La Peugeot 206 est une voiture Déduction : Raisonnement qui conclut à partir de prémisses et d’hypothèses à la vérité d’une proposition en usant des règles d’inférence Toutes les voitures ont 4 roues La Peugeot 206 est une voiture ==> La Peugeot 206 a 4 roues Notion d’induction [Peirce 1903] Induction : Généralisation d’une observation ou d’un raisonnement établis à partir de cas singuliers. Utilisée en Data mining (tirer une conclusion à partir d ’une série de faits, pas sûre à 100%) La clio a 4 roues, La Peugeot 106 a 4 roues, La BMW M3 a 4 roues, La Mercedes 190 a 4 roues ==> Toutes les voitures ont 4 roues Motivations (1) Motivations (1) Explosion des données Masse importante de données (millions de milliards d’instances) : elle double tous les 20 mois. BD très larges - Very Large Databases (VLDB) Données multi-dimensionnelles (milliers d’attributs) BD denses Inexploitables par les méthodes d’analyse classiques Collecte de masses importantes de données (Gbytes/heure) Données satellitaires, génomiques (micro-arrays, …), simulations scientifiques, etc. Besoin de traitement en temps réel de ces données Motivations (2) Motivations (2) Améliorer la productivité Forte pression due à la concurrence du marché Brièveté du cycle de vie des produits Besoin de prendre des décisions stratégiques efficaces Exploiter le vécu (données historiques) pour prédire le futur et anticiper le marché individualisation des consommateurs (dé-massification). Croissance en puissance/coût des machines capables de supporter de gros volumes de données d’exécuter le processus intensif d’exploration hétérogénéité des supports de stockage Motivations (3) Motivations (3) Mount 431 7437 1950 79% / 02 631963 47358 93% /us File E dit L ocate V iew H elp 1 2 3 4 5 6 7 0 100 200 300 400 500 E D C B A Network Traffic H elp Internet Internet Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Storage Masse importante de données – supports hétérogènes Le processus de découverte de connaissances Le processus de découverte de connaissances Data mining : coeur de KDD (Knowledge Data Discovery). Data Mining Data Mining Collecte, Nettoyage, Intégration Collecte, Nettoyage, Intégration Préparation des données Préparation des données Données d’apprentissage Data Warehouse Vérification & Evaluation Vérification & Evaluation Sources de données Modèles, Patterns Démarche méthodologique (1) Démarche méthodologique (1) Comprendre l’application Connaissances a priori, objectifs, etc. Sélectionner un échantillon de données Choisir une méthode d’échantillonnage Nettoyage et transformation des données Supprimer le «bruit» : données superflues, marginales, données manquantes, etc. Effectuer une sélection d’attributs, réduire la dimension du problème, etc. Appliquer les techniques de fouille de données Choisir le bon algorithme Démarche méthodologique (2) Démarche méthodologique (2) Visualiser, évaluer et interpréter les modèles découverts Analyser la connaissance (intérêt) Vérifier sa validité (sur le reste de la base de données) Réitérer le processus si nécessaire Gérer la connaissance découverte La mettre à la disposition des décideurs L’échanger avec d’autres applications (système expert, …) etc. Data Mining et aide à la décision Data Mining et aide à la décision Potentiel de support de décision Utilisateur(s) Décideur(s) Analyste(s) de données Administrateur de Bases de données Prise de décisions Présentation des connaissances Techniques de visualisation Data Mining Découverte de connaissances Exploration de données (OLAP, ...) (Statistiques, Requêtes, ...) Data Warehouses Sources de données (Papier, Fichiers, Fournisseurs d’information, SGBD, …) Objectifs Objectifs Développer des techniques et systèmes efficaces et extensibles pour l’exploration de : BD larges et multi-dimensionnelles Données distribuées Faciliter l’utilisation des systèmes de DM Limiter l’intervention de l’utilisateur Représentation simple de la connaissance Visualisation sous forme exploitable Communautés impliquées Communautés impliquées Intelligence artificielle et apprentissage Bases de données Analyse de données (statistiques) Visualisation Recherche opérationnelle et optimisation Informatique parallèle et distribuée Etc. Data Mining et Statistiques Data Mining et Statistiques Data mining : Exploratoire, Data-driven modeling Statistiques : Confirmatoire, User-driven modeling Distribution d ’une seule variable : moyenne, médiane, variance, écart-type, … Explorer les relation entre variables : coefficient de corrélation, … Découverte de la cause des relations entre de nombreuses variables est assez complexe. test du X2, ... Réseaux bayésiens (probabilités conditionnelles) Découverte de modèles fonctionnels Méthodes de régression : régression linéaire : Y = aX+ b (a, b : valeurs réelles) Rapide et efficace (valeurs réelles) Insuffisante pour l ’analyse d’espace multidimentionnel Nombre de petits commerçants Nombre de grandes surfaces * * * ** * * Découverte de modèles fonctionnels Kernel regression : découvrir graphiquement la fonction à utiliser, peut être une courbe Techniques statistiques inadéquates : nombre de facteurs important, modèles non linéaires. Nombre de petits commerçants * * * * * * * Nombre de grandes surfaces Domaines d’application Domaines d’application Marketing BDD Marketing Data Warehousing KDD & Data Mining Prise de décision basée Prise de décision basée sur de nouvelles sur de nouvelles connaissances connaissances Ex., impact sur le Ex., impact sur le marketing marketing Le rôle et l’importance du Le rôle et l’importance du KDD et DM est de plus en KDD et DM est de plus en plus important plus important Mais le DM n’est pas Mais le DM n’est pas seulement dans le seulement dans le marketing... marketing... Domaines d’application Domaines d’application Marketing direct : population à cibler (âge, sexe, profession, habitation, région, …) pour un publipostage. Gestion et analyse des marchés : Ex. Grande distribution : profils des consommateurs, modèle d ’achat, effet des périodes de solde ou de publicité, « panier de la ménagère » Détection de fraudes : Télécommunications, ... Gestion de stocks : quand commander un produit, quelle quantité demander, … Analyse financière : maximiser l ’investissement de portefeuilles d ’actions. Domaines d’application Domaines d’application Gestion et analyse de risque : Assurances, Banques (crédit accordé ou non) Compagnies aériennes Bioinformatique et Génome : ADN mining, … Médecine et pharmacie : Diagnostic : découvrir d ’après les symptomes du patient sa maladie Choix du médicament le plus approprié pour guérir une maladie donné Web mining, text mining, etc. Exemple 1 - Marketing Exemple 1 - Marketing Vous êtes gestionnaire Vous êtes gestionnaire marketing d’un marketing d’un opérateur opérateur de de télécommunications télécommunications mobiles : mobiles : Les clients recoivent un téléphone gratuit (valeur 150€) avec un contrat d’un an ; vous payer une commission de vente de 250€ par contrat Problème : Taux de renouvellement (à la fin du contrat) est de 25% Donner un nouveau téléphone à toute personne ayant expirer son contrat coûte cher. Faire revenir un client après avoir quitter est difficile et coûteux. Exemple 1 - Marketing Exemple 1 - Marketing Trois mois avant Trois mois avant l’expiration du contrat l’expiration du contrat, , prédire prédire les clients qui les clients qui vont vont quitter : quitter : Si vous voulez les garder, offrir un nouveau téléphone. Yippee! Je reste ! Yippee! Je reste ! Exemple 2 - Assurances Exemple 2 - Assurances Vous êtes Vous êtes un agent un agent d’assurance d’assurance et et vous vous devez définir devez définir un un paiement mensuel adapté paiement mensuel adapté à un à un jeune jeune de 18 de 18 ans ans qui a qui a acheté une acheté une Ferrari. Ferrari. Qu’est ce qu’il faut Qu’est ce qu’il faut faire faire ? ? Oh, oui! J’aime ma Ferrari! Oh, oui! J’aime ma Ferrari! Exemple 2 - Assurances Exemple 2 - Assurances Analyser Analyser les les données données de de tous tous les les clients de la clients de la compagnie compagnie. . La La probabilité uploads/Industriel/dm-cours.pdf