Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

P5 2020 ADAPI - StL ADAPI Analyse de Données pour l’Amélioration des Processus

P5 2020 ADAPI - StL ADAPI Analyse de Données pour l’Amélioration des Processus Industriels 1 ADAPI - StL CONTEXTE : STATISTIQUES POUR LE CONTRÔLE INDUSTRIEL Optimisation de processus Réduction de coûts, énergie, matière, consommables Amélioration des performances « Faire le mieux avec ce que nous avons » Réduction de la variabilité de la « Qualité » Analyse de défauts et défaillances Réduction des pertes et minimisation des risques Analyse durée de vie Traçabilité 2 ADAPI - StL DOMAINE SCIENTIFIQUE -ADAPI Contrôle et supervision de procédés Outils de suivi, d’optimisation, de diagnostic, de maintenance prédictive… Analyse de données et traitement du signal Modélisation - Prédiction Détection de changements et de nouveautés Fouille de données (Data Mining) Détection de règles, d’associations, d’organisation Aide à la décision Règles d’exploitation automatisées Analyse de bases de données Knowledge Management Statistical Process Control Cartes de contrôle, plans d’expérience 3 ADAPI - StL OUTILS EXPLORÉS DANS LE COURS ADAPI Mathématiques : Probabilités, Statistiques Bref rappel… Modélisation de systèmes complexes Identification de systèmes Classification, Régression de données Détection de changements et générateurs de résidus Théorie de l’information Ingénierie de la décision et de la connaissance Intelligence artificielle Réseaux de neurones, Séparateurs à vaste marge, Logique flou 4 ADAPI - StL LIENS ENTRE LES OUTILS 5 Statistiques Automatique – théorie des systèmes Apprentissage Extraction de connaissance Test d’hypothèse Mesures statistiques Statistiques bayésiennes Réseaux bayésiens HMM Statistical learning SVM Identification de systèmes Filtrage de kalman Régulation Asservissement Supervision FDI Maintenance prédictive SPC Détection de changements Commande prédictive Classification Classification automatique Reconnaissance de formes ADAPI - StL Biostatistique Séquençage Modèles épidémiologiques Domaine – généralement – caractérisé par peu d’échantillons et de (très) grande dimension Santé Aide au diagnostic Dosimétrie Domaine caractérisé par des échantillons faibles Marketing CRM Gestion des stocks Prospection et veille technologique Webmining et comportement d’internautes Domaine caractérisé par très grand nombre d’échantillons 6 PRINCIPAUX DOMAINES DE L’ADD - 1 ADAPI - StL PRINCIPAUX DOMAINES DE L’ADD - 2 Environnement Classification des usines à risques Prédiction des pics d’ozone Gestion des crues et des inondations Domaine caractérisé par des procédés souvent chaotiques et très complexes Banque Prédiction des risques / crédit Appétence des clients vers les différents produits financiers Attrition de leurs clients … Domaine caractérisé par très grand nombre d’échantillons et des modèles évolutifs Et enfin la Finance Modèles économétriques pour prédire les crises !!! Sans avis sur ce Domaine … 7 ADAPI - StL 8 http://www.kdnuggets.com Data Mining Community for Data Mining and Analytics Software, Jobs, Consulting, Courses, Education, News, Companies, and more. ADAPI - StL 9 http://www.kdnuggets.com Data Mining Community for Data Mining and Analytics Software, Jobs, Consulting, Courses, Education, News, Companies, and more. ADAPI - StL OBJECTIFS DU COURS Sensibiliser les étudiants aux méthodes d’analyse de données pour l’optimisation et le suivi de procédés industriels Savoir mettre en œuvre les métriques statistiques usuelles Développer une connaissance autour de la modélisation de processus industriels et de l’extraction de règles d’exploitation automatisés Initier une démarche de construction de modèles adaptés aux problèmes identifiés Formalisation du problème, sélection des données, choix de la structure du modèle, définition et validation du modèle 10 ADAPI - StL MOTIVATIONS ET BESOINS Analyse de données pour l’amélioration des procédés industriels Définir, Mesurer, Analyser, Améliorer, Contrôler … 11 WELL Industry Best Practices RIGHT THINGS User Benchmarks DEFINE IMPROVE Six Sigma DMAIC Process ANALYZE ANALYZE MEASURE MEASURE Improve Improve ADAPI - StL DÉMARCHE 6-SIGMA Garantir une variabilité dans une plage très acceptable Enjeu : Mise au point de procédés plus rapide Adapter rapidement les réglages pour obtenir des points de fonctionnement idéaux selon la qualité des produits à réaliser Réduire les délais de pré-réglage Supprimer le prototypage… 12 ADAPI - StL OBJECTIFS DES OUTILS D’ADAPI Suivre et améliorer la production (gestion courante) Garantir que la production est dans des conditions optimales Quantifier les dérives de fabrication Alerter les exploitants Accommoder les dérives Améliorer la qualité de la production Détecter les défauts produits au plus vite (gestion des aléas) Détecter une dérive ou un défaut de la qualité Localiser l’origine de la dérive / du défaut Diagnostiquer l’état de fonctionnement des composants, du processus Pronostiquer une durée de vie restante (RUL) d’un équipement ou une durée de fonctionnement dans les tolérances 13 ADAPI - StL COMMENT EXTRAIRE DE LA CONNAISSANCE ? Acquérir des données. Sélectionner l'information Construire de la connaissance Comprendre et agir 14 Informations Compréhension Connaissance Données/ Mesures Definir les relations Construire les modèles Extraire les régles de décision / prédiction COMPREHENSION ABSTRACTION ADAPI - StL MÉTHODOLOGIE GÉNÉRALE ADAPI Inspirée du « DMAIC Improvement Process » 15 Qualifier le problème Quantifier le problème Identifier les défauts Trouver une solution Mettre en œuvre la solution Choisir Y Construire Y Identifier les variables d’influence x Tester les sensibilités des variables x Détermination des plages de réglage des x Define Measure Analyse Improve Control ADAPI - StL ETAPES GÉNÉRALES D’UN PROJET ADAPI Choix de la structure du problème Sélection de variables (voire transformation) Choix de la méthode de modélisation Réglages de paramètres Validation Généralisation du modèle 16 Définition du problème Preparation des données Modélisation Validation du modèle Extraction de la connaissance Déploiement d’actions correctrices ADAPI - StL LES OUTILS LOGICIELS STATISTIQUES DÉDIÉS SAS Le plus répandu dans le monde industriel http://www.sas.com/ SPSS http://www.spss.com Existe PSPP (look-like freeware) The R Project for Statistical Computing Freeware http://www.r-project.org/ Python Anaconda Numpy, Scikit learn scikit-learn.org Csense Très orienté Suivi de production Utilisé pour les TP 17 ADAPI - StL DES ENVIRONNEMENTS DÉDIES BIG DATA Complexité algorithmique, algorithmes adaptés Architecture MapReduce Gestion de fichiers HDFS, GoogleFS, Amazon S3 Base de données NoSQL, Hbase, Hive, MongoDB Exemple : Plate-forme TERALAB, hébérgée à Mines Douai 18 ADAPI - StL CONTENU SCIENTIFIQUE DU COURS Les modèles des données Loi normale à 99 % ! Les tests d’hypothèse Pour la détection de changements Les techniques de modélisation utilisées Descriptives vs Prédictives Classification vs Régression Les méthodes de validation de modèles 19 ADAPI - StL ORGANISATION Partie 1 : Extraction et Préparation des données Partie 2 : Sélection du modèle Selon la nature du problème Prédiction, Description Selon le type de données Quantitatives, Qualitatives Partie 3 : Validation du modèle 20 P5 2020 ADAPI - StL PARTIE I Préparation des données 21 ADAPI - StL QU’EST CE QU’UNE « DONNÉE » ?? Que signifie « donnée » Donnée = ensemble de mesures (qualitative ou quantitative) pour 1 individu Donnée = vecteur composée de plusieurs attributs ou variables Base de données Ensemble des mesures pour l’ensemble des individus Analyse de données Etudes des propriétés communes par population ou groupe d’individus 22 ADAPI - StL PARTIE I : LA PRÉPARATION DES DONNÉES Point d’entrée : les données Réseaux de Capteurs, SCADA … SI, SQL server, ACCESS … HDFS, FTP … … Préparation des données Ne garder que les Données de qualité porteuses d’information 23 Real-time & Historical process data CSense® Data Preparation Prepared and validated data ADAPI - StL EXTRACTION DE DONNÉES “INTÈGRES” Ne pas propager des données non consolidées dans la pyramide d’informations www.csensesystems.com 24 ADAPI - StL FORMATS DE DONNÉES Quantitatives Continues Discrètes Qualitatives Numériques (note) Alphanumériques (label) Ordonnées (ordinales) ou non (nominales) Froid, Tiède, Chaud Sport, Confort, Classique, Senior Textuelles Etiquette, Mode de fonctionnement 25 ADAPI - StL PRÉPARATION DES DONNÉES Sélection des variables pertinentes Elimination des variables sans information ou étant redondantes Choix des données selon des hypothèses d’appartenance à un modèle générateur Objectifs Elimination des données bruitées Neutralisation des valeurs extrêmes Suppression des données manquantes ou incomplètes Détection de rupture dans les données 26 ADAPI - StL ANALYSE EXPLORATOIRE DES DONNÉES Objectif : Explorer la distribution des données (fonctions de répartition et de densité) en utilisant les Méthodes statistiques descriptives 27 ADAPI - StL OUTILS DE STATISTIQUE DESCRIPTIVE ÉLÉMENTAIRE Mesure mathématique Médiane, quartile, moyenne, fréquence, variance, écart-type Représentation graphique associée Diagramme en bâton, histogramme, diagramme-boîte, graphiques cummulatifs, diagrammes en colonnes en barres en secteurs 28 ADAPI - StL REPRÉSENTATION GRAPHIQUE - 1 Diagramme boîte 29 Médiane Q3 Q1 Outlier Limite basse = Q1-1.5(Q3-Q1) Limite haute = Q3+1.5(Q3-Q1) Moyenne ADAPI - StL MÉTHODES STATISTIQUES Moyenne Médiane Quartile Variance Ecart-type n i i 1 1 µ · x n   E(X) XdP   m m 1 d F(x) and d F ) 4 3 (x 4       2 Var(X) E[(X ) ].   µ E(x)  2 Var(X) (x ) p(x)dx    n 2 i i i 1 Var(X) p (x )     N 2 i i i 1 1 p (x x) , N     30 m m 1 d F(x) and d F ) 2 1 (x 2       ADAPI - StL RÉPARTITION STATISTIQUE DES DONNÉES DISCRÈTES Distributions de variables aléatoires discrètes Distribution uniforme Equiprobabilité Distribution binomiale Probabilité d’avoir k événements en n tirages Peu de chance de ne jamais avoir aucun « pile » en 10 lancers de pièces Peu de chance de ne jamais avoir 10 « piles » en 10 lancers de pièces Plus forte probabilité d’avoir 5 « piles uploads/Management/coursadapi-part1.pdf