Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Gestion de projet Big Data Master 2 Déroulement des 3 sessions Jour 1 : Projet

Gestion de projet Big Data Master 2 Déroulement des 3 sessions Jour 1 : Projet Big Data Jour 2 : La méthode agile Jour 3 : Evaluation (Questions + Etude de cas) Gestion de projet - Vérification des acquis 1/ Qu’est ce qu’un projet ? 2/ Les grandes étapes d’un projet ? 3/ Qu’est ce qu’un cycle en V ? 4/ La méthode agile ? 5/ Les qualités d’un chef de projet ? 6/ Un projet Big Data, c’est quoi ? Qu’est-ce qu’un projet ? PMI® (Project Management Institute – USA) – PMBOK® Guide 5e édition, 2013 (Project Management Body of Knowledge – Guide). Un projet est une entreprise temporaire initiée dans le but de fournir un produit, un service ou un résultat unique. Temporaire signifie que tout projet a un début et une fin déterminés. PRINCE2™(PRINCE2™est une marque déposée de Axelos, 2013) Un projet est une organisation temporaire, créée en vue de livrer un ou plusieurs produits du projet conformément à un Cas d’Affaire convenu. L’ensemble des actions est appelé « œuvre », d’où la notion de « maître d’œuvre » qui désigne celui qui réalise le projet. Le résultat de cet ensemble d’actions est appelé « ouvrage », d’où la notion de « maître d’ouvrage » qui désigne celui qui est propriétaire du résultat du projet. Les grandes étapes d’un projet ? Cycle en V Les qualités d’un chef de projet Part 1 QU’EST-CE QU’UN PROJET BIG DATA ? Principe d’un projet Big Data Acquisition Traitement Restitution Principe d’un projet Big Data Source : https://www.cyres.fr/ Exemples de cas d’usage Les cas d’usages sont multiples : ◦ASSURANCE : Objets connectés – Collecter en temps réel des données des voitures pour analyser la conduite des clients pour les facturer en fonction ◦FINANCE : Publication des chiffres d’un groupe ◦BANQUE : Analyse de fraude – Collecter les données clientes pour alimenter un datalab pour analyser les comportements frauduleux de certains clients ◦RESEAU FERROVIAIRE : Supervision de l’activité en temps réel ◦MARKETING : Ciblage marketing en analysant le comportement des personnes Exemples de projets Big Data Projet de reporting Financier Projet SKU (SKype Usage) Exemple de projets Big Data Projet SCAD Spécificités d’un projet Big Data Un projet BIG DATA = Transversale et complexité accrue par rapport à des projets « classiques » et donc des coûts souvent plus élevés •Multiplicité des sources de données •Multiplicité des cas d’usage Contextuelle •Caractère transversal (marketing, créatifs…), •Externalisation / internalisation, •Rattachement des équipes Organisationnelle •Equipe multidisciplinaire •Formation et veille dans un contexte d’innovation permanente •Risque de turn-over important Ressources humaines Projet Big Data : Méthodologie ◦Choix stratégique des solutions en amont ◦Identification des besoins métiers ◦Identification des contraintes techniques associées (temps réel, volumétrie importante…) ◦Phase d’expérimentation (Proof Of Concept ou Projet pilote) ◦Conduite de projet en mode agile ◦Modèles prédictifs dans certains cas ◦Evolution de la démarche ETL (Extract-Transform-Load) en ELT et ELTL ◦Workflow type d’un Data Scientist (imaginer, collecter, préparer, modéliser, visualiser, optimiser, déployer) ◦Cycle de vie des données et nécessité d’avoir une stratégie de gouvernance des données Projet Big Data : Spécificités technologiques Les 7V (Volume, Velocity, Variety, Variability, Veracity, Visualization, Value) ◦Technologies et architectures spécifiques pour traiter des données massives non structurées (architecture Hadoop / architecture Lambda) ◦Théorème CAP (Consitency / Availability / Partition Tolerance) ◦Difficulté à avoir des transactions ACID (atomicité, cohérence, isolation et durabilité) ◦Différentes catégories de bases de données NoSQL (BDOA et BDOG) ◦Automatisation du traitement parallèle (algorithme Map Reduce et framework Hadoop, écosystème autour d’Hadoop, autres solutions notamment pour les traitements interactifs) ◦Solutions Big Data proposées en mode Cloud (PaaS et DaaS) Rôles clés : CHIEF DATA OFFICER (CDO) Il est le Directeur de la data, le gardien de l’éthique. Il est à la tête d’une équipe spécialisée dans l’acquisition, l’analyse et l’exploitation des données. Ses missions : ◦Sa fonction consiste à la gouvernance de son équipe pour l’approvisionnement des données les plus pertinentes et cohérentes pour l’intérêt de l’entreprise. ◦Il organise le partage de leur analyse avec les directions métiers, et fait respecter l’éthique en matière d’usage de ces informations. ◦Il s’appuie, avec son équipe, sur des connaissances pointues en statistiques, informatique et numérique pour donner des repères à chaque département : marketing, ressources humaines, ingénierie, service qualité, comptabilité et gestion. Rôles clés : ARCHITECTE BIG DATA Les architectes de données élaborent des schémas pour des systèmes de gestion de données. Le rôle de l’architecte Big Data est d’agréger les données internes et externes, pour ensuite concevoir un moyen de les regrouper et de les organiser. Ses missions : ◦Définir une stratégie de données correspondants aux besoins du métier ◦Cartographier les données nécessaires pour implémenter l’architecture ◦Identifier et évaluer les technologies de gestion des données ◦Préconiser des solutions Il va ensuite dessiner, documenter, construire et déployer des architectures et des applications de base de données. Les fonctionnalités techniques comme la scalabilité, la sécurité, la performance, la data recovery sont ensuite intégrées. Rôles clés : DATA PROTECTION OFFICER Le 26 avril 2016 : le Parlement européen a publié son Règlement européen sur la protection des données (RGPD). L’article 37 de ce règlement oblige les entreprises et administrations qui traitent des données sensibles à grande échelle à employer une personne chargée d’assurer la sécurité et la conformité de ces données à partir du 25 mai 2018 dernier délai. Ses missions : ◦Informer et conseiller le responsable du traitement quand aux obligations en matière de protection des données personnelles ; cela implique de mener des actions de sensibilisation et de formation ◦Contrôler le respect du RGPD - au travers d’audit de mise en conformité ◦Dispenser des conseils sur demande - notamment en ce qui concerne la PIA ◦Gérer les interactions avec la CNIL (ou toute autre autorité de contrôle) et à ce titre, fait office de point de contact avec elle Rôles clés : DATA SCIENTIST Son rôle est de créer pour les métiers de l’entreprise des algorithmes qui produisent des informations utiles, notamment afin de proposer aux clients, les produits qu’ils recherchent. Ses missions : ◦Collecter et convertir de larges quantités de données ◦Détecter des tendances dans les ensembles de données ◦Résoudre les problèmes de l’entreprises grâce aux données ◦Communiquer avec les différents responsables de l’entreprise ◦Rédiger des rapports pour la direction Ce sont des profils qui mélangent des compétences en management, informatique et statistiques. Ils maîtrisent les techniques du datamining, ainsi que les technologies et les outils informatiques des bases de données tels que Hadoop, Java, MapReduce, Bigtable, NoSQL… Rôles clés : Ingénieur Big Data Le Data Engineer définit, développe, met en place et maintient les outils et infrastructures adéquats à l’analyse de la donnée par les équipes de Data Science. Il veille à créer une solution permettant le traitement de volumes importants de données tout en garantissant la sécurité de celles-ci. Il représente le premier maillon de la chaîne de traitement de données. Ses missions : ◦Valoriser les données de l’entreprise ◦Concevoir et gérer les applications Big Data de l’entreprise ◦Veille technologique Rôles clés : L’administrateur/Intégrateur L’administrateur/intégrateur est une fonction côté infrastructure qui aide les équipes Big Data à intégrer leurs solutions et leurs données dans les différents environnement. Ses missions : ◦Intégrer les données dans les différents cluster ◦Assurer un support sur les différents environnements ◦Assister les data engineer dans les normes pour la mise en production La fonction d’administrateur/Intégrateur est clé dans le Big Data. C’est un profil qui doit bien connaitre tant l’administration système que les différentes technologies du Big Data L’équipe en charge du projet BIG DATA L’implication nécessaire et indispensable de la DSI et des Directions Métiers Il est important de bien clarifier l’équipe au début du projet pour pouvoir la sécuriser Métiers Data science IT (Infrastructure & Dev team) Cas d’un projet de datascience Imaginer Collecter Préparer Modéliser Visualiser Optimiser Déployer Imaginer : compréhension et définition de la problématique métier, identification des besoins, la définition des objectifs, la formulation rigoureuse du besoin ou de l’opportunité métier, le seuil de signification envisageable, études de cas Collecter : la disponibilité et la qualité des données, les sources traditionnelles de données (dont enjeux politiques internes), les nouvelles sources de données (dont open data et réseaux sociaux), les formats de données, l’acquisition des données (Crawling, Scraping…), la législation, le stockage des données massives (lac de données, entrepôt, cache d’analyse), la stratégie de gouvernance des données Cas d’un projet de datascience Préparer : les techniques de nettoyage, d’homogénéisation des formats et de mise à l’échelle, l’enrichissement des données massives, les technologies sémantiques, l’organisation de l’information pour optimiser l’analyse des données, exemples (dont Pig et Hive) Modéliser : l’approche itérative, les données prédictives, le machine learning, le « feature engineering », l’exploration et l’analyse (par lot ou en temps réel), la création de nouvelles informations (par identification, corrélation, agrégation ou projection de l’ensemble des données précédemment transformées), la réduction dimensionnelle (quand nécessaire), les techniques prédictives (régressions, règles d’association, classification), les techniques exploratoires (acp, afc, clustering), l’interprétabilité de l’algorithme, 8 exemples d’algorithmes, études de cas (segmenter une population, analyser l’opinion sur la base de verbatims) Visualiser : l’importance uploads/Ingenierie_Lourd/ master-m2-big-data-conduite-de-projet-big-data.pdf