Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

R. Abdelfattah École Supérieure des Communications 1 Ingénierie des données Ria

R. Abdelfattah École Supérieure des Communications 1 Ingénierie des données Riadh ABDELFATTAH École supérieure des Communications riadh.abdelfattah@supcom.tn R. Abdelfattah École Supérieure des Communications 2 Ingénierie des données R. Abdelfattah École Supérieure des Communications 3 Ingénierie des données R. Abdelfattah École Supérieure des Communications 4 Ingénierie des données Employabilité et data science à l’international R. Abdelfattah École Supérieure des Communications 5 Ingénierie des données Enseignement de data science à l’international R. Abdelfattah École Supérieure des Communications 6 Ingénierie des données Enseignement de data science à l’international R. Abdelfattah École Supérieure des Communications 7 Ingénierie des données Enseignement de data science à l’international R. Abdelfattah École Supérieure des Communications 8 Ingénierie des données Unité d’Enseignement Eléments des sciences de données 1. EE1 Statistique paramétrique (42 heures) 2. EE2 Ingénierie des données (21 hures) 3. EE3 Atelier d’optimisation (21 heures), R. Abdelfattah École Supérieure des Communications 9 Ingénierie des données Objectifs de l’Elément d’Enseignement 1. Reconnaître l’importance de l’ingénierie des données  Nuancer entre data scientist, Data engineer, data Analytics, Software Engineer 2. Etudier une chaîne de bout en bout partant de la collecte des données jusqu’à leur mise en forme adaptée au problème à résoudre. Prendre connaissance et tester les principales outils de manipulation des données et d’analyse exploratoire 3. Approfondir les connaissances sur les mécanismes usuels d’ingénierie des données. Traiter un cas d’usage sur des données réelles R. Abdelfattah École Supérieure des Communications 10 Ingénierie des données Plan du cours  21 heures : (15h cours + 6h TD)  Chapitre I : Introduction à la science des données et positionnement de l’ingénierie des données  Chapitre II : Types et sources de données  Chapitre III : Qualité des données  Chapitre IV : Exploration des données  Chapitre V : Prétraitement des données  Chapitre VI : Transformation des descripteurs/données R. Abdelfattah École Supérieure des Communications 11 Ingénierie des données Répartition des séances cours/TD 1. 7 séances de cours (2 heures) en présentiels 2. 7 séances de TD (Quizs et exercices corrigés) à distance R. Abdelfattah École Supérieure des Communications 12 Ingénierie des données : Chapitre I Riadh ABDELFATTAH École supérieure des Communications riadh.abdelfattah@supcom.tn Chapitre I : Introduction à la science des données et positionnement de l’ingénierie des données R. Abdelfattah École Supérieure des Communications 13 Ingénierie des données : Chapitre I Plan 1. Données partout 2. Définition de la Science des données 3. Métiers et compétences d’un scientifique des données 4. Composantes de la science des données 5. Définition et positionnement de l’ingénierie des données 6. Méthodologie CRISP-DM de fouille des données R. Abdelfattah École Supérieure des Communications 14 Ingénierie des données : Chapitre I 1. Données partout « Chaque jour, nous créons 2,5 quintillions (1018) d'octets de données, à tel point que 90 % des données dans le monde d'aujourd'hui ont été créées au cours des deux dernières années seulement. » R. Abdelfattah École Supérieure des Communications 15 Ingénierie des données : Chapitre I 1. Données partout R. Abdelfattah École Supérieure des Communications 16 Ingénierie des données : Chapitre I 1. Données partout R. Abdelfattah École Supérieure des Communications 17 Ingénierie des données : Chapitre I 1. Données partout R. Abdelfattah École Supérieure des Communications 18 Ingénierie des données : Chapitre I 1. Données partout R. Abdelfattah École Supérieure des Communications 19 Ingénierie des données : Chapitre I 1. Données partout Les "Big data" : ( les mégadonnées ou les données massives) des données trop volumineuses pour être manipulées et traitées par des outils de gestion de données conventionnels. Cela présente un nouvel ensemble de difficultés lorsqu'il s'agit de collecter ces données, de les stocker et de les partager. L'indexation et la recherche de données volumineuses nécessiteraient des technologies spéciales pour pouvoir fouiller et extraire des informations précieuses des ensembles de données volumineuses, dans un délai acceptable. R. Abdelfattah École Supérieure des Communications 20 Ingénierie des données : Chapitre I 1. Données partout Science des données (Data science) Ingénierie des données (Data engineering) Analytique des données (Data analytics) Designer des données (Data designer) On doit savoir comment utiliser et exploiter les données pour tirer des informations utiles et résoudre des problèmes! ? R. Abdelfattah École Supérieure des Communications 21 Ingénierie des données : Chapitre I 2. Définition de la Science des données décisions et prédictions de l'avenir sont fondées sur l'expérience de la vie réelle Information Données Exemple 1 : combien une institution financière vous accordera pour un prêt ? R. Abdelfattah École Supérieure des Communications 22 Ingénierie des données : Chapitre I 2. Définition de la Science des données Exemple 2 : Comment Amazon recommande les produits que vous pourriez aimer ? R. Abdelfattah École Supérieure des Communications 23 Ingénierie des données : Chapitre I 2. Définition de la Science des données La science des données est un domaine en plein essor avec un nombre remarquable d'offres d'emploi à travers le monde. La demande dépasse l'offre ! Cela signifie qu'il y a plus de postes vacants que de professionnels qualifiés en science des données. La science des données est un domaine interdisciplinaire qui combine les statistiques, l'informatique et le domaine de compétence (business, l’agriculture, médicale, …) pour extraire de la valeur des données. La science des données est le processus d'utilisation des données pour trouver des solutions / pour prédire les résultats d'un énoncé de problème ? R. Abdelfattah École Supérieure des Communications 24 Ingénierie des données : Chapitre I 2. Définition de la Science des données Domain Expertise Computer Science Math & Statistics Software development Traditional research Machine Learning Insights Data Science R. Abdelfattah École Supérieure des Communications 25 Ingénierie des données : Chapitre I 2. Définition de la Science des données Domain Expertise Computer Science Math & Statistics Data Analytics Advanced Analytics Machine Learning Data Science R. Abdelfattah École Supérieure des Communications 26 Ingénierie des données : Chapitre I 3. Métiers et compétences d’un scientifique des données (Data scientist) Le scientifique des données est un métier issu de la science des données (data science). Il s’agit d’une nouvelle discipline qui réunit les éléments de différents domaines incluant les mathématiques, les statistiques, l’informatique, la visualisation et la modélisation de données : c'est un programmeur + statisticien + analyste de données. R. Abdelfattah École Supérieure des Communications 27 Ingénierie des données : Chapitre I 3. Métiers et compétences d’un scientifique des données (Data scientist) R. Abdelfattah École Supérieure des Communications 28 Ingénierie des données : Chapitre I 3. Métiers et compétences d’un scientifique des données (Data scientist) 14 Must-Have Skills to Become a Data Scientist • Data Science Skill #1: Fundamentals of Data Science • Data Science Skill #2: Statistics and Probability • Data Science Skill #3: Programming knowledge • Data Science Skill #4: Data Manipulation and Analysis • Data Science Skill #5: Data Visualization • Data Science Skill #6: Machine Learning • Data Science Skill #7: Deep Learning • Data Science Skill #8: Big Data • Data Science Skill #9: Software Engineering • Data Science Skill #10: Model Deployment • Data Science Skill #11: Communication Skills • Data Science Skill #12: Storytelling Skills • Data Science Skill #13: Structured Thinking • Data Science Skill #14: Curiosity Soft skills Technical skills R. Abdelfattah École Supérieure des Communications 29 Ingénierie des données : Chapitre I 3. Métiers et compétences d’un scientifique des données (Data scientist)  Compétence #1 : Fondamentaux de la science des données comprendre les principes fondamentaux de la science des données, de l'apprentissage automatique et de l'intelligence artificielle dans son ensemble. Comprendre la signification et les spécificités des différentes techniques de traitement et d’analyse des données tels que : 1. Machine learning and deep learning 2. Data science, business analytics, and data engineering 3. Common tools and terminologies 4. Supervised and Unsupervised Learning 5.Classification vs regression problems R. Abdelfattah École Supérieure des Communications 30 Ingénierie des données : Chapitre I 3. Métiers et compétences d’un scientifique des données (Data scientist)  Compétence #2 : Probabilité et statistique La connaissance du concept de statistiques descriptives comme la moyenne, la médiane, le mode, la variance, l'écart type est indispensable. Viennent ensuite les différentes distributions de probabilité, l'échantillon et la population, le CLT, l'asymétrie et l'aplatissement, les statistiques inférentielles – les tests d'hypothèses, les intervalles de confiance, etc.: 1. What is Normal Distribution? 2. Hypothesis Testing and Z-Test vs. T-Test 3. What is Skewness and Why is it Important in data science? R. Abdelfattah École Supérieure des Communications 31 Ingénierie des données : Chapitre I 3. Métiers et compétences d’un scientifique des données (Data scientist)  Compétence #3 : Connaissances en programmation Python est rapidement devenu le langage de prédilection dans l'espace de la science des données et fait partie des premières choses que les recruteurs recherchent dans les compétences d'un scientifique des données. Il se classe systématiquement en tête des enquêtes mondiales sur la science des données et sa popularité généralisée ne fera que croître dans les années à venir. Au fil des ans, avec un fort soutien de la communauté, ce langage a obtenu une bibliothèque dédiée à l'analyse de données et à la modélisation uploads/Management/ chap1-ingenierie-des-donneesenseigne2021students.pdf