Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Introduction data science Data science Master 2 ISIDIS S´ ebastien Verel verel@

Introduction data science Data science Master 2 ISIDIS S´ ebastien Verel verel@lisic.univ-littoral.fr http://www-lisic.univ-littoral.fr/~verel Universit´ e du Littoral Cˆ ote d’Opale Laboratoire LISIC Equipe OSMOSE Data science Data scientist Big data Processus en data science Information But, ´ evaluation, objectifs, support de cours, bibliographie : cf. siteweb Data science Data scientist Big data Processus en data science Bibliographie Le cours et les supports reposent principalement sur ces sources bibliographiques : Data Science : fondamentaux et ´ etudes de cas Machine Learning avec Python et R Eric Biernat, Michel Lutz, 2015. Data science Data scientist Big data Processus en data science Bibliographie Big Data et Machine Learning Manuel du data scientist Pirmin Lemberger, Marc Batty, 2015. Data science Data scientist Big data Processus en data science Bibliographie Que les auteurs en soient remerci´ es chaleureusement ! Data science Data scientist Big data Processus en data science Contenu G´ en´ eral A Machine learning : Bases du data scientist regression lin´ eaire, logistique, bayesien naif, etc. Les outils avanc´ es random forest, gradient boosting, SVM, etc. Concepts g´ en´ eraux grandes dimensions, ´ evaluation de mod` eles, etc. B Hadoop avec Map-reduce : Syst` eme HDFS Map-reduce : exemples de bases Map-reduce : exemples avanc´ es Framework pig C NoSQL pour le big data : Pr´ esentation, diﬀ´ erence SQP/noSQL Quelques impl´ ementations : Hbase, Sqoop, Hive, etc. Machine learning en big data (mahout, Mllib) Data science Data scientist Big data Processus en data science R´ esoudre des probl` emes ah ! r´ esoudre des probl` emes... Panne d’une voiture Connaitre l’opinion sur un sujet dans les r´ eseaux sociaux Pr´ evoir la consommation ´ electrique Data science Data scientist Big data Processus en data science Une d´ eﬁnition Data science ”D´ emarche empirique qui se base sur des donn´ ees pour apporter une r´ eponse ` a des probl` emes” Data science : fondamentaux et ´ etudes de cas, E. Biernat, M. Lutz, Eyrolles, 2015. Data science Data scientist Big data Processus en data science Le m´ etier de Data scientist Data scientist Apparu en 2008, DJ. Patil et JeﬀHammerbacher de Facebook et LinkedIn, ce sont appel´ es ”data scientist” G´ en´ eralis´ e ` a partir de 2012 : ”Data scientist : The sexiest Job of the 21th Century”, T.H. Davenport, DJ. Patil, Harvard Buissiness Review, oct. 2012. Rˆ ole du data scientist gagne en importance dans les entreprises : Augmentation (explosion !) du volume des donn´ ees non structur´ ees (big data) Dans les 10 prochaines ann´ ees, proﬁl data scientist sera tr` es recherch´ e Data science Data scientist Big data Processus en data science Les comp´ etences On peut aussi aller lire un post de Alex Woodie : http://www.datanami.com/2015/01/07/ 9-must-skills-land-top-big-data-jobs-2015/ Data science Data scientist Big data Processus en data science Les jobs Exercices Sur google trends : observer l’usage de ”data scientist” Rechercher des oﬀres d’empli proﬁls ”big data”, ”business intelligence”... Consulter le r´ ef´ erentiel m´ etier de l’apec ”data scientist” Data science Data scientist Big data Processus en data science Big data Un d´ eluge de donn´ ees Source des donn´ ees : Activit´ e humaine emails, photos, vid´ eo, logs, likes, etc. Activit´ e des machines capteurs en tout genre, compteurs en tout genre (´ electrique, etc.), v´ ehicules, ´ electro-m´ enager Open data des institutions, des entreprises horaires, statistiques sur les r´ egions, g´ eolocalisation, etc. open API de twitter, google, etc. http://www.programmableweb.com/ Le web ! Data science Data scientist Big data Processus en data science Big data Un d´ eluge de donn´ ees Source des donn´ ees : Activit´ e humaine emails, photos, vid´ eo, logs, likes, etc. Activit´ e des machines capteurs en tout genre, compteurs en tout genre (´ electrique, etc.), v´ ehicules, ´ electro-m´ enager Open data des institutions, des entreprises horaires, statistiques sur les r´ egions, g´ eolocalisation, etc. open API de twitter, google, etc. http://www.programmableweb.com/ Le web ! Avertissement, data science ne se r´ eduit pas au big data Data science Data scientist Big data Processus en data science Causes ´ economiques Les coˆ uts baisses exponentiellement Capacit´ e de stockage Capacit´ e de calcul Bande passante ⇒Emergence de data centers : Google, Amazon, LinkedIn, Yahoo !, OVH, etc. Data science Data scientist Big data Processus en data science How big ? Internet : > 10 Po Data center : > 100 To Disque dur : ≈10 To RAM : < 100 Go Fronti` ere big data : lorsque les donn´ ees ne peuvent ˆ etre trait´ ees en temps ”raisonnable” ou ”utile” Calculer le temps n´ ecessaire pour lire un disque dur de 1 To ` a 100Mo/s ? Data science Data scientist Big data Processus en data science How big ? Internet : > 10 Po Data center : > 100 To Disque dur : ≈10 To RAM : < 100 Go Fronti` ere big data : lorsque les donn´ ees ne peuvent ˆ etre trait´ ees en temps ”raisonnable” ou ”utile” Calculer le temps n´ ecessaire pour lire un disque dur de 1 To ` a 100Mo/s ? Attention : donn´ ees ̸= information Data science Data scientist Big data Processus en data science Les fameux 3V (Gartner) Sch´ ema d’apr` es ”Big data et Machine Learning”, Dunod, 2015. Data science Data scientist Big data Processus en data science Champs d’application Nombreux champs d’applications actuels et futurs Tous les domaines de la science : climat, physique, ´ epid´ emiologie, m´ edical, etc. En politique Campagne Obama, etc. Secteur priv´ e : Relation clients, marketing cibl´ e, fr´ equentation, etc. Secteur public : am´ elioration des services, adaptation aux besoins, etc. Beaucoup de perspectives en vue ! Nouveaux besoins, nouveaux outils... Data science Data scientist Big data Processus en data science Quelques remarques ´ ethiques Attention aux droits sur les donn´ ees : ` a qui appartient les donn´ ees, leur exploitations, etc. Toutes les donn´ ees ont un coˆ ut Une donn´ ee peut ˆ etre juste mais l’analyse fausse Une analyse de donn´ ees n’est jamais neutre au sens objective ! Une donn´ ee n’est jamais neutre : Une donn´ ee est r´ ecolt´ ee et exploit´ ee dans un but pr´ ecis Data science Data scientist Big data Processus en data science D´ emarche en data science D´ emarche globale 1 Imaginer un produit, ou une question 2 Collecter les donn´ ees 3 Pr´ eparer les donn´ ees 4 Concevoir un mod` ele pr´ edictif 5 Visualiser les r´ esultats 6 Optimiser le mod` ele (calibration) 7 D´ eploiement, industrialisation Le gros volume de donn´ ees n’est pas une contrainte mais une opportunit´ e ! Data science Data scientist Big data Processus en data science Contenu G´ en´ eral A Machine learning : Bases du data scientist regression lin´ eaire, logistique, bayesien naif, etc. Les outils avanc´ es random forest, gradient boosting, SVM, etc. Concepts g´ en´ eraux grandes dimensions, ´ evaluation de mod` eles, etc. B Hadoop avec Map-reduce : Syst` eme HDFS Map-reduce : exemples de bases Map-reduce : exemples avanc´ es Framework pig C NoSQL pour le big data : Pr´ esentation, diﬀ´ erence SQP/noSQL Quelques impl´ ementations : Hbase, Sqoop, Hive, etc. Machine learning en big data (mahout, Mllib) uploads/Science et Technologie/ datascience-introduction.pdf