Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Mai 2018 Fiche métier big data Data Engineer Les data engineers sont les profes

Mai 2018 Fiche métier big data Data Engineer Les data engineers sont les professionnels de la donnée qui préparent l'infrastructure big data pour l'exécution de traitement, notamment ceux conçus par les data scientists. Ce sont des ingénieurs en développement informatique qui préparent et mettent en service le socle matériel et logiciel qui permet d'exécuter différents traitements informatiques optimisés : - l'intégration de grands volumes de données à partir de diverses sources, - la transformation de ces données au moyen de différents traitements de nettoyage, normalisation, et enrichissement, - les traitements analytiques conçus par les data scientists, - et enfin des traitements décisionnels permettant d'établir des rapports périodiques automatisés, ou des visualisations à la demande. 1 METIER, 3 MISSIONS 1_ METTRE EN PLACE OU SUPERVISER LA MISE EN PLACE D'UNE ARCHITECTURE 1_ BIG DATA - Coordonner, en lien avec la Direction des Systèmes d’Information, la mise en place de l'architecture big data, conçue par le data architect : infrastructures (machines physiques, cloud, canaux de communications), logiciels (middleware et systèmes d'exploitation) ; - Assurer la maintenance de l'architecture big data en lien avec la Direction des Systèmes d’Informations (DSI) ; 2_INDUSTRIALISER / AUTOMATISER Industrialiser / automatiser dans un environnement de développement : - les algorithmes de récupération des données ; - les algorithmes de découverte des données ; - les modèles de prédiction des données ; 3_ASSURER LA VEILLE TECHNOLOGIQUE SUR LES ARCHITECTURES BIG DATA - Effectuer une veille sur les nouvelles technologies et solutions matérielles de transport et de stockage des données ; - Effectuer une veille sur les nouvelles technologies et solutions logicielles de structuration et d'infrastructures des données (solutions middleware) ; - Contribuer à l'évolution des pratiques dans son domaine de compétences, en étant actif dans des réseaux de veille ; Mai 2018 > Fiche métier big data Data Engineer UN METIER DE DIVERSITE Salarié(e) d’une entreprise industrielle ou de service, il/elle travaille dans un environnement très technique. Les entreprises requièrent généralement pour des postes de data engineer des personnes ayant plusieurs années d’expérience dans le domaine du big data. MOBILITE ET DISPONIBILITE Le/la Data engineer est plutôt sédentaire mais il/elle peut aussi être amené(e) à se déplacer chez ses clients. UN METIER, DES COMPETENCES SAVOIR - A des connaissances en mathématiques : en statistique de bases, en modélisation, en analyse de données (Math appliqués) ; - A de solides connaissances des principales architectures applicatives : modèles de conception logicielle (ex : MVC, ...), Framework (ex : java,...) ;... - A de fortes connaissances en algorithmique : informatique théorique (théorie de la complexité,...) (base de la recherche opérationnelle) et des bases en machine learning ; - Connaît bien les technologies d’infrastructures informatiques et leurs performances : ● Cloud : support de l’externalisation de services, facturés à l’usage ● non Cloud : technologies de calcul intensif (machines virtuelles, CPU*, carte graphique, …) n’ayant pas recours au cloud *CPU = Control Processing Unit, API = Applicable Programming Interface SAVOIR-FAIRE - A de fortes aptitudes en développement / programmation : o A une excellente maîtrise des langages de programmation suivant : Python, Scala, Java, Shell Unix o Sait programmer en langage C/C++, javascript, o A une excellente maîtrise des technologies Big data (HADOOP, SPARK) o A une excellente maîtrise du langage SQL o Avoir des bases dans la programmation de quelques base de données NoSQL (not only SQL) est un plus (Neo4j, MongoDB, Cassandra, etc…) - Fait preuve d’intelligence économique en écoutant ses intuitions stratégiques (esprit d’entrepreneur) ; - A une bonne maîtrise de l’anglais (converser en anglais en contexte professionnel; utiliser un vocabulaire technique; comprendre de la documentation technique; écrire en anglais les livrables, notes, e-mails… nécessaires à la réalisation des activités…) ; - Collabore fortement avec les autres membres de l'équipe (coopération et transparence permanente sur l'avancement du travail, ...) ; → compétence permettant de « travailler en équipe AGILE » - Travaille par incrémentation et itération de 1 à 4 semaines (le processus de développement est découpé en plusieurs phases appelées des "sprint", et chaque itération répond à des objectifs courts termes) ; → compétence permettant de « travailler en équipe AGILE » Mai 2018 > Fiche métier big data Data Engineer UN METIER, DES COMPETENCES SAVOIR-ETRE - A un bon esprit d’analyse ; - Fait preuve d’honnêteté intellectuelle et de prise de recul par rapport aux méthodes utilisées pour garantir qu’elles soient adaptées au contexte des données traitées ; - A une bonne capacité d’organisation pour structurer ses méthodes de travail et son plan d’intervention ; - Est assez curieux pour suivre les nouvelles tendances et découvrir de nouveaux outils ; - Est force de proposition auprès des différents acteurs de l’entreprise ; - Sait demander de l'aide à bon escient ; → compétence permettant de « travailler en équipe AGILE » - Se contente d'un travail individuel satisfaisant (pour faire le maximum avec les ressources allouées, sans recherche de perfection) ; → compétence permettant de « travailler en équipe AGILE » - A une grande capacité d'adaptation (rester réactif au changement) ; → compétence permettant de « travailler en équipe AGILE » - Est capable de travailler dans un domaine non connu (en décalage avec son domaine d'expertise, mais toujours en gardant un lien) … → compétence permettant de « travailler en équipe AGILE » SPECIFICITES Dans une très petite, petite, entreprise de taille moyenne (TPE / PME) : le/la data engineer sera un rôle qui pourra être cumulé avec d‘autres rôles comme le data architect. Dans une Entreprise de Taille Intermédiaire (ETI) ou un Grand groupe : le/la data engineer sera un métier à part entière qui travaillera en équipe agile avec un data architect. Dans cette configuration, il/elle pourra aussi en plus avoir un rôle de « scrum master » (chef de projet dans le big data) Les compétences associées au travail en équipe agile, sont plus recherchées dans les entreprises d’une certaine taille qui a une équipe big data. Mai 2018 > Fiche métier big data Data Engineer ACCES AU METIER Pour devenir Big data engineer, il faudra envisager des études relativement longues puisqu'un niveau bac +4/5 est généralement requis pour exercer cette activité. La plupart du temps, les entreprises privilégient les candidats ayant suivi des cursus dans les domaines de l'ingénierie et de l'informatique. Il n’existe pas véritablement de voie royale menant au métier de data engineer. Il existe presque autant de parcours professionnels que de data engineer sur le marché d’autant que ces profils “technologues” sont souvent des techniciens confirmés. QUELQUES EXEMPLES DES DIPLOMES LES PLUS CONNUS PERMETTANT L’ACCES AU METIER : BAC+5 : DIPLOMES D’ECOLES - Expert en ingénierie informatique (CRESPA école du Campus Sciences-U Lyon) avec le Mastère Professionnel Expert en Ingénierie Informatique option Business Intelligence et Big Data ; - Filière IAMD (Ingénierie et Applications des Masses de Données) à Télécom Nancy ; - Expert en ingénierie informatique (EFFICOM de Lille avec son Mastère Professionnel ingénierie informatique ; - Expert en ingénierie informatique (EPITA), avec une Majeure MTI (Multimédia et Technologies de l'Information) ; - Expert en ingénierie informatique (ISTM Institut Supérieur de Technologie et Management) de Paris avec un MBA Management & Big Data ; - Expert en ingénierie informatique (ESIMED) ; MOOCs - Sur le site du MIT, de Coursera ou de Big Data University ; - Fondamentaux pour le Big Data (IMT_Institut Mines Telecom) sur FUN-MOOC ; CERTIFICAT PROFESSIONNEL Google Certified Professional - Data Engineer https://cloud.google.com/certification/data-engineer?hl=fr Mai 2018 > Fiche métier big data Data Engineer CE QU’IL FAUT RETENIR CENTRE D’INTERET - Avoir le sens du contact ; - Apprécier le travail en équipe ; - Aimer assumer des responsabilités ; - Aimer manipuler les chiffres et la logique mathématique ; FONCTIONS - Production ; Maintenance ; - Support ; - Marketing & Commercial ; SECTEURS D’ACTIVITES La métallurgie, la chimie, l’agroalimentaire, … et plus généralement tous les secteurs d’activités de l’industrie et des services. A noter également que les métiers du big data, bien au-delà de l’industrie sont présents et très recherchés dans de nombreux autres secteurs d’activités : immobilier, santé, ... STATUT Salarié(e) d’une entreprise (plutôt Entreprise de Taille Intermédiaire – ETI - et grande entreprise) ou d’une société de services intervenant pour toute taille d’entreprises et notamment pour les PME. Il/elle peut aussi être consultant/e indépendant/e. CODE ROME* - M1403 - Études et prospectives socio-économiques - M1803 – Direction des systèmes d'information - M1805 – Études et développement informatique - M1806 – Conseil et maîtrise d'ouvrage en systèmes d'information - M1810 - Production et exploitation de systèmes d'information * Le Répertoire opérationnel des métiers et des emplois (ROME) est un répertoire créé en 1989 par l'ANPE (Agence nationale pour l'emploi), aujourd'hui Pôle emploi en France. Il sert à identifier aussi précisément que possible chaque métier. Ce répertoire comprend plus de 10 000 appellations de métiers et d'emplois. Cette nomenclature et la codification du ROME sont utilisées par d'autres organismes publics ou privés traitant de l'emploi. Le ROME est utilisé pour l'élaboration des familles professionnelles (FAP) en France1. Mai 2018 > Fiche métier big uploads/Management/ data-engineer 1 .pdf