Data engineer Mai Fiche métier big data Data Engineer Les data engineers sont les professionnels de la donnée qui préparent l'infrastructure big data pour l'exécution de traitement notamment ceux conçus par les data scientists Ce sont des ingénieurs en dé
Mai Fiche métier big data Data Engineer Les data engineers sont les professionnels de la donnée qui préparent l'infrastructure big data pour l'exécution de traitement notamment ceux conçus par les data scientists Ce sont des ingénieurs en développement informatique qui préparent et mettent en service le socle matériel et logiciel qui permet d'exécuter di ?érents traitements informatiques optimisés l'intégration de grands volumes de données à partir de diverses sources - la transformation de ces données au moyen de di ?érents traitements de nettoyage normalisation et enrichissement - les traitements analytiques conçus par les data scientists - et en ?n des traitements décisionnels permettant d'établir des rapports périodiques automatisés ou des visualisations à la demande METIER MISSIONS METTRE EN PLACE OU SUPERVISER LA MISE EN PLACE D'UNE ARCHITECTURE BIG DATA - Coordonner en lien avec la Direction des Systèmes d ? Information la mise en place de l'architecture big data conçue par le data architect infrastructures machines physiques cloud canaux de communications logiciels middleware et systèmes d'exploitation - Assurer la maintenance de l'architecture big data en lien avec la Direction des Systèmes d ? Informations DSI INDUSTRIALISER AUTOMATISER Industrialiser automatiser dans un environnement de développement - les algorithmes de récupération des données - les algorithmes de découverte des données - les modèles de prédiction des données ASSURER LA VEILLE TECHNOLOGIQUE SUR LES ARCHITECTURES BIG DATA - E ?ectuer une veille sur les nouvelles technologies et solutions matérielles de transport et de stockage des données - E ?ectuer une veille sur les nouvelles technologies et solutions logicielles de structuration et d'infrastructures des données solutions middleware - Contribuer à l'évolution des pratiques dans son domaine de compétences en étant actif dans des réseaux de veille ? CMai Fiche métier big data Data Engineer UN METIER DE DIVERSITE Salarié e d ? une entreprise industrielle ou de service il elle travaille dans un environnement très technique Les entreprises requièrent généralement pour des postes de data engineer des personnes ayant plusieurs années d ? expérience dans le domaine du big data MOBILITE ET DISPONIBILITE Le la Data engineer est plutôt sédentaire mais il elle peut aussi être amené e à se déplacer chez ses clients UN METIER DES COMPETENCES SAVOIR - A des connaissances en mathématiques en statistique de bases en modélisation en analyse de données Math appliqués - A de solides connaissances des principales architectures applicatives modèles de conception logicielle ex MVC Framework ex java - A de fortes connaissances en algorithmique informatique théorique théorie de la complexité base de la recherche opérationnelle et des bases en machine learning - Conna? t bien les technologies d ? infrastructures informatiques et leurs performances Cloud support de l ? externalisation de services facturés à l ? usage non Cloud technologies de calcul intensif machines virtuelles CPU carte graphique ? n ? ayant pas recours au cloud CPU Control Processing Unit API Applicable Programming Interface SAVOIR-FAIRE - A de fortes aptitudes en développement programmation o A une excellente ma? trise des langages de programmation suivant Python Scala
Documents similaires










-
27
-
0
-
0
Licence et utilisation
Gratuit pour un usage personnel Aucune attribution requise- Détails
- Publié le Jul 25, 2022
- Catégorie Management
- Langue French
- Taille du fichier 61.2kB