Frameworks Big Data (Spark) Elément Constitutif (ECUE) Vol. Horaire / Semestre
Frameworks Big Data (Spark) Elément Constitutif (ECUE) Vol. Horaire / Semestre Coefficient Crédits Evaluation Frameworks Big Data (Spark) Cours TD TP 1,5 3 Mixte 21 10,5 Total : 31,5 Objectif Ce cours a pour objectif de maîtriser les concepts fondamentaux de Spark et de développer des applications avec Spark Streaming. A l’issue de ce cours, les étudiants doivent maîtriser la programmation parallèle avec Spark sur un cluster et exploiter des données avec Spark SQL. Ils doivent être capables de modéliser une première approche du Machine Learning. Descriptif et contenu I. Présentation d'Apache Spark a. Historique du Framework. b. Les différentes versions de Spark (Scala, Python et Java). c. Comparaison avec l'environnement Apache Hadoop. d. Les différents modules de Spark. e. Travaux pratiques : Installation et configuration de Spark. Exécution d'un premier exemple avec le comptage de mots. II. Programmer avec les Resilient Distributed Dataset (RDD) a. Présentation des RDD. b. Créer, manipuler et réutiliser des RDD. c. Accumulateurs et variables broadcastées. d. Utiliser des partitions. e. Travaux pratiques : Manipulation de différents Datasets à l'aide de RDD et utilisation de l'API fournie par Spark. III. Manipuler des données structurées avec Spark SQL a. SQL, DataFrames et Datasets. b. Les différents types de sources de données. c. Interopérabilité avec les RDD. d. Performance de Spark SQL. e. JDBC/ODBC server et Spark SQL CLI. f. Travaux pratiques : Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC. IV. Spark sur un cluster a. Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN. b. Configurer un cluster en mode Standalone. c. Packager une application avec ses dépendances. d. Déployer des applications avec Spark-submit. e. Dimensionner un cluster f. Travaux pratiques : Mise en place d'un cluster Spark. V. Analyser en temps réel avec Spark Streaming a. Principe de fonctionnement. b. Présentation des Discretized Streams (DStreams). c. Les différents types de sources. d. Manipulation de l'API. e. Comparaison avec Apache Storm. f. Travaux pratiques : Consommation de logs avec Spark Streaming. VI. Manipuler des graphes avec GraphX a. Présentation de GraphX. b. Les différentes opérations. c. Créer des graphes. d. Vertex and Edge RDD. e. Présentation de différents algorithmes. f. Travaux pratiques : Manipulation de l'API GraphX à travers différents exemples. VII. Machine Learning avec Spark a. Introduction au Machine Learning. b. Les différentes classes d'algorithmes. c. Présentation de SparkML et MLlib. d. Implémentations des différents algorithmes dans MLlib. e. Travaux pratiques : Utilisation de SparkML et MLlib. Analyse et programmation avec Python Elément Constitutif (ECUE) Vol. Horaire / Semestre Coefficient Crédits Evaluation Analyse et programmation avec Python Cours TD TP 1,5 3 Mixte 21 10,5 Total : 31,5 Objectif Le but de ce module est de familiariser les étudiants à maîtriser le langage de programmation Python. A l’issue de ce cours, l'étudiant sera en mesure de manipuler et d’analyser les données en utilisant Python. Descriptif et contenu I. Introduction à la programmation Python A. Principes de base de Python pour l'analyse de données B. Installation et configuration de Python C. Bibliothèques Python II. Structures de données en Python . Modules et fichiers A. Structures de données en Python B. Codage de Huffman III. Systèmes statistiques : Nombres aléatoires - Monte Carlo . Distribution de Maxwell A. Monte Carlo - échantillonnage direct B. Chaînes de Markov, Algorithme de Metropolis C. Algorithme de Metropolis pour sphères dures IV. Machine learning sous Python . Dimensionnalité des données A. Regroupement des données B. Classification des données V. Econométrie sous Python . Introduction à l'économétrie A. Régression linéaire simple B. Régression linéaire multiple VI. Python et Big Data. . Programmation Python sous Spark via la librairie PySpark. A. Installation et configuration de Spark. B. Accès aux fonctionnalités du package PySpark. Projet Fédérateur Machine Learning Elément Constitutif (ECUE) Vol. Horaire / Semestre Coefficient Crédits Evaluation Projet Fédérateur Machine Learning Cours TD TP 1 2 CC 21 Total : 21 Objectif Appliquer les techniques apprises dans le module Machine Learning sur un exemple concret : Mini projet sur la reconnaissance des lettres ou autres. Anglais 3 Elément Constitutif (ECUE) Vol. Horaire / Semestre Coefficient Crédits Evaluation Anglais Cours TD TP 1 2 Mixte 21 Total : 21 Objectif Ce cours de préparation au TOEIC (Test of English for International Communication) permet aux étudiants d’acquérir des capacités de compréhension orale et écrite en anglais utiles dans le domaine professionnel. Descriptif et contenu A. Mise à niveau de l’ensemble des étudiants B. Les bases fondamentales de la langue anglaise C. Entrainement à l’oral : comprendre et savoir se faire comprendre D. Entrainement à l’écrit : s’habituer à lire et écrire de façon compréhensible E. Tests TOEIC Gestion des entreprises Elément Constitutif (ECUE) Vol. Horaire / Semestre Coefficient Crédits Evaluation Gestion des entreprises Cours TD TP 1 2 Mixte 21 Total : 21 Objectif A l’issus du cours, l’étudiant doit être capable : • de comprendre et d’appliquer les principes fondamentaux du management de l’entreprise • d’utiliser les techniques nécessaires à la réalisation des principales tâches du manager (planification, organisation, animation, contrôle) • de réagir positivement face à une situation managériale Descriptif et contenu A. Les principales théories du management B. La démarche prévisionnelle 1. Evolution de la démarche prévisionnelle 2. Planification stratégique et démarche prospective 3. Le processus de planification C. L’organisation 1. Les principes de base de l’organisation 2. Les différents types de structures et les configurations structurelles d’H.Mintzberg 3. Les caractéristiques de l’organisation D. La direction 1. Les styles de direction 2. Le leadership 3. Les différentes approches du comportement E. Le contrôle 1. Les différents types de contrôle 2. Le processus de contrôle 3. Les différents niveaux de contrôle Architecture Orientée Service Elément Constitutif (ECUE) Vol. Horaire / Semestre Coefficient Crédits Evaluation Architecture Orientée Service Cours TD TP 1,5 3 CC 21 Total : 21 Objectif L’objectif de ce cours est de donner les clefs pour appréhender le modèle des SOA, tant sur le plan des concepts que des technologies d’implémentation et de la gestion de projet. L’identification et la compréhension des besoins d’intégration et d’interopérabilité des systèmes d’information distribués ainsi que des différentes solutions proposées par les services intergiciels (middleware) de communication. Descriptif et contenu A. Introduction générale 4. Contexte global 5. Besoins fonctionnels et non-fonctionnels des SI distribués 6. Evolution des intergiciels 7. Présentation des cas d’études B. Les architectures orientées services 8. Principes 9. Architectures 10. Protocoles C. Conception et développement des SOA D. Utilisation et gestion d’une Entreprise Service Bus (ESB) 11. Services d’interopérabilité et de médiation 12. Moteurs de services 13. Orchestration 14. Configuration et monitoring E. Introduction à la gestion avancée des ESB a. Qualité de service et mise à l’échelle b. Tolérance aux pannes c. Clusters et fédérations Internet Of Things (IoT) Elément Constitutif (ECUE) Vol. Horaire / Semestre Coefficient Crédits Evaluation Internet Of Things (IoT) Cours TD TP 1,5 3 Mixte 21 Total : 21 Objectif Ce module permettra de comprendre l'architecture typique d'un réseau IoT et de mettre en place une chaine IoT complète, depuis la remontée d'informations émises par des capteurs connectés LPWAN jusqu'à la Data Visualization en passant par la collecte BigData et l'exploitation logicielle Java. Descriptif et contenu A. Introduction à l’Internet des Objets 1. Concepts de base 2. Problématiques B. Architecture IoT 1. Architecture générale 2. Les systèmes d’exploitation adaptés à l’IoT 3. Sécurité et confidentialité des données C. Réseaux et détections de proximité 1. Technologies disponibles : wifi, Bluetooth, NFC, RFID... 2. Echanges avec Bluetooth et Wifi Direct. 3. Fonctionnement des systèmes RFID et NFC. Les QR codes. 4. Les possibilités offertes par les Smartphones. D. Le réseau LPWAN 1. Les spécificités des réseaux IoT (distance, positionnement des équipements, autonomie). 2. Caractéristiques des réseaux LPWAN. 3. Les offres disponibles (opérateurs). 4. Sécuriser un réseau IoT. E. Le prototypage 1. Présentation des solutions Arduino et Raspberry. 2. Les possibilités Arduino Harware (capteurs, shield, GPIO) et la programmation embarquée. 3. Les environnements disponibles sur Raspberry et le lien avec Arduino. F. Exploitation logicielle 1. Les plateformes de communication logicielle (Technicolor Qeo, Google Weave...). 2. Les APIs de type REST et outils de développement. 3. Les solutions d'injection de données dans une base NoSQL BigData. Marketing Elément Constitutif (ECUE) Vol. Horaire / Semestre Coefficient Crédits Evaluation Marketing Cours TD TP 1,5 3 Mixte 21 Total : 21 Objectif Ce cours vise à développer ou approfondir les connaissances et compétences en marketing. Il a pour objectif de connaître un marché et suivre son évolution. L’étudiant doit maîtriser les outils de marketing. Il doit apprendre à planifier, organiser, mettre en œuvre et contrôler une action marketing. Descriptif et contenu A. Introduction : le développement de nouveaux produits dans un contexte interindustriel. B. Les enjeux de l’innovation du produit : la nécessité d’innover, le cycle de vie des produits et des technologies, les types d’innovation et leurs effets, les enjeux financiers. C. La stratégie, produit de l’entreprise : de la stratégie globale à la stratégie produit, les spécificités de la segmentation et de la politique de gamme en commerce D. L’analyse des nouveaux besoins uploads/Ingenierie_Lourd/ framework-bd-pdf.pdf
Documents similaires










-
36
-
0
-
0
Licence et utilisation
Gratuit pour un usage personnel Attribution requise- Détails
- Publié le Apv 08, 2021
- Catégorie Heavy Engineering/...
- Langue French
- Taille du fichier 0.1178MB