Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Tdbd part1 1 Traitement distribué pour les Big Data Master Ingénierie des Systèmes d'Information M Jean-Marie PREIRA jmpreira gmail com Juin CSOMMAIRE I Introduction à l'informatique parallèle II Big Data et analyse de données III Le paradigme MapReduce I

Traitement distribué pour les Big Data Master Ingénierie des Systèmes d'Information M Jean-Marie PREIRA jmpreira gmail com Juin CSOMMAIRE I Introduction à l'informatique parallèle II Big Data et analyse de données III Le paradigme MapReduce IV L'écosystème Hadoop V Apache Hive VI Apache Spark CTraitement distribué pour les Big Data I Introduction à l'informatique parallèle CIntroduction à l'informatique parallèle Technologie des architectures distribuées ?? Le processeur multi-coeur ?? Le n ?ud de calcul ?? Le cluster de calcul ?? Les processeurs graphiques ?? Le multithreading ?? Outils de parallèlisation Problématique du déploiement ?? Performance ?? Tolérance aux pannes ?? Passage à l'échelle Apache ZooKeeper ?? Origines ?? Objectifs CTechnologie des architectures distribuées Le processeur multi-coeur ?? Loi de Moore Le nombre de transistors sur une puce doublerait tous les ans ? ?? Conséquence problème de surchau ?e CTechnologie des architectures distribuées Le processeur multi-coeur ?? Solution Implémenter plusieurs processeurs c ?urs sur un même circuit intégré On parle de processeur muli-c ?urs ?? Un coeur est un petit processeur autonome qui peut exécuter un code di ?érent de ceux des autres coeurs à une fréquence d ? horloge éventuellement di ?érente CTechnologie des architectures distribuées Le processeur multi-coeur ?? Exemples Intel Xeon Westmere-Ex c ?urs processeur Sun Sparc T c ?urs processeur Intel Core i c ?urs processeur IBM Power c ?urs processeur CTechnologie des architectures distribuées Le n ?ud de calcul Un noeud de calcul est un ordinateur avec ?? son ses processeurs sa mémoire RAM ?? son ses accès réseau un des disques locaux CTechnologie des architectures distribuées Le n ?ud de calcul CTechnologie des architectures distribuées Le cluster de calcul ?? Conceptuellement un cluster de calcul n ? est qu ? un ensemble de noeuds de calculs installés dans des baies et reliés par un réseau local d ? interconnexion performant haut débit de type In ?niband avec des débits allant de à Gbits s CTechnologie des architectures distribuées Les processeurs graphiques ?? Les GPU Graphics Processing Units sont très utilisés pour paralléliser des calculs de Machine Learning ou de Deep Learning VS CTechnologie des architectures distribuées Le multithreading ?? Du point de vue processus la programmation parallèle peut se faire de deux manières Par un ensemble de processus distincts Par un ensemble de threads à l'intérieur d'un même processus CTechnologie des architectures distribuées Le multithreading ?? Un processus peut créer plusieurs threads et par défaut tous les threads de ce processus partagent son espace mémoire et ses données CTechnologie des architectures distribuées Outils de parallèlisation ?? Le calcul parallèle ou High Performance Computing HPC se fait à l'aide de bibliothèques développées dans des langages compilés car plus rapides comme le Fortran le C ou le C ?? Les bibliothèques les plus standards sont OpenMP Open Multi-Processing pour le développement multithreads au sein de PC multi-coeurs MPI Message Passing Interface pour le calcul distribués sur PC multi-processeurs ou un cluster de PCs CUDA Compute Uni ?ed Device Architecture pour le calcul sur GPU CProblématique du déploiement A