Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Calcul parallèle distribué - - Filière Master Data Science - - - Niveau Premièr

Calcul parallèle distribué - - Filière Master Data Science - - - Niveau Première Année - Dr. Rania MKHININI GAHAR Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Objectifs du Module À l’issue de ce cours, l’étudiant doit avoir les compétences suivantes : Distinguer les architectures parallèles ; Comprendre les notions de base de la programmation parallèle ; Disposer des compétences techniques nécessaires à la mise en œuvre d’un programme parallèle ; S’approprier le panel d’outils de la programmation parallèle. Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 2 / 61 Plan 1 Introduction au parallélisme 2 Classiﬁcation des architectures parallèles 3 Analyse des performances 4 Bibliographie et Logistique Recommandées Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 3 / 61 Introduction au parallélisme 1 Introduction au parallélisme 2 Classiﬁcation des architectures parallèles Quatre décennies de calcul Principales architectures parallèles Réseaux d’interconnexion Clusters Grids Récapitulatif 3 Analyse des performances Accélération Eﬃcacité Loi d’Amdhal Loi de Gustasfon Scalabilité d’un programme parallèle 4 Bibliographie et Logistique Recommandées Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 4 / 61 Introduction au parallélisme Qu’est ce que le parallélisme ? Déﬁnition Le parallélisme est le fait d’utiliser un ensemble de processeurs capables de communiquer et de coopérer dans le but d’accélérer la résolution d’un seul problème. ⇒Le parallélisme pose de nombreuses questions. Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 5 / 61 Introduction au parallélisme Qu’est ce que le parallélisme ? 1 Un ensemble de processeurs Combien ? De quelle puissance ? Que sont-ils capables de réaliser ? Quelle est la taille de leur mémoire associée ? Quelle en est l’organisation ? Comment les Entrées/Sorties sont-elles réalisées ? Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 6 / 61 Introduction au parallélisme Qu’est ce que le parallélisme ? 1 ....capables de communiquer Comment sont-ils reliés les uns aux autres ? Que sont-ils capables d’échanger ? Quel est leur protocole d’échange d’information ? 2 ....et de coopérer... Comment synchronisent-ils leurs eﬀorts ? Quel est leur degré d’autonomie ? Comment sont-ils pris en compte par le système d’exploitation ? Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 7 / 61 Introduction au parallélisme Qu’est ce que le parallélisme ? 1 ...dans le but d’accélérer la résolution d’un seul problème... Quels sont les problèmes à fort potentiel de parallélisme ? Quel est le modèle de calcul utilisé ? Quel est le degré de spécialisation des machines à un problème donné ? Comment choisir les algorithmes ? Quelle eﬃcacité peut-on espérer ? Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 8 / 61 Introduction au parallélisme Qu’est ce que le parallélisme ? Comment ces machines se programment-elles ? Quel langage faut-il ? Comment exprimer le parallélisme ? Cette expression est-elle automatique ou manuelle ? ⇒Liste des questions incomplète ! Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 9 / 61 Introduction au parallélisme Pourquoi le parallélisme ? La puissance de calcul des premiers ordinateurs(machines séquentielles) a considérablement augmenté sans pour autant pouvoir satisfaire la demande toujours croissante d’applications dans plusieurs domaines, tels que : La simulation et la modélisation L’ingénierie La recherche de ressources énergétiques La recherche médicale ou militaire Etc Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 10 / 61 Introduction au parallélisme Pourquoi le parallélisme ? Apparition du parallélisme Dans les processeurs (en faisant exécuter plusieurs opérations en même temps) Puis, dans les ordinateurs(par duplication des éléments de calcul) Le parallélisme permet : L’amélioration des performances de calcul L’accroissement de la taille des problèmes à résoudre(capacité mémoire) De produire des machines ayant un bon rapport coût/performance (coûts très importants pour accroître la puissance d’un élément de calcul). Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 11 / 61 Introduction au parallélisme Le parallélisme est-il vraiment nécessaire ? La puissance des ordinateurs séquentiels de manière régulière(elle double tous les 18 mois : Loi de Moore) On pourrait croire qu’elle sera toujours suﬃsante et que les machines parallèles(ordinateurs multiprocesseurs) sont inutiles. ⇒C’est faux, pour plusieurs raisons : Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 12 / 61 Introduction au parallélisme Le parallélisme est-il vraiment nécessaire ? Les améliorations futures des vitesse de calcul des processeurs sont limitées par des contraintes : Physiques : telles que la vitesse de la lumière Économiques : à savoir les coûts très élevés de fabrication des processeurs. Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 13 / 61 Introduction au parallélisme Le parallélisme est-il vraiment nécessaire ? Plus on en a, plus on en veut : Un certain nombre d’applications ont été classées "grand challenge" et font l’objet de recherches intensives, tant au niveau matériel qu’au niveau logiciel. Elles nécessitent très souvent des puissances de traitement supérieures à celles que peut fournir un ordinateur séquentiel, aussi performant soit-il. Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 14 / 61 Introduction au parallélisme Le parallélisme est-il vraiment nécessaire ? Elles sont également appelées "applications 3 T" parce qu’elles nécessitent pour leur exécution : 1 Téraﬂops 1 Téraoctet de mémoire centrale 1 Téraoctet par seconde de bande passante pour produire les résultats Ces applications ne peuvent être réalisées qu’en ayant recours au parallélisme massif. Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 15 / 61 Introduction au parallélisme Ordres de grandeur (G :Giga, T :Téra, P :Péta) 1 TéraFlops=1012opérations ﬂottantes par seconde 1 PetaByte : vidéo de 2300 ans, 1 milliard de livres... Les superordianteurs du début des années 90 atteignent à peine quelques centaines de MégasFlops. Actuellement, la machine la plus puissante au monde est Summit(9216 processeurs et 27.648 cartes graphiques), conçue par IBM. Elle est capable d’eﬀectuer 200 billiards de calculs par seconde (200 millions de milliards de calculs). Dans l’univers des supercalculateurs, on parle ainsi de 200 PétaFlops. Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 16 / 61 Introduction au parallélisme Parallélisme à hautes performances Motivation Grand challenge Problème fondamental Grands impacts sur l’industrie, la science ou la société Solution par l’utilisation du calcul à hautes performances Besoins importants En puissance de calcul En mémoire Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 17 / 61 Introduction au parallélisme Parallélisme à hautes performances Exemples de Grands Challenges Modélisation et simulation Conception aéronautique, dynamique automobile Prévision météorologique Analyse sismique Prospection pétrolière Ingénierie Génie nucléaire Génie chimique Robotique Micro-électronique Calculs symboliques dont Reconnaissance de la parole Vision par ordinateur Compréhension du langage naturel Reconnaissance automatique Recherche médicale ou militaire Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 18 / 61 Classiﬁcation des architectures parallèles 1 Introduction au parallélisme 2 Classiﬁcation des architectures parallèles Quatre décennies de calcul Principales architectures parallèles Réseaux d’interconnexion Clusters Grids Récapitulatif 3 Analyse des performances Accélération Eﬃcacité Loi d’Amdhal Loi de Gustasfon Scalabilité d’un programme parallèle 4 Bibliographie et Logistique Recommandées Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 19 / 61 Classiﬁcation des architectures parallèles Quatre décennies de calcul 1 Introduction au parallélisme 2 Classiﬁcation des architectures parallèles Quatre décennies de calcul Principales architectures parallèles Réseaux d’interconnexion Clusters Grids Récapitulatif 3 Analyse des performances Accélération Eﬃcacité Loi d’Amdhal Loi de Gustasfon Scalabilité d’un programme parallèle 4 Bibliographie et Logistique Recommandées Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 20 / 61 Classiﬁcation des architectures parallèles Quatre décennies de calcul La plupart des informaticiens admettent qu’il existe 4 domaines de calcul distincts : batch, time-sharing, desktop et network. Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 21 / 61 Classiﬁcation des architectures parallèles Quatre décennies de calcul Calcul Parallèle Le domaine de la programmation parallèle est visiblement en continuelle évolution ; Depuis 1985, le domaine du parallélisme s’est considérablement développé à cause des demandes toujours croissantes en puissance de calcul ; Historiquement, il s’est développé dans le cadre de la construction de systèmes d’exploitation ; Puis, des machines parallèles composées de multiples processeurs sont apparues Dr. Rania MKHININI GAHAR (Institut Supérieur d’Informatique de Mahdia (ISIMa) Années Universitaires : 2022-2023 Calcul parallèle distribué 22 / 61 Classiﬁcation des architectures parallèles Quatre décennies de calcul Elles peuvent uploads/Management/ calcul-parallele-distribue-v24-11-2022.pdf