PRÉLIMINAIRES

I. Épistémologie et Enjeux Scientifiques du Domaine

Héritage direct de la fin de la loi de Moore, la programmation parallèle ne constitue pas une simple optimisation mais une refondation paradigmatique de l’informatique. La stagnation de la fréquence des processeurs a imposé une multiplication des cœurs de calcul, transformant la concurrence en norme architecturale. Cette mutation force la science informatique à abandonner le confort du modèle séquentiel de von Neumann pour affronter la complexité des systèmes distribués, de la synchronisation des états et de la cohérence des mémoires, posant des défis algorithmiques et théoriques d’une radicale nouveauté.

II. Cartographie des Compétences et Transversalité

Cette unité d’enseignement structure une montée en compétence progressive et cohérente, des architectures à mémoire partagée (OpenMP) aux systèmes à mémoire distribuée (MPI), culminant avec l’exploitation des accélérateurs massivement parallèles (CUDA). Ces compétences, loin d’être confinées à l’ingénierie logicielle, irriguent des domaines aussi variés que la modélisation financière, la bio-informatique, la simulation climatique ou l’intelligence artificielle. Maîtriser le parallélisme, c’est acquérir le pouvoir de résoudre des problèmes d’une échelle inaccessible au calcul séquentiel, devenant un pivot central de l’innovation scientifique et technologique contemporaine.

III. Alignement Stratégique avec les Réalités Opérationnelles

Face à l’explosion des données (Big Data) et à la nécessité de souveraineté numérique, la maîtrise du calcul haute performance (HPC) est un impératif stratégique pour le continent africain. Les métiers d’ingénieur HPC, de développeur d’algorithmes parallèles et de chercheur en architecture informatique sont en tension critique, car ils conditionnent la capacité d’une nation à traiter localement ses propres données (géologiques, sanitaires, économiques). Ce cours arme les futurs ingénieurs pour construire et optimiser les infrastructures de calcul qui soutiendront l’innovation locale, de la fintech à l’agritech.

Chapitre I. Fondements Architecturaux et Métriques de Performance

I.1 Taxonomie de Flynn et Architectures Multi-cœurs

Issue des travaux de Michael J. Flynn en 1966, la taxonomie SISD/SIMD/MISD/MIMD demeure le cadre conceptuel fondamental pour classifier les architectures d’ordinateurs parallèles. Ce sous-chapitre dissèque cette classification pour éclairer la transition historique des processeurs mono-cœur vers les systèmes multi-cœurs et multi-processeurs contemporains. L’étudiant saisira la distinction structurelle entre un processeur vectoriel et un système MIMD, une connaissance indispensable pour choisir l’approche de parallélisation la plus pertinente en fonction du matériel disponible, qu’il soit de dernière génération ou plus ancien.

I.2 Hiérarchie Mémoire et Problématique de Cohérence du Cache

Sous l’angle de la performance, la vitesse d’un programme parallèle est moins dictée par les cœurs de calcul que par le sous-système mémoire qui les alimente. Ce segment explore en profondeur la pyramide mémoire, des registres aux caches (L1, L2, L3) jusqu’à la RAM, en se focalisant sur le goulot d’étranglement majeur : la latence et la bande passante. L’analyse se concentre sur le protocole MESI (Modified, Exclusive, Shared, Invalid) pour garantir la cohérence des caches, un mécanisme dont la compréhension est vitale pour éviter les erreurs de performance subtiles comme le “false sharing”.

I.3 Lois d’Amdahl et de Gustafson : Bornes Théoriques du Speedup

Formulée par Gene Amdahl en 1967, sa loi énonce une limite pessimiste à l’accélération atteignable par la parallélisation, en raison de la fraction séquentielle inhérente à tout programme. Ce segment confronte cette vision à la loi de Gustafson, plus optimiste, qui postule que la taille du problème peut augmenter avec le nombre de processeurs. L’étudiant apprendra à modéliser mathématiquement le gain de performance (speedup) et l’efficacité d’un algorithme parallèle, lui fournissant un outil analytique implacable pour évaluer a priori la pertinence d’un effort de parallélisation.

I.4 Application : Audit de Performance sur Matériel Hétérogène

Face aux contraintes budgétaires, un centre de calcul en RDC peut être constitué d’un parc de machines hétérogènes. Cette mise en situation pratique consiste à utiliser des micro-benchmarks (comme Stream ou HPL) pour profiler un petit cluster local. L’objectif est de cartographier les performances réelles (bande passante mémoire, latence réseau) pour prendre des décisions éclairées. L’ingénieur saura ainsi justifier s’il est plus rentable d’investir dans une nouvelle machine puissante ou de mieux exploiter le parallélisme sur le parc existant pour une tâche donnée.

Chapitre II. Programmation sur Mémoire Partagée : Le Modèle OpenMP

II.1 Philosophie et Concepts du Modèle “Fork-Join”

D’origine collaborative entre les grands constructeurs, OpenMP incarne une approche pragmatique de la programmation parallèle sur architecture à mémoire partagée. Le modèle repose sur le paradigme “fork-join” : un thread maître génère une équipe de threads pour exécuter une tâche en parallèle, puis attend leur jonction. Cette section analyse la sémantique des régions parallèles et de la portée des données (privées, partagées), socle conceptuel permettant de transformer un code séquentiel en un programme parallèle de manière incrémentale et non-intrusive.

II.2 Directives Pragma, Clauses et Variables d’Environnement

Au-delà des concepts, la puissance d’OpenMP réside dans son interface de programmation (API) basée sur des directives de compilation (#pragma omp). Ce volet technique détaille de manière chirurgicale les directives de partage de travail (for, sections), les clauses de gestion de données (private, shared, reduction) et les constructions de synchronisation (critical, atomic, barrier). L’étudiant apprendra à manipuler cet arsenal pour orchestrer finement le comportement des threads et maximiser l’utilisation des cœurs d’un processeur multi-cœur moderne.

II.3 Analyse Critique : False Sharing, Overhead et Granularité

L’apparente simplicité d’OpenMP masque des pièges de performance redoutables pour le développeur non averti. Cette analyse critique se concentre sur trois démons : le “false sharing”, où des threads modifient des variables distinctes situées sur la même ligne de cache ; l’overhead (surcoût) lié à la création et à la synchronisation des threads ; et le choix de la granularité des tâches. L’étudiant développera une intuition de la performance, apprenant à structurer son code pour minimiser les contentions mémoire et les synchronisations inutiles.

II.4 Mise en Situation : Accélération d’un Traitement d’Images Satellitaires

Pour les besoins de la surveillance agricole ou de l’urbanisme à Kinshasa, le traitement d’images satellitaires est une tâche gourmande mais parallélisable. L’exercice consiste à prendre un algorithme de filtrage d’image (convolution, détection de contours) écrit en C/C++ séquentiel et à le paralléliser avec OpenMP sur un ordinateur de bureau standard. L’objectif est de mesurer le speedup obtenu en fonction du nombre de threads et d’optimiser le code pour éviter les pièges de performance, démontrant un gain tangible sur une application à forte valeur ajoutée locale.

Chapitre III. Programmation sur Mémoire Distribuée : L’Interface MPI

III.1 Le Paradigme du Passage de Messages (Message Passing)

Contrairement à OpenMP, le Message Passing Interface (MPI) est conçu pour les architectures à mémoire distribuée, où chaque processeur possède sa propre mémoire privée. Ce modèle, plus complexe, exige du programmeur qu’il gère explicitement toute communication et synchronisation par l’envoi et la réception de messages. Cette section explore la philosophie sous-jacente des processus communicants séquentiels (CSP) et établit le vocabulaire de base de MPI : communicateurs, rangs et types de données, posant les fondations pour la construction d’applications s’exécutant sur des clusters de calcul.

III.2 API Fondamentale : Communications Point-à-Point et Collectives

Développée depuis les années 90, l’API MPI est un standard robuste et mature. Ce segment se concentre sur le noyau fonctionnel de l’interface, en distinguant radicalement les communications point-à-point (bloquantes avec MPI_Send/MPI_Recv, non-bloquantes avec MPI_Isend/MPI_Irecv) des opérations collectives (MPI_Bcast, MPI_Reduce, MPI_Scatter). La maîtrise de ces primitives est la condition sine qua non pour implémenter des algorithmes distribués efficaces, en choisissant l’outil de communication adapté à la topologie des échanges de données.

III.3 Limites de Scalabilité et Topologies de Communication

Critiquée pour sa verbosité, la principale difficulté de MPI réside dans la gestion de la performance à grande échelle (scalabilité). Ce sous-chapitre analyse les facteurs limitants : la latence et la bande passante du réseau d’interconnexion, ainsi que les goulots d’étranglement créés par des algorithmes de communication naïfs. L’étude des topologies virtuelles (grilles cartésiennes, graphes) est introduite comme une technique avancée pour mapper la communication de l’algorithme sur la topologie physique du cluster, minimisant ainsi les contentions réseau.

III.4 Application : Simulation Distribuée d’un Modèle Hydrologique

Le bassin du fleuve Congo représente un système hydrologique complexe dont la modélisation est cruciale pour la gestion de l’eau et la production d’énergie. Cette étude de cas consiste à paralléliser un modèle de simulation simplifié (équation de Saint-Venant) en utilisant MPI. Le domaine géographique est découpé et distribué sur plusieurs nœuds d’un petit cluster. L’étudiant devra implémenter les échanges de données aux frontières des sous-domaines, démontrant la capacité de MPI à résoudre des problèmes scientifiques de grande envergure sur des infrastructures distribuées.

Chapitre IV. Synchronisation, Concurrence et Prévention des Interblocages

IV.1 Sections Critiques, Conditions de Course et Atomicité

Au cœur de la programmation parallèle se trouve le problème fondamental de l’accès concurrent aux ressources partagées. Cette section définit rigoureusement la notion de “race condition” (condition de course), cet état indéterministe où le résultat d’un calcul dépend de l’ordonnancement imprévisible des threads. Le concept de section critique est introduit comme la portion de code à protéger, et l’atomicité comme la propriété garantissant qu’une opération s’exécute comme une transaction indivisible, pierre angulaire de la correction des programmes concurrents.

IV.2 Mécanismes de Verrouillage : Mutex, Sémaphores et Moniteurs

Concept fondamental formalisé par Edsger Dijkstra, le sémaphore, ainsi que son cas particulier le mutex (verrou d’exclusion mutuelle), constituent les outils de base pour imposer un ordre dans le chaos de la concurrence. Ce segment technique dissèque le fonctionnement de ces primitives de synchronisation, en y ajoutant les variables de condition pour gérer des scénarios d’attente complexes (producteur-consommateur). L’étudiant apprendra à utiliser ces verrous pour protéger les sections critiques et construire des structures de données “thread-safe” robustes.

IV.3 Le Spectre du Deadlock : Détection, Prévention et Évitement

Face au spectre du blocage mutuel (deadlock), où plusieurs processus s’attendent indéfiniment les uns les autres, une approche méthodique est impérative. Ce sous-chapitre analyse les quatre conditions de Coffman qui rendent un deadlock possible (exclusion mutuelle, hold-and-wait, non-préemption, attente circulaire). À partir de ce diagnostic, des stratégies de prévention (en brisant l’une des conditions) et de détection (via des algorithmes de graphe d’attente) sont étudiées, armant le développeur contre l’une des erreurs les plus difficiles à déboguer.

IV.4 Conception d’un Système Robuste pour la Finance Mobile

Dans le contexte africain, les plateformes de mobile money subissent des accès concurrents massifs et opèrent sur des réseaux parfois instables. L’exercice consiste à concevoir le noyau d’un micro-service de transaction (débit/crédit) qui doit garantir l’intégrité des comptes même en cas de requêtes simultanées ou de pannes. L’étudiant devra appliquer les techniques de verrouillage et de prévention des deadlocks pour assurer que le système est non seulement rapide, mais surtout correct et résilient, une compétence cruciale pour le secteur de la fintech.

Chapitre V. Calcul Haute Performance sur GPU : L’Écosystème CUDA

V.1 Architecture SIMT et Modèle de Programmation CUDA

Née de la convergence du jeu vidéo et du calcul scientifique, l’architecture des processeurs graphiques (GPU) offre une puissance de calcul parallèle massive. Cette section introduit le modèle de programmation CUDA (Compute Unified Device Architecture) de NVIDIA, en opposant son paradigme SIMT (Single Instruction, Multiple Threads) au MIMD des CPU. L’étudiant comprendra l’organisation hiérarchique des threads (grilles, blocs, warps) et la philosophie qui consiste à lancer des milliers de threads légers pour traiter des problèmes massivement “data-parallel”.

V.2 Noyaux de Calcul, Gestion de la Mémoire et Streams

La programmation en CUDA C/C++ s’articule autour de la définition de “kernels”, des fonctions exécutées par chaque thread sur le GPU. Ce volet technique se concentre sur l’écriture de ces noyaux et, de manière cruciale, sur la gestion explicite de la hiérarchie mémoire du GPU (globale, partagée, constante). La notion de “streams” est également introduite comme un mécanisme avancé pour superposer les transferts de données entre le CPU et le GPU avec l’exécution des noyaux, une technique essentielle pour masquer la latence et saturer le processeur.

V.3 Goulots d’Étranglement : Divergence de Threads et Transferts PCIe

Malgré leur puissance brute, les GPU présentent des contraintes de performance spécifiques et non-intuitives. Cette analyse se focalise sur deux pièges majeurs : la divergence de threads au sein d’un warp, qui survient lorsque des threads d’une même unité d’exécution empruntent des chemins de code différents et entraîne une sérialisation de l’exécution ; et le goulot d’étranglement du bus PCI-Express, qui limite la vitesse des transferts de données entre la mémoire du CPU et celle du GPU. Optimiser en CUDA revient souvent à minimiser ces deux phénomènes.

V.4 Mise en Situation : Accélération d’un Réseau de Neurones pour le Diagnostic Médical

L’intelligence artificielle, et en particulier l’apprentissage profond, est une application phare du calcul sur GPU. Cette étude de cas propose d’accélérer la phase d’inférence d’un réseau de neurones convolutifs (CNN) pré-entraîné pour la détection de la tuberculose à partir de radiographies pulmonaires. L’étudiant devra porter les opérations mathématiques les plus coûteuses (produits matrice-vecteur, convolutions) sur le GPU via des noyaux CUDA, démontrant une accélération spectaculaire par rapport à une implémentation CPU et illustrant l’impact du HPC sur la santé publique.

ANNEXES

A. GDB (GNU Debugger) pour le Débogage Parallèle

L’ingénieur HPC est confronté à des bugs qui n’existent pas dans le monde séquentiel. Cette annexe fournit un guide opérationnel pour utiliser GDB dans des contextes parallèles complexes. Elle détaille les commandes spécifiques pour lister les threads d’un programme OpenMP (info threads), basculer entre eux (thread <id>) et poser des points d’arrêt conditionnels. Pour MPI, elle explique comment lancer plusieurs instances de GDB simultanément (souvent via un script) pour inspecter l’état de chaque processus et diagnostiquer des erreurs de communication ou des deadlocks distribués.

B. Valgrind (Helgrind/DRD) pour la Détection des Erreurs de Concurrence

Le développeur d’algorithmes parallèles doit garantir la correction de son code face aux conditions de course. Cette annexe présente Valgrind, et plus spécifiquement ses outils Helgrind et DRD (Data Race Detector), comme des instruments d’analyse dynamique indispensables. En exécutant le programme dans un environnement simulé, ces outils détectent avec une précision redoutable les accès non protégés à la mémoire partagée et les erreurs de verrouillage (inversions, double libération). C’est une assurance qualité automatisée contre les bugs de concurrence les plus insidieux.

C. NVIDIA Nsight Systems pour le Profilage de Performance GPU

Le chercheur en architecture informatique ou l’ingénieur en optimisation doit visualiser pour comprendre. Cette annexe se concentre sur NVIDIA Nsight Systems, l’outil de profilage de référence pour l’écosystème CUDA. Il permet de capturer une chronologie unifiée de toutes les activités sur le système : exécution des threads CPU, appels à l’API CUDA, transferts de données sur le bus PCIe et exécution des noyaux sur le GPU. L’analyse de cette frise chronologique visuelle est la méthode la plus efficace pour identifier les goulots d’étranglement et guider les efforts d’optimisation.

Lire aussi :

Cours de Gestion des Déchets et contrôle de la qualité de l'eau en milieu urbain, master-1, GEU2121

Cours de Géomagnétisme et Gravimétrie Terrestre, master-2, GGT2231

Cours de Programmation Web-2, licence-2, PRO1242

Cours de Méthodes et Techniques de Rédaction Scientifique en Informatiques, master-2, MTR2231

Cours de Aménagement des forêts privées et communautaires, master-1, AFC2121

Cours de Projet, master-2, PAP2144