Obiettivi Formativi

Il corso di Parallel Programming (programmazione parallela) si propone di introdurre gli studenti alla programmazione parallela e distribuita ed alle moderne architetture parallele hardware e software. L’obiettivo principale è dunque formare studenti che al fine del corso siano in grado di progettare e sviluppare soluzioni software in sistemi paralleli e distribuiti tenendo in considerazione l’architettura sottostante.

Learning Goals

The course is an introduction to parallel and distributed programming as well as to hardware and software parallel architectures. The main goal is to train students able to design and develop software systems and architecture for parallel and distributed systems.

Metodi didattici

Lezioni frontali e laboratorio: il corso si svolge prevalentemente attraverso lezioni frontali e seminari su specifici aspetti disciplinari. Parte delle lezioni verteranno su aspetti pratici/di laboratorio, espletato prevalentemente in aula attraverso sessioni “hands on” su propri dispositivi (BYOD – Bring Your Own Device)

Teaching Methods

Front lecturing, seminars and hands on lab (BYOD – Bring Your Own Device)

Prerequisiti

Conoscenze di base relative alle architetture e ai sistemi operativi degli elaboratori elettronici. Buona conoscenza di un linguaggio di programmazione, prevalentemente C. Conoscenze di base di matematica e di statistica.

Prerequisites

Basic knowledge about computer architectures and operating systems. Good knowledge of a programming language, mainly C. Basic knowledge of mathematics and statistics.

Verifiche dell'apprendimento

Elaborazione di un progetto di programmazione parallela, relazione scritta e discussione dei risultati e degli argomenti teorici relativi al progetto.

Assessment

Project with report and discussion of results and related theoretical background.

Programma del Corso

Introduzione al calcolo parallelo. Parallelismo Implicito ed Esplicito. Architetture SIMD e MIMD, memoria condivisa e memoria distribuita. Reti di comunicazione e topologie in sistemi distribuiti. Storage distribuito, RAID, architetture di storage distribuito ed in rete: DAS, NAS, SAN. Speed up ed efficienza di algoritmi paralleli, scaling debole e scaling forte. Decomposizione di algoritmi paralleli, task parallelism e data parallelism, task decomposition graph e task interaction graph, tecniche di decomposizione dei task basati su dati, interazioni, ed altri parametri. Mapping, tecniche di mapping, mapping statico e dinamico. Meccanismi di comunicazione ed aggregazione. Paradigmi shared address space e message passing. Modelli di parallelismo: master-worker, volunteer computing, pipeline computing, dataflow. Principali primitive MPI. Primitive di comunicazione collettiva e loro implementazione ed ottimizzazione. Programmazione parallela attraverso OpenMP. Laboratorio di calcolo parallelo: progettazione e realizzazione di un cluster parallelo. Programmazione MPI-OpenMP

Course Syllabus

Introduction to parallel computing. Implicit and explicit Parallelism. SIMD e MIMD architectures, shared and distributed memory. Speed-up and efficiency of parallel algorithms, strong and weak scaling. Storage systems: RAID, DAS, NAS, SAN. Speedup, Efficiency, Amdhal law. Decomposition and partitioning, task and data parallelism, ask decomposition graph and task interaction graph. Communication models, Shared address space and Message passing paradigms. Task aggregation. Mapping techniques and solutions. Main MPI routines. OpenMP programming. Parallel computing lab: design and implementation of a small parallel cluster. MPI-OpenMP Programming