Obiettivi Formativi

Acquisizione e comprensione delle diverse caratterizzazioni del suono e delle immagini nel dominio del tempo, nonché nel dominio della frequenza e delle loro interrelazioni, acquisizione e comprensione della percezione umana del suono e delle immagini, acquisizione e comprensione dei principi e delle tecnologie degli algoritmi di compressione per suoni e immagini e loro applicazione in un sistema digitale, conoscenza dei principi e delle tecnologie di numerosi standard importanti e dei loro scenari applicativi tipici. Acquisizione delle competenze per combinare le conoscenze precedenti in matematica, statistica e programmazione con nuove teorie per risolvere problemi pratici nell'elaborazione di suoni e immagini; acquisizione delle competenze per comprendere i diagrammi a blocchi per schemi di compressione per sistemi audio e di immagini e le competenze per comprendere la decomposizione del segnale, la quantizzazione e la codifica. Favorire lo sviluppo di un'autonomia di giudizio, discutendo criticamente le tematiche analizzate durante il corso al fine di acquisire la capacità di elaborare in modo autonomo le proprie idee e considerazioni. Sviluppo di un'adeguata autonomia dei giudizi sull'elaborazione del segnale multimediale all'interno dei sistemi multimediali oltre alla capacità di comunicare in modo efficiente il proprio pensiero critico, usando un linguaggio tecnico valido. Acquisire un metodo di studio individuale adeguato a consentire l'approfondimento delle conoscenze e ad affrontare ulteriori tematiche avanzate o settoriali.

Learning Goals

Acquring and understanding of the different characterizations of sound and images in the time domain as well as in the frequency domain and their interrelationships, acquisition and understanding the human perception of sound and images, acquisition and understanding the principles and technologies of compression algorithms for sounds and images and their application in a digital system, knowledge of the principles and technologies of several important standards and their typical application scenarios. Acquiring the skills to combine previous knowledge within mathematics, statistics and programming with new theory to solve practical problems within sound and image processing; acquisition of the skills to understand block diagrams for compression schemes for sound and image systems and the skills to understand signal decomposition, quantization and coding. Development of an adequate autonomy of judgements of multimedia signal processing within multimedia systems. Acquiring the ability of efficiently communicate own critical thinking, using a sound technical language. Acquire an individual studying method suitable to allow the deepening of knowledge and to face further advanced or sectoral themes.

Metodi didattici

Il corso, al fine di raggiungere gli obiettivi formativi previsti, si svolge prevalentemente attraverso lezioni frontali. Sono inoltre previste esercitazioni utilizzando l’ambiente MATLAB e i DSP Starter Kit (DSK) della TI. Gli studenti sono invitati a svolgere in gruppo esercitazioni guidate con il supporto dall’insegnante, con lo scopo di stimolare l’approccio ai problemi con autonomia e senso critico. Tutte le attività sono svolte con supporto di slide delle lezioni.

Teaching Methods

The course, in order to achieve the expected objectives, mainly takes place through lectures. There are also practical based lessons using MATLAB and TI DSP Starter Kit. Students in groups are invited to carry out guided exercises independently with the support of the teacher, with the aim of stimulating the approach to problem solving with autonomy and critical thinking. All activities are carried out with the support of lecture slides.

Prerequisiti

Conoscenza di base sulla teoria dell'elaborazione dei segnali; conoscenza dei principi di base della teoria della probabilità e dei segnali casuali; elementi di programmazione.

Prerequisites

Basic knowledge about the signal processing theory; basic knowledge about probability theory and of random signals; computer programming skills.

Verifiche dell'apprendimento

L'esame consiste nella progettazione e realizzazione di un semplice sistema di elaborazione di segnali multimediali e di una prova orale. La prova orale è incentrata sulla discussione del semplice project work precedentemente assegnato. Ha il duplice scopo di verificare il livello di conoscenza e comprensione dei contenuti del corso e di valutare la capacità di progettare e realizzare un semplice sistema di elaborazione del segnale digitale mediante MATLAB o DSK. Il voto finale è espresso in trentesimi e tiene conto della qualità del project work e della qualità dell'esposizione durante la prova orale.

Assessment

The exam consists of the design and implementation of a multimedia signal processing simple system and of an oral test. The oral test focuses on the discussion of the simple project work previously assigned. It has the dual purpose of verifying the level of knowledge and understanding of the course contents and to evaluate the ability to design and to implement a simple digital signal processing system by means of MATLAB or DSK. The final grade is expressed out of thirty and takes into account the quality of the project work and the quality of the exposition during the oral exam.

Programma del Corso

- INTRODUZIONE AI SISTEMI MULTIMEDIALI E ALL’ELABORAZIONE DEI SEGNALI MULTIMEDIALI - ELABORAZIONI E RICONOSCIMENTO DEL SEGNALE VOCALE: analisi del segnale vocale, sintesi del segnale vocale, riconoscimento del segnale vocale e interfaccia uomo macchina attraverso il segnale vocale - TECNICHE DI COMPRESSIONE AUDIO: codifica lineare predittiva, predizione lineare ad eccitazione di codice (CELP), predizione lineare ad eccitazione multibanda (MELP) - ELABORAZIONE DELLE IMMAGINI E FOTOGRAFIA DIGITALE: coordinate dei colori, percezione visiva, miglioramento e filtraggio delle immagini e fotografia digitale - TECNICHE DI COMPRESSIONE DELLE IMMAGINI : codifica predittiva, trasformata discreta coseno (DCT) e codifica di sottobande - TECNICHE DI COMPRESSIONE VIDEO: standard di compressione video: MPEG1/2, H261/H263, e MPEG-4/7 - APPLICAZIONI MULTIMEDIALI: interazione uomo-macchina, ricerca/riconoscimento automatico di segnali multimediali, sicurezza dei segnali multimediali - STARTER KIT (DSK) PER DIGITAL SIGNAL PROCESSOR (DSP): strumenti di supporto per DSK, Code Composer Studio (CCS), files di supporto per DSK - ARCHITETTURA E INSIEME DI ISTRUZIONI DEL PROCESSORE TMS320C6X: l’architettura del TMS320C6x, unità funzionali, prelievo ed esecuzione di un pacchetto di istruzioni parallele, pipelining, registri, modalità di indirizzamento lineare e circolare, insieme di istruzioni del TMS320C6x, direttive dell’assemblatore, istruzioni assembly all’interno del codice C, funzioni C richiamabili dal codice assembly, temporizzatori, interruzioni, porti seriali bufferizzati multicanale, accesso diretto in memoria, formato a virgola fissa e mobile dei dati, esempi di programmi utilizzando i linguaggi C e Assembly - ELABORAZIONE DEI SEGNALI IN TEMPO REALE USANDO MATLAB E I DIGITAL SIGNAL PROCESSORS DELLA FAMIGLIA TMS320C6X: campionamento e ricostruzione, Talk-Through, algoritmi FIR e IIR, genarazione di segnali periodici, elaborazione digitale del segnale basata su frame, trasformata di Fourier veloce (Fast Fourier Transform - FFT), analisi spettrale e finestratura

Course Syllabus

- INTRODUCTION TO MULTIMEDIA SYSTEMS & MULTIMEDIA SIGNAL PROCESSING - SPEECH PROCESSING & RECOGNITION: Speech analysis, speech synthesis, speech recognition and speech-enabled human-computer interface - AUDIO COMPRESSION TECHNIQUES: Linear predictive coding (LPC), code- excited linear prediction (CELP), multiband excitation linear prediction (MELP) - IMAGE PROCESSING & DIGITAL PHOTOGRAPHY: Color coordinates, visual perception, image enhancement and filtering and digital photography - IMAGE COMPRESSION TECHNIQUES: Predictive coding, discrete cosine transform (DCT) and subband coding - VIDEO COMPRESSION TECHNIQUES: Video compression standards: MPEG-1/2, H261/H263, and MPEG-4/7 - MULTIMEDIA APPLICATIONS: Human-computer interaction, Multimedia Retrieval, Multimedia security - STARTER KIT (DSK) PER DIGITAL SIGNAL PROCESSOR (DSP): DSK Support Tools, Code Composer Studio, Support Files - ARCHITECTURE AND INSTRUCTION SET OF THE TMS320C6X PROCESSOR: TMS320C6x Architecture, Functional Units, Fetch and Execute Packets, Pipelining, Registers, Linear and Circular Addressing Modes, TMS320C6x Instruction Set, Assembler Directives, Linear Assembly, ASM Statement Within C, C-Callable Assembly Function, Timers, Interrupts, Multichannel Buffered Serial Ports, Direct Memory Access, Memory Considerations, Fixed- and Floating-Point Format, Programming Examples Using C, Assembly, and Linear Assembly - REAL TIME DIGITAL SIGNAL PROCESSING WITH MATLAB AND THE TMS320C6X DSPS: Sampling and Reconstruction, Talk-Through, FIR and IIR Algorithms, Periodic Signal Generation, Frame-Based DSP, Digital Filters Using Frames, The Fast Fourier Transform, Spectral Analysis and Windowing