Teoria dei codici e dell'informazione

Docente: Andrea Clementi

Comunicazioni

ESONERO TCI (Risultati)

01-06-2015 10:16

Matricola                 Voto

 

186003                    30/30

 

179450                    30/30

 

178508                  Non Sufficiente

 

186204                   20/30

 

191761                  22/30

 

 

 


PROVA DI ESONERO SCRITTA

10-05-2015 11:33

IN DATA GIOVEDI 28/05, DALLE ORE 14.30 in aula T5, si svolgera' una prova di esonere scritta per il corso di TCI. Gli studenti interessati dovranno necessariamente prenotarsi   inviando una email

al prof. Clementi entro il 21/05.

 

 


Lezioni

2428-05-2015

PROVA DI ESONERO

2326-05-2015

IL Calcolo del Mediano in un vettore non ordinato.

 

L'algortimo Random Sampling.

 

L'analisi dell'errore e del tempo

mediante la disuguaglianza di Chebyshev

2221-05-2015

Il problema dell ordinamento di un vettore.

Il Random Quick Sort.

Analisi del numero medio di confonti mediante la linearita' del valor medio.

IL problema del Min-Cut su Grafi. L'algoritmo randomizzato basato sulla contrazione archi. L'analisi del tempo mediante il teorema di Bayes sulle probabilita' condizionate.

2119-05-2015

Un Algoritmo Randomizzato per la Verifica di prodotti tra matrici

 

definizione, analisi probabilistica dell errore, complessita'

2014-05-2015

I metodi  randomizzati e loro importanza in Computer Science.

 

IL problema della verifica efficiente di identita' polinomiali

 

Metodo Randomizzato

 

Analisi dell'errore

 

 

1912-05-2015

Costruzione randomizzata efficiente di BLC per BSC con Rate  e con errore medio molto vicini al II THM di Shannon: 

Random BLC e Syndrome-Decoding

1805-05-2015

Esercitazione a cura del Dr. Natale

1707-05-2015

 

 

- Costruzione efficiente di Codici Correttori

- Distanza e Spazio di Hamming

- Binary Linear  Codes

- Distanza minima di un BLC

- Inesistenza di BLC con worst-case error e rate ottimali: definizione

di codici perfetti.

 

 

1630-04-2015

- Lemma  Jointly-Typicality.

- Prova del Lemma JT.

- Significato del Lemma JT

- Applicazione del Lemma JT per limitare la prob. di errore della Codifica JT di Shannon.

- Dimostrazione formale del II Thm di Shannon

 

 

1528-04-2015

- Passi fondamentali della dimostrazione del II THM di Shannon (Parte positiva):

scelta random del Codice (sequenze X-Typ),

Decodifica in base alla definizione di JT.

Definizione  dei tipi di possibili tipi di errori.

 

1423-04-2015

- Verifica del II Thm. di Shannon sul canale: Noisy-Typewriter

- Discussione della  dimostrazione della Parte positiva del II THM. di Shannon.

- Def. di Seq. Jointly-Typical

- Esempi di Sequenze JT su BSC.

1321-04-2015

- II Thm. di Shannon

- Discussione del significato del II Thm. di Shannon

- Codifica, Trasmissione e Decodifica a Blocci

- Definizioni di entropia, mutua informazione e rate su trasmissione a blocchi.

- Definizione di Block-Error

- Decodifica Ottimale

- Enunciato formale del II THM di Shannon

1216-04-2015

ESERCITAZIONE  (DR. Natale)

1114-04-2015

Entropia condizionata,

Calcolo della muta informazione in un canale

vari tipi di canali,

esempi sul canale BSC e ZC

Definizione e significato della Capacita' di un Canale

1009-04-2015

Esercitazione sul I thm di Shannon e su

distribuzioni congiunte

 

(Dr. Natale)

902-04-2015

Dimostrazione parte Upper Bound del I Thm di Shannon.

Dimostrazione parte Lower Bound del I Thm di Shannon

Considerazioni finali.

831-03-2015

Enunciato Formale del I Thm. di Shannon.

Concetti e definizioni preliminari per la dimostrazione del Thm.

Esempio nel caso binario. 

Distribuzione Binomiale, Valor Medio e Varianza.

Fig. 4.11 (del Libro)

Definizione formale di sequenze tipiche (con parametro)

Asymptotic Equipartition Principle.

Legge dei grandi numeri

726-03-2015

Esercitazioni sulle ultime due lezioni

(Dr. Natale)

624-03-2015

La compressione dati. a) Lossy Compression (codifica a blocchi) e b) Lossless Compression (codifica a lungh variabile).

Introduzione alla Compressione a.

 

- Insiemi Tipici: Definizione informale mediante la funzione di Entropia su blocchi di 1 simbolo.

Esempio 4.6 (sul libro)

- Codifica di N simboli.

Definizione dell'Insieme di sequenze tipiche.

-Esempio 4.7 sul libro

- Descrizione e discussione del I Teorema di Shannon mediante le figure 4.7, 4.8, e 4.9

517-03-2015

Definizione formale dell'Entropia di una Sorgente Random. Il contenuto informativo di una sorgente. 

Decomposizione dell'Entropia ed esempi. Esempio delle 12 monete.

Il grafico delle Entropia Binaria, Massimo e Minimo valore.

Entropia congiunta di due sorgenti indipendenti.

Entropia di distribuzioni non uniformi. Esempio del sottomarino.

412-03-2015

Esercitazione sulle prime tre lezioni 

(Dr. Natale)

310-03-2015

Cenni ed intuizioni sul II Thm di Shannon: la Capacita' di un canale e l'entropia di una sorgente random

Richiami di Probabilita' discreta:

spazi di probabilita', spazi congiunti, marginali, probabilita' condizionali, indipendenza,  teorema di bayes. Esercizi ed esempi

La probabilita' inversa, il likehood, l'inferenza statistica: esempi

205-03-2015

Calcolo della probabilita' di errore della majority rule per i repetition code ed ottimalita' della rule.

I block code, gli hamming code, la matrice di parita', la sindrome, la correzione dell errore attraverso i dischi, la prob di errore di L(7,4)

103-03-2015

Introduzione alla teoria dell'informazione. Sorgenti random, compressione, trasmissione

Semplici esempi di codici ridondanti, il repetition Code R3 ed il concetto di rate ed errore su un canale binario simmetrico


Materiale didattico

Informazioni

Anno accademico2014-2015
Crediti6
SettoreINF/01
Anno3
Semestre2
PropedeuticitàMatematica discreta. Calcolo delle probabilità.

Programma

Corso di Laurea in Informatica
TEORIA DEI  CODICI E INFORMAZIONE
A.A.   2013-14 (II Semestre)
Prof.  Andrea Clementi
 
PROGRAMMA
 
1.     Introduzione alla Teoria dei Codici e dell'Informazione.
a.     Obiettivi generali
b.     Il ruolo della Probabilità
c.      Modelli Matematici per l'Informazione e la Trasmissione
d.     Modelli di Canale con Errori
e.     Codici per la Trasmissione su Canali; Rate di Trasmissione
f.      Esempi di Codici Correttori: Repetition Codes e Block Codes.
g.     Discussione informale dei risultati di Shannon
      Rif. Bibliografico:  Capitolo 1 di [1]
 
2.     I concetti fondamentali della Teoria dell'Informazione.
a.     Richiami di  Probabilità Discreta
b.     Inferenza Statistica: Il Likelihood
c.      Definizioni di Entropia e di Contenuto Informativo (di Shannon) di una Sorgente di Informazione.
d.     Proprietà utili della funzione Entropia
    Rif. Bibliografico:  Capitolo 3 di  [1]
 
3.     La Compressione  Dati
a.     Variabili Aleatorie particolari: Le Sorgenti di Informazioni
b.     Entropia di una Sorgente
c.      Significato dell'Entropia di una Sorgente
d.     Esempi di Sorgenti e valutazione dell'Entropia
e.     Entropia  di una Sorgente e Compressione del suo Outcome
f.      Compressione con Errore e senza
g.     Compressione di Sequenze di simboli di una Sorgente
h.     Sequenze Tipiche
i.       Il I°  Teorema di Shannon
j.       Dimostrazione del I°  Teorema  di Shannon
  Rif. Bibliografico: Capitolo 4 di [1]
 
4.     Codifica Binaria a Lunghezza Variabile (L.V.) senza Errori
a.     Codifica Univoca,  Codici Prefissi
b.     Il I° Teorema di Shannon per la codifica a L.V.
c.      Esempi di Codici Binari a L.V.
d.     Codifica a L.V.  Ottimale ed i codici di Huffman
   Rif. Bibliografici:  Capitolo 5 di [1].
 
5.     Codifica e Decodifica per Canali di Trasmissione con Errori
a.     Il Modello di Canale attraverso spazi probabilistici congiunti.
b.     Random Variables (R.V.)  Dipendenti
c.      Entropia Congiunta, Condizionata, Marginale di R.V.
d.     Il Concetto di Mutua Informazione I(X,Y)
e.     La Comunicazione su un Canale con Errori
f.      Inferenza dell'Input conoscendo l'Output
g.     Capacità di un Canale
h.     Il II° Teorema di Shannon sui Canali con Errore
i.       Descrizione informale della Dimostrazione
j.       Sequenze Congiuntamente Tipiche
k.     Dimostrazione formale (alcune parti)
       Rif. Bibliografici:  Cap. 9 e 10 di [1]
 
6.     Canali e  Codici Binari 
a.     Correzione di Errori e Distanza di Hamming
b.     Codici Buoni e Cattivi
c.      Codici Perfetti
d.     Codici di Hamming
e.     Non esistenza di Codici Perfetti utili
f.      Codici Lineari Random
g.     Codici Lineari Efficienti per il Canale Binario Simmetrico
Rif. Bibliografici: Cap. 13 e 14 di [1]
 
 
Riferimenti Bibliografici:
David J.C. MacKay. Information Theory, Inference, and Learning Algorithms. Cambridge University Press, Version 7.2 (2005).
 
 Propedeuticità:  Matematica discreta. Calcolo delle probabilità.


Testi di riferimento

D. MacKay

Information Theory, Inference, and Learning Algorithms
Cambridge University Press
ISBN-10: 0521642981
ISBN-13: 978-0521642989


Ricevimento studenti

app.to per email con il docente.

 

clementi@mat.uniroma2.it


Modalità di esame

orale