Universita' di Siena - Facolta' di Ingegneria

A.A. 2008/2009 - Corso di RICONOSCIMENTO DI FORME

Docente: Edmondo Trentin

 


TestI di riferimento:

1. Duda & Hart, "Pattern Classification and Scene Analysis". J. Wiley, 1973 (equivalentemente: Duda, Hart & Stork, "Pattern Classification - Second Edition". J. Wiley, 2001).

2. L. R. Rabiner, "A tutorial on hidden Markov models and selected applications in speech recognition". Proc. of IEEE, vol. 77, no. 2, pp. 257--286, February 1989.

3. E. Trentin & M. Gori, "A survey of hybrid ANN/HMM models for automatic speech recognition". Neurocomputing, 37(1/4); 91-126, March 2001.

4. E. Trentin & M. Gori, "Robust Combination of Neural Networks and Hidden Markov Models for Speech Recognition". IEEE Transactions on Neural Networks, vol. 14, n. 6; 1519-1531, Nov. 2003.

5. C. Bishop, "Neural Networks for Pattern Recognition". Oxford University Press, 1995.

6. C. Bishop, "Pattern Recognition and Machine Learning". Springer, 2006.

Ricevimento: SOLO PER IL II CICLO DIDATTICO martedi' dalle 14.45 alle 16.30 (o su appuntamento, solo se necessario). Si prega di controllare la bacheca elettronica di Facolta' per eventuali variazioni.

Orario lezioni: martedi' 10.15-12.45; mercoledi' 14.30-17.00.

Vista l'eterogeneita' della disciplina e la necessita' di fornire strumenti teorici propedeutici alla comprensione della materia, la frequenza e' vivamente consigliata.


Comunicazioni: consultare la Bacheca elettronica di Facolta'.


Materiale didattico e link utili

Slide in formato PowerPoint della lezione introduttiva.

Nuove slide in formato PDF della lezione su Parzen Neural Networks.

UCI Machine Learning Repository di dataset benchmark con problemi di classificazione e regressione, con documentazione e riferimenti bibliografici.

Package con simulatore software originale di reti neurali per sistema operativo Linux NeuroSimulator.tgz. Salvare il file in una directory dedicata agli esperimenti, entrare nella medesima directory, digitare "tar -xvzf NeuroSimulator.tgz" e digitare infine "ESEGUIMI_SUBITO.exe" per visualizzare la documentazione.

Ambiente sperimentale classificazione IRIS (Anderson/Fisher) (3 classi, 4 feature ridotte a 2, discriminante lineare e MLP, ambiente Linux). Salvare il file in una directory dedicata agli esperimenti, entrare nella medesima directory, digitare "tar -xvzf iris.tgz" e digitare infine "more README.txt" per visualizzare la documentazione. I plot grafici si intendono da eseguire con "gnuplot".

Pagina web con un elenco di simulatori neurali per diversi sistemi operativi commerciali/public-domain e varie architetture neurali.

PROGRAMMA

1. INTRODUZIONE
Esempi di problemi di classificazione. Estrazione di feature e classificatore. Feature numeriche (discrete o continue), simboliche e qualitative. Esempi di estrazione di feature. Funzione discriminante. Approcci intuitivi: linea di separazione, superficie di separazione, caratterizzazione statistica della distribuzione. Classificazione su dati statici e dinamici. Richiamo di elemnti di statistica multivariata. La Normale multivariata.

2. APPRENDIMENTO SUPERVISIONATO

2.1 Teoria Bayesiana delle decisioni
Teorema di Bayes. Rischio Bayesiano, probabilita' di errore, equal error rate. Classificazione: 2-classi vs c-classi. Superfici di separazione. Funzioni discriminanti: il caso notevole della Normale: template matching, classificatori a minima distanza, discriminante lineare.

2.2 Stimatori parametrici
Apprendimento supervisionato. Nozione di stimatore parametrico nel caso supervisionato. Stima a massima verosimiglianza (ML). Stima ML per i parametri della Normale. Validazione e generalizzazione: error rate e equal error rate; training, validation e test set; leave-1-out; many-fold crossvalidation.

2.3 Stimatori nonparametrici
Elementi su density estimation. Metodo della Parzen Window e Kn-nearest neighbor. Algoritmi nearest neighbor (NN) e k-NN. Discriminante lineare di Fisher (fondamenti). Discriminanti lineari (superfici di separazione 2-class/c-class; funzioni discriminanti lineari generalizzate; separabilita' e non-separabilita'; algoritmo di Widrow-Hoff; relazione con i Simple Perceptron); reti neurali artificiali (ANN); MLP e backpropagation; funzioni a base radiale (RBF); universalita'; interpretazioni probabilistiche delle reti neurali; relazioni tra MLP e classificatori Bayesiani; elementi di generalizzazione e regolarizzazione.

3. APPRENDIMENTO NON SUPERVISIONATO
Misture di densita', identificabilita', stima ML unsupervised. Stima ML per misture di componenti Gaussiane. Approccio algoritmico iterativo: algoritmo k-means. Clustering: misure di similarita', ottimizzazione iterativa, clustering partitivo, clustering gerarchico (agglomerativo, divisivo). ANN competitive e loro relazione con k-means; ANN a ML per stima di densita' di probabilita'. Parzen Neural Networks.

4. CLASSIFICAZIONE DI DATI STRUTTURATI E SEQUENZIALI
Esempi, Problemi di bioinformatica su strutture molecolari. Classificatori adattativi di strutture. Sequenze: il problema del riconoscimento del parlato: modello acustico e modello del linguaggio; reti neurali ricorrenti, backpropagation through time, limitazioni. Modelli di Markov nascosti; definizione, i 3 problemi fondamentali, trellis, algoritmi di Baum-Welch e di Viterbi, limitazioni.


Edmondo Trentin (Tel. 0577-234636)


Back to the DII home page.

(Last updated: Jan 19, 2009)