Universita' di Siena - Facolta' di Ingegneria

Corso intensivo per dottorandi di ricerca su stime parametriche e non-parametriche, modelli di Markov nascosti e ibridi neurali/markoviani.

Docente: Edmondo Trentin

Prima giornata: 10 gennaio 2003, dalle 10.30 alle 17.45 (8 ore accademiche). Aula Connolly 2

Seconda giornata: 17 gennaio 2003, dalle 14.15 alle 17.45 (4 ore accademiche). Aula 2B (se occupata, Aula Connolly 2)

 

Prima giornata

Parte 1: pattern recognition
Classificatori Bayesiani; caso notevole: distribuzioni Normali; stime parametriche e non-parametriche supervisionate e non-supervisionate; stime a massima verosimiglianza (caso notevole: misture di Gaussiane); discriminante lineare (algoritmo di Widrow-Hoff); clustering con k-Means.

Testo consigliato: Duda & Hart, "Pattern Classification and Scene Analysis", J. Wiley & Sons, 1973.
Documento scaricabile: E. Trentin, "Rejection and the Equal Error Rate: Principles and a Case Study" (EER.ps), IRST Technical Report, 1994.

Parte 2: modelli di Markov nascosti (HMM)
Introduzione informale; definizione di HMM; i 3 problemi fondamentali degli HMM (calcolo likelihood, riconoscimento e addestramento); soluzioni ai 3 problemi (termini forward e backward, trellis, algoritmo di Viterbi e algoritmo di Baum-Welch); relazione con stime a max. likelihood per misture di Gaussiane e segmental k-Means.

Testo consigliato: L. Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition". In Proceedings of the IEEE, 77(2), pp. 257-286, 1989.
Documento scaricabile: E. Trentin, F. Brugnara, Y. Bengio, C. Furlanello e R. De Mori, "Statistical and neural network models for speech recognition" (Models4ASR.ps). In R. Daniloff (Ed.) Connectionist accounts of clinical and normal language, Hillsdale, N.J.: Erlbaum, 2001.

Seconda giornata

Parte 3: reti neurali
Concetto di rete neurale artificiale; apprendimento supervisionato (algoritmo di Backpropagation); reti ricorrenti (backpropagation through time); stima connessionista di probabilita'; reti competitive e unsupervised learning (relazione con k-Means e stima a max. likelihood per misture di Gaussiane).

Testo consigliato: J. Hertz, A. Krogh e R. Palmer, "Introduction to the Theory of Neural Computation", Addison Wesley, 1991.
Documento scaricabile: E. Trentin, Y. Bengio, C. Furlanello e R. De Mori, "Neural networks for speech recognition" (ANN4ASR.ps). In R. De Mori, editor, Spoken Dialogues with Computers, pages 311-361, London, UK, 1998. Academic Press.

Parte 4: ibridi neurali/markoviani
Limiti di HMM e reti ricorrenti; idea di ibrido; Alpha-net e Viterbi net; reti unsupervised per HMM discreti; estrattori neurali di feature con ottimizzazione globale (Bengio); stimatori neurali di probabilita' per continuous-density HMM (Bourlard & Morgan); segmental neural network; altri approcci.

Testo consigliato e scaricabile: E. Trentin e M. Gori, "A Survey of Hybrid ANN/HMM Models for Automatic Speech Recognition" (HybridsSurvey.ps). Neurocomputing, 37(1-4), pp. 91-126, marzo 2001.


Edmondo Trentin (Tel. 0577-234636)


Back to the DII home page.

(Last updated: Jan 15, 2003)