Universita' di Siena - Facolta' di Ingegneria

Scuola di Dottorato di Ricerca

"Modelli statistici, neurali e ibridi per il riconoscimento di forme e di dati sequenziali"

Docente: Edmondo Trentin

Periodo: 7-8-10-11 luglio 2003, dalle 10.00 alle 13.00. Sala Meeting c/o Centro S. Chiara

 

1. Riconoscimento di forme
Classificatori Bayesiani; caso notevole: distribuzioni Normali; stime parametriche e non-parametriche supervisionate e non-supervisionate; stime a massima verosimiglianza (caso notevole: misture di Gaussiane); discriminante lineare (algoritmo di Widrow-Hoff); clustering con k-Means.

Testo consigliato: Duda & Hart, "Pattern Classification and Scene Analysis", J. Wiley & Sons, 1973.
Documento scaricabile: E. Trentin, "Rejection and the Equal Error Rate: Principles and a Case Study" (EER.ps), IRST Technical Report, 1994.

2. Reti neurali
Concetto di rete neurale artificiale; apprendimento supervisionato (algoritmo di Backpropagation); reti ricorrenti (backpropagation through time); stima connessionista di probabilita'; unsupervised learning e ascesa del gradiente a max. likelihood; problema della divergenza.

Testo consigliato: J. Hertz, A. Krogh e R. Palmer, "Introduction to the Theory of Neural Computation", Addison Wesley, 1991.
Documento scaricabile: E. Trentin, Y. Bengio, C. Furlanello e R. De Mori, "Neural networks for speech recognition" (ANN4ASR.ps). In R. De Mori, editor, Spoken Dialogues with Computers, pages 311-361, London, UK, 1998. Academic Press.

3. Modelli di Markov nascosti (HMM)
Introduzione informale; definizione di HMM; i 3 problemi fondamentali degli HMM (calcolo likelihood, riconoscimento e addestramento); soluzioni ai 3 problemi (termini forward e backward, trellis, algoritmo di Viterbi e algoritmo di Baum-Welch); relazione con stime a max. likelihood per misture di Gaussiane e segmental k-Means.

Testo consigliato: L. Rabiner, "A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition". In Proceedings of the IEEE, 77(2), pp. 257-286, 1989.
Documento scaricabile: E. Trentin, F. Brugnara, Y. Bengio, C. Furlanello e R. De Mori, "Statistical and neural network models for speech recognition" (Models4ASR.ps). In R. Daniloff (Ed.) Connectionist accounts of clinical and normal language, Hillsdale, N.J.: Erlbaum, 2001.

4. Ibridi neurali/markoviani
Limiti di HMM e reti ricorrenti; idea di ibrido; Alpha-net e Viterbi net; reti unsupervised per HMM discreti; estrattori neurali di feature con ottimizzazione globale (Bengio); stimatori neurali di probabilita' per continuous-density HMM (Bourlard & Morgan); segmental neural network; altri approcci.

Testo consigliato e scaricabile: E. Trentin e M. Gori, "A Survey of Hybrid ANN/HMM Models for Automatic Speech Recognition" (HybridsSurvey.ps). Neurocomputing, 37(1-4), pp. 91-126, marzo 2001.


Edmondo Trentin (Tel. 0577-234636)


Back to the DII home page.

(Last updated: Jul 9, 2003)