Abstract

A method to integrate tonal knowledge into phonetic hidden Markov models (HMMs) for use in recognition of speech in tone languages is proposed. Tone segment is introduced, and each phonetic HMM models both the phoneme and the associated tone segment. The observation probability density function (pdf ) of each HMM state is the product of a phonetic feature pdf and a tonal feature pdf. Trainability of the HMMs is maintained by sharing of tonal feature pdf's among different HMMs that model the same tone segment and by sharing of phonetic feature pdf's among HMMs of same phoneme. A simple method that effectively avoids performance degradation due to harmonic pitch errors is also introduced. Results from speaker-independent connected syllable recognition experiments show that the proposed method effectively integrates tonal knowledge into phonetic HMMs.

Zusammenfassung

Es wird eine Methode vorgeschlagen, die Kenntnis der Lautmelodie in phonetische Hidden-Markov-Modelle (HMMs) so zu integrieren, daß sie für die Spracherkennung in Melodiesprachen verwendet werden können. Ein Melodiesegment wird eingeführt, und jedes phonetische HMM modelliert sowohl das Phonem als auch das zugehörige Melodiesegment. Die beobachtete Wahrscheinlichkeitsdichtefunktion (pdf ) jedes HMM-Zustands ist das Produkt einer phonetischen Merkmals-pdf und einer Melodiemerkmals-pdf. Die Trainierbarkeit der HMMs bleibt dadurch erhalten, daß über verschiedene HMMs, die dasselbe Melodiesegment modellieren, eine gemeinsame Melodiemerkmals-pdf verwendet wird und über HMMs des gleichen Phonems die gemeinsame phonetische Merkmals-pdf verwendet wird. Es wird eine einfache Methode eingeführt, die effektiv eine Verschlechterung der Leistungsfähigkeit durch harmonische Grundtonfehler vermeidet. Ergebnisse aus Erkennungsexperimenten mit sprecherunabhängigen zusammenhängenden Silben zeigen, daß die vorgeschlagene Methode die Melodiekenntnisse effizient in phonetische HMMs einführt.

Résumé

Nous proposons une méthode pour intégrer la connaissance tonale dans des modèles de Markov cachés (HMM) phonétiques pour un usage en reconnaissance de la parole pour des langages tonals. Nous introduisons le segment de tons et chaque HMM phonétique, à la fois le phonème et le segment de ton associé. La fonction densité de probabilité (pdf ) des observations est le produit de la pdf phonétique et de la pdf tonale. La capacité d'entraîner les HMM est maintenue par le partage les pdf des attributs tonals sur différents HMM qui modélisent le même segment tonal et par le partage des pdf d'attributs phonétiques du même phonème. Nous introduisons aussi une méthode simple qui évide de façon efficace la dégradation de performance due aux erreurs de tons harmoniques. Des résultats d'expériences de reconnaissance de syllabes connectées indépendantes du locuteur montrent que la méthode proposée intègre de façon efficace l'information tonale dans les HMM phonétiques.

Author Keywords: Speech recognition; Tone; Tone language; HMM

Article Outline

1. Introduction

2. Integration of tonal knowledge

2.1. Tone segment

2.2. HMM modeling

3. Experimental results

3.1. Speech data

3.2. Feature analysis

3.3. HMM structure

3.4. Pitch normalization

3.5. Some training issues

3.6. Mitigation of harmonic pitch errors

3.7. A conventional recognition method for comparison

3.8. Recognition results

4. Conclusions

References

Corresponding author. Tel.: +66-2-524-6575, fax: +66-2-524-5730; email: tca68358@ait.ac.th