Research in automatic speech recognition (ASR) has been investigated for almost four decades. Especially, the methodology of hidden Markov models (HMMs) proposed in early 1980s, and artificial neural networks (ANNs) introduced in the late 1980s, have become major tools for speech recognition.
The HMMs are widely used due to a natural and highly reliable way of recognizing speech for a wide range of applications. However the models have some limitations from the strong constraints: 1) the non-discriminative training/decoding criterion such as the maximum likelihood measure, 2) arbitrary assumptions on the parametric form of probability distribution, and 3) high sensitivity to environmental conditions due to the lack of generalization. On the other hand, connectionist architectures have recently been recognized as an alternative tool for pattern classification and speech recognition problems. Their main properties are their discriminant power and capability to learn and represent implicit knowledge. However, neural networks to date are still not well-suited for dealing with time-varying input patterns and segmentation of sequential inputs.
In this sense, an idea of combining HMM and ANNs within a single, novel model, broadly known as hybrid HMM/ANN, has been suggested. This thesis suggest a work in this direction, are new method of combining HMM and radial basis function network (RBFN), one of regression models in ANNs. The suggested model is trained to estimate the posterior emission probabilities of HMM states for the given an acoustic observation sequence. For the training of this model, a two-phase discriminative training technique is used to optimize the RBF parameters. In the first phase of training, the hybrid system is trained by the RLS algorithm, optimizing a mean squared error (MSE) function for the desired and actual posterior emission probabilities. This results in an approximation of posterior emission probabilities of HMM states. In the second phase of training, the misclassification rate of the hybrid classifier is approximated by the minimum classification error (MCE) objective function, which is finally optimized by the generalized probabilistic descent (GPD) algorithm and results in a classifier with minimum error probability.
Through the simulation for speech recognition, we have demonstrated that the suggested method gives the discriminative training and improves the performance over standard HMMs. The suggested method can be easily applied to various types of speech recognition problems with improved performance over standard HMMs.
자동 음성인식에 대한 연구는 약 40년 동안 다양한 방법을 통해 시도되었다. 특히, 1980년대 초반에 시작된 은닉마르코프 모델(HMM)과 인공신경회로망(ANN)은 현재까지 음성 인식의 중요한 도구로 사용된다.
은닉마르코프 모델은 음성을 인식하는 자연스런 방식으로 인해, 여러 응용분야에 폭넓게 이용되지만, 그 강한 조건- 1)maximum likelihood 와 같은 식별력이 없는 criterion의 사용, 2)확률 분포에 대한 임의의 가정, 3)일반화의 결핍으로 인한 환경 조건에의 민감성-으로 인해, 어느 정도 한계를 지닌다. 한편, ANN은 패턴 분류와 음성인식문제에 대한 대안적인 도구로 인식되어 왔다. 그 주요 성질은 내포된 지식을 표현하고 학습하는 뛰어난 학습 능력이다. 하지만, ANN은 여전히, 시간에 따라 변화하는 입력패턴을 다루는 데엔 적절하지 않다.
이러한 의미에서, 단일 혹은 다중 모델로 HMM과 ANN을 결합하는 아이디어가 제안되었다. 그러한 방향으로, 이 논문은 ANN의 한 기법인 RBFN과 은닉마르코프모델을 결합한 새로운 모델을 제안한다. 제안된 모델은 음성의 관찰 수열이 주어졌을 때 마르코프 모델의 사후방출확률을 평가하기 위해 학습된다. 이 모델의 학습을 위해, 두 단계의 학습기법이 사용된다. 첫 번째 학습 단계에서 결합 시스템은 사후방출확률의 실제값과 목표값의 제곱오차함수를 최적화시키도록 RLS 알고리즘에 의해 학습된다. 이 결과 HMM state의 사후 확률을 최적화시킬 수 있다. 두 번째 학습 단계에서는 잘못 분류되는 비율을 낮추도록 GPD 함수를 이용하여 최적화시킨다. 그 결과 최소의 오차 확률을 갖는 모형을 얻게 된다.
음성 인식에 대한 실험을 통해, 우리는 제안된 방법이 식별력을 갖추도록 학습을 하며, 표준 HMM보다 향상된 수행을 함을 보였다. 제안된 방법은 표준 HMM보다 향상된 수행능력으로 음성 인식의 다양한 형태에 쉽게 적용할 수 있다.
