The traditional speech recognition model is mainly implemented using an acoustic model and a language model. Not only the text answer for the speech data, but phoneme answer and the lexicon dictionary are also needed to train the acoustic model. Therefore several steps, such as generating the correct phoneme answer at the frame level, were required to train a speech recognition model. Recently, an end-to-end speech recognition model consisting of a single integrated neural network model has been proposed to solve such inconvenience. The end-to-end model does not need several training steps and it is easy to understand the structure of the model. But it is difficult to understand how the model recognize speech internally. In this paper, we visualized and analyzed the attention-based end-to-end model to understand how it works internally. We compared the acoustic model of the BLSTM-HMM hybrid model with the encoder of the end-to-end model, and visualized them using t-SNE to analyze the difference between neural network layers. As a result, we found the difference between the acoustic model and the end-to-end model encoder. Additionally, we analyzed the decoder of the end-to-end model from a language model perspective. Finally, we found that the improvement of the end-to-end model decoder is necessary to get higher performance.
전통적인 음성인식 모델은 주로 음향 모델과 언어 모델을 사용하여 구현된다. 이 때 음향 모델을 학습시키기 위해서는 음성 데이터에 대한 정답 텍스트뿐만 아니라 음성인식에 사용되는 단어의 발음사전과 프레임 단위의 음소 정답 데이터가 필요하다. 이 때문에 모델을 훈련하기 위해서는 먼저 프레임 단위의 정답을 생성하는 등의 여러 과정이 필요하다. 그리고 음향 모델과 별도의 텍스트 데이터로 훈련한 언어 모델을 적용하여야 한다. 이러한 불편함을 해결하기 위하여 최근에는 하나의 통합 신경망 모델로 이루어진 종단간(end-to-end) 음성인식 모델이 연구되고 있다. 이 모델은 훈련에 여러 과정이 필요없고 모델의 구조를 이해하기 쉽다는 장점이 있다. 하지만 인식이 내부적으로 어떤 과정을 거쳐 이루어지는지 알기 어렵다는 문제가 있다. 본 연구에서는 어텐션 기반 종단간 모델을 시각화 분석하여 내부적인 작동 원리를 이해하고자 하였다. BLSTM-HMM 하이브리드 음성인식 모델의 음향모델과 종단간 음성인식 모델의 인코더를 비교하고, 신경망 레이어 별로 어떠한 차이가 있는지 분석하기 위해 t-SNE를 사용하여 시각화하였다. 그 결과로 음향모델과 종단간 모델 인코더의 차이점을 알 수 있었다. 또한 종단간 음성인식 모델의 디코더의 역할을 언어모델 관점에서 분석하고, 종단간 모델 디코더의 개선이 성능 향상을 위해 필수적임을 알 수 있었다.
