Recent advances in deep learning has been leading the development of various methods in higher level technology. Natural Language Processing is one of the areas that has made noticeable achievements through deep learning, especially in machine translation and chatbot algorithms. According to literature, many of the current technologies take advantage of the LSTM architecture to take words sequence by sequence in order to generate sentences. However, many of the current state-of-the-art models have the problem of not being able to process dialogues of more than 2 sequences due to limitations in the architecture. In this paper, we propose an end-to-end dialogue system model that is capable of processing up to 3 sequences of dialogues. We use this dialogue system to extract raw sentence representations, and engineer the raw features with an unsupervised learning method. As a result, we’ve shown that using sentence-level features help increase the overall performance of a non-goal-oriented dialogue system.
최근 딥러닝의 발전으로 인하여 이전에는 풀 수 없었던 어려운 과제들을 딥러닝으로 해결할 수 있게 되었다. 시간의 흐름에 따라 변하는 데이터를 처리하는 데에 유용한 순환신경망, 특히 롱 쇼트-텀 메모리 신경망의 개발로 인하여 기계학습으로는 풀 수 없을 것 같았던 자연어처리 문제들도 해결이 가능해지고 있다. 본 연구에서는 LSTM 인코더-디코더 구조를 이용한 대화 시스템 모델을 발전시켜 사용자와 시스템 사이에 여러 번의 대화가 오가도 자연스러운 대답을 할 수 있는 알고리즘 개발을 목표로 하였다. 이를 위해 학습이 완료된 대화 시스템에서 문장 단위의 특성을 추출하고, 가공한 문장 단위의 특성을 추가적으로 학습에 사용하기 위해 LSTM 인코더-디코더 구조와 VAE 구조를 결합하는 새로운 모델을 개발하였다. 그 결과, 문장 단위의 특성을 사용하는 것이 대화 시스템의 성능을 향상시키는 데에 도움을 준다는 것을 확인하였다.
