Capturing semantics scattered across entire text is one of the important issues for NLP tasks. It would be particularly critical with long text embodying a flow of themes. This paper proposes a new text modeling method that can handle thematic flows of text with Deep Neural Networks (DNN) in such a way that discourse information and distributed representations of text are incorporate. Unlike previous DNN-based document models, the proposed model enables discourse-aware analysis of text and composition of sentence-level distributed representations guided by the discourse structure. More specifically, my method identifies Elementary Discourse Units (EDUs) and their discourse relations in a given document by applying Rhetorical Structure Theory (RST)-based discourse analysis. The result is fed into a tree-structured neural network that reflects the discourse information including the structure of the document and the discourse roles and relation types. I evaluate the document model for two document-level text classification tasks, sentiment analysis and sarcasm detection, with comparisons against the reference systems that also utilize discourse information. In addition, I conduct additional experiments to evaluate the impact of neural network types and adopted discourse factors on modeling documents vis-à-vis the two classification tasks. Furthermore, I investigate the effects of various learning methods, input units on the quality of the proposed discourse-aware document model.
텍스트에 흩어져 있는 의미를 포착하는 것은 자연어 처리 과업을 위한 중요 이슈 중 하나이다. 특히, 의미 포착 작업은 주제의 흐름이 존재하는 긴 텍스트에서 더욱 중요하다. 본 학위 논문에서는 문서의 담화 구조 정보와 담화 단위 간의 분산 표상을 이용할 수 있는 심층 신경망 기반의 문서 모델링 기법을 제안한다. 기존의 텍스트 기반 문서 모델링 기법들과 비교하여, 제안하는 방법은 문서의 모델링 과정에서 담화 정보를 고려하므로 학습된 문서 모델이 사용되는 작업에서의 텍스트 분석 이해도를 높이고 더 나아가 자연어 처리 응용의 성능을 개선시킬 수 있다는 장점이 있다. 제안하는 문서 모델링 방법은 크게 세 단계로 이루어져 있는데, 입력 문서에 대해 담화 분석을 수행하여 텍스트를 기본 담화 단위로 분절하고 기본 담화 단위 간에 성립되는 담화 관계를 추출해내는 첫번째 단계, 기본 담화 단위의 분산 표상을 학습하는 두번째 단계, 첫번째 단계에서 산출된 담화 정보와 두번째 단계에서 학습한 기본 담화 단위의 분산 표상을 이용하는 심층 신경망을 이용하여 문서 단위의 분산 표상을 계산해내는 세번째 단계로 이루어져 있다. 제안하는 방법의 성능 평가를 위해서 대표적 문서 단위 자연어 처리 과업인 감성 분석과 비꼼 인식에 제안하는 방법을 통해 학습된 문서 모델을 적용한 뒤 성능을 측정 했으며 기존 연구들과의 성능 비교를 통해 제안 방법의 우수성을 보였다. 또한, 다양한 비교군과의 성능 비교를 통해 제안하는 방법에서 사용하는 신경망의 종류, 고려하는 담화 정보 요소들에 따른 효과와 적합성을 확인했으며, 추가적으로 병합 기반의 텍스트 모델링 기법의 효용성과 그 재료가 되는 텍스트 입력의 단위에 따른 문서 모델링 성능 변화 추이를 알아보기 위한 분석 실험을 진행했다.
