Relation extraction is a work that inferring semantic relations of two entities identified in natural language text. The extracted relation is saved in the knowledge base in triple form. The knowledge base is widely used in the field of Natural Language Processing, such as Question-and-Answering systems and Information Retrieval. Therefore, research to augment Knowledge Base through various methods of relation extraction is essential. Distant Supervision data, used to train machine learning based relation extraction models, can be obtained by annotating a predefined Knowledge Base to the target corpus. With this method, we can easily obtain data, but it has the disadvantage of having many errors. In this paper, we propose an improved method in the methodology of handling error data through existing reinforcement learning based relation extractor. The existing reinforcement learning based relation extraction could not overcome the limitations of the performance of the relation extractor itself since it reflected the reward for its agent dependent on relation extractor. In this study, we propose to supplement the limits of performance of the relation extractor by adding reward independent to relation extractor to the agent. In addition, because of the characteristic of a defined knowledge base, there are cases where multiple relations are classified in distant supervision data. In this case, the agent cannot get the optimal reward at a specific state. To improve this, this study presents a way to obtain the optimal reward for each state by separating the state by relation.
관계추출이란 텍스트상에서 밝혀진 두 개체의 의미적 관계를 유추하는 작업으로, 추출된 관계와 두 개체는 삼항관계를 이루어 지식베이스에 저장된다. 지식베이스는 자연언어 처리의 응용 분야인 질의응답 시스템, 정보 검색 등에 널리 쓰이므로 다양한 관계추출법을 통해 지식베이스를 증축시키는 연구는 필수적이다. 기계학습 기반의 관계추출기를 학습하기 위해 사용하는 원격지도 학습데이터는 미리 정의된 지식베이스를 대상 말뭉치에 주석함으로써 얻을 수 있는데, 이러한 방법은 데이터를 쉽게 얻을 수 있으나, 오류가 많다는 단점이 있다. 본 논문에서는 기존의 강화학습 기반의 관계추출기를 통해 이러한 오류 데이터를 처리하는 방법론에서 개선된 방안을 제안하고자 한다. 기존의 강화학습 기반의 관계추출기는 원격지도 학습데이터의 오류를 판별하는 에이전트에 관계추출기에 의존적인 보상을 반영함으로써 관계추출기 자체가 가지고 있는 성능의 한계를 벗어나기 어려웠다. 본 연구에서는 관계추출기에 독립적인 보상을 에이전트에 부가함으로써 관계추출기가 가지고 있는 성능의 한계를 보완하는 방법을 제안한다. 또한 정의된 지식베이스의 특성에 따라 원격지도 학습데이터에 중복으로 관계가 주석되는 경우로 인해 에이전트가 특정 상황에 대해 최적의 보상을 구하지 못하는 문제가 발생하는데, 이를 개선하기 위해 본 연구에서는 관계별로 상황을 분리해줌으로써 각 상황에 대해 최적의 보상을 구하는 방법을 제시한다.
