In this work we address the problem of creating relational word-pair embeddings, which represent relations between word pairs as a compositional function between two words. Word-pair embeddings are useful for downstream NLP tasks, such as NLI, where knowledge about a relation between individual words is critical in inferring a relation between two pieces of text. We propose a novel method for limiting pairs to those in close proximity as a way of reducing the computation time significantly while maintaining or improving the quality. In addition, we propose to incorporate external knowledge from hierarchical sources (such as WordNet) alongside such embeddings so that not only syntagmatic relations but also paradigmatic relations are reflected. We test the proposed methods with MNLI and FEVER datasets.
본 연구에서는 두 단어 간 관계를 나타내는 관계기반 단어쌍 임베딩을 생성하는 문제를 다룬다. 단어쌍 임베딩은 다양한 자연어처리 과업들에 유용한데, 특히 두 문장 간의 함의 관계를 결정하는 자연어추론의 경우 개별 단어간의 관계에 대한 지식이 두 문장의 관계를 유추하는데 매우 중요하다. 본 연구에서는 단어 쌍 임베딩을 자연어추론에 활용하는데 있어 유용성을 저하시키지 않으면서 계산 시간을 크게 단축하는 방법으로 근접한 단어 쌍만을 활용하는 새로운 방법을 제안하였다. 또한, 단어간의 구문적인 관계뿐만 아니라 패러다임적 관계가 단어쌍 임베딩에 반영되도록 WordNet과 같은 계층적 정보를 담은 외부지식을 통합할 것을 제안하였다. 제안한 기법들은 MNLI 및 FEVER 데이터셋을 통해 그 유효성이 검증이 되었다.
