A knowledge base is a database in which facts and rules from general common sense to expertise are structured and stored in a form that machines can understand. A representative method for expanding knowledge in the knowledge base is knowledge extraction, a method of obtaining knowledge from text. However, knowledge extraction is a difficult task because it is necessary to understand the rules of the knowledge base and the given text at the same time. Therefore, errors often occur in the results of knowledge extraction. In this study, we present points to consider when designing a knowledge extraction module or verifying the extracted knowledge by classifying and analyzing errors that may occur in the knowledge extraction results by type. Using this analysis, this study constructed a system to detect errors in knowledge extraction using rule-based and learning-based methods. As a rule-based method, it was verified using domain, range, and functional characteristic of property. In order to apply rule-based verification to a wider range, Property's domain, range, and functional characteristic were newly defined, and a method of assigning a type to Entity was suggested. As a result, 45.64% of false-positives were found in the knowledge extraction results. As a learning-based method, the representation of the knowledge extraction source text and the representation of the extracted knowledge triple were created and compared, respectively, referring to the technique used in natural language inference, and the accuracy was 79%.
지식베이스는 일반 상식부터 전문 지식까지 사실 및 규칙 등이 기계가 이해할 수 있는 형태로 구조화되어 저장되는 데이터베이스이다. 지식베이스에 지식을 확장하기 위한 대표적인 방법으로는 텍스트에서 지식을 얻는 방법인 지식 추출이 있다. 하지만 지식 추출은 지식베이스의 규칙과 주어진 텍스트를 동시에 이해해야 하는 어려운 태스크이기 때문에 지식 추출의 결과에는 오류가 자주 발생하고 있다. 본 연구에서는 지식 추출에서 발생할 수 있는 오류를 유형별로 분류 및 분석하여 지식 추출 모듈을 설계하거나 추출된 지식을 검증할 때 고려해야 할 점을 제시한다. 이 분석을 이용하여 본 연구에서는 규칙 기반 방법과 학습 기반 방법으로 지식 추출의 오류를 발견하는 시스템을 구성하였다. 규칙 기반 방법에서는 프로퍼티의 정의역과 치역 및 함수적 특징을 이용하고, 더 넓은 범위에 규칙 기반 검증을 적용하기 위해 프로퍼티의 정의역, 치역, 함수적 특징을 추가적으로 정의하고 타입이 없는 개체에 타입을 부여하는 방법을 제시하였다. 그 결과 지식 추출 결과 중 45.64%를 거짓 양성으로 발견할 수 있었다. 학습 기반 방법으로는 자연언어추론에 사용된 기법을 참조하여 지식 추출 대상 텍스트와 추출된 지식 트리플의 표상을 각각 만들어 비교하는 방식을 이용하였고, 79%의 정확도를 보였다.
