Question Answering (QA), as a next step beyond search engines, has recently emerged as a technology that promises to deliver “answers” instead of “documents”. In spite of significant advances in the QA technology, QA system research has focused on “short answer” questions or factoid questions, for which a single word or short phrase is provided as an answer together with the answer sentence that contains it.
Nowadays, researches have begun to explore for answering more complex questions. Starting from definition questions to more complex questions such as “relationship” questions, attempts to employing high-level inference and domain-specific knowledge. However, the implementation of these systems is expensive as it requires sophisticated linguistic resources and human efforts, that all take time to develop. Meanwhile, hybrid approaches for combing a number of different QA techniques have been de rigueur for many practical applications. However, most multi-strategy based systems assume pre-defined policy to combine individual sub-components collectively so they are hard to adjust to new situation such as when a new component arrives.
This thesis proposes a strategy-driven compositional QA model that provides a framework for answering increasingly complex questions with a variety of atomic level QA modules. The model aims at not only improving performance of a QA system for atomic questions with collaborating QA modules of different sorts but also answering non-atomic, complex questions by composing them with various strategies.
For a user question, answer candidates are first generated by QA modules, which in and of themselves can serve as a QA system in a traditional QA setting, and validated with an appropriate strategy. Given a question, a strategy is chosen with the learning-based classification algorithm we developed. In executing a strategy, multiple QA modules are used in a cooperative fashion. The strategy learning algorithm makes it easy to adopt a new technique as a QA module and extend the strategies.
When the question cannot be answered with a sufficient level of confidence, it is considered a complex question and decomposed into atomic questions that are sent to relevant QA modules. The results from the modules are then combined to generate an answer for the original question. The characteristics of the question determine the strategy by which question decomposition and answer integration are performed. Interactions and collaborations among multiple QA modules in boosting confidence levels for atomic questions and handling complex questions are the key elements of the research.
In the experiment for atomic QA, our strategy learning approach obtained improvements over the simple routing approach by 8.7% in effectiveness and 27.2% in efficiency. Compared with the traditional QA using the same QA modules, the compositional QA system equipped with verification for atomic questions and question decomposition for non-atomic questions shows the best performance improvement of 72.5% in MRR. With the experiment for web documents, we proved the generalizability of the proposed QA model.
질의응답 기술의 비약적인 발전에도 불구하고, 여전히 대부분의 연구들이 “단답형” 질문을 처리하는데 중점을 두고 진행되고 있다. 또한, 다양한 정답 추출기법을 통합하여 질의응답 시스템의 성능을 향상시키기 위한 연구들도 시도되고 있는데, 이들 역시 획일적인 방법으로 정답을 제시하기 때문에 다양한 형태와 복잡도를 갖는 복합 질문들은 처리할 수 없다는 한계가 있다.
본 논문은 다양한 단순 응답 모듈(atomic QA modules)을 조합하여 보다 복잡한 질문을 처리하기 위한 복합 질의응답 모델(compositional QA)을 제안한다. 제안된 모델은 여러 모듈과 협력하여 단순 질문(atomic questions)에 대한 정답을 검증함으로써 정확도 향상을 꾀할 뿐만 아니라, 질문의 특성을 분석하여 그에 맞는 다양한 전략을 수립하여 복합 질문(non-atomic questions)을 해결함으로써 질의 응답 시스템의 응답 범위 확장을 꾀한다.
제안된 질의 응답 모델은 먼저, 사용자 질문을 분석하여 정답 후보를 추출하는데, 이때 주어진 질문에 가장 적합한 전략을 선택하기 위한 학습 기반 전략 수립 기법이 제시되어 있다. 각 전략이 수행되는 동안 다양한 단순 응답 모듈들이 서로 협력하여 사용자의 정보 욕구를 가장 충족할 수 있는 정답을 선택한다. 이러한 방법은 새로운 응답 기술이 적용된 모듈을 자동 학습을 통해 기존 시스템에 수용함으로써 시스템 확장이 용이하다. 또한, 어려운 질문을 해결하기 위하여 복합 질문을 단순 질문들로 분리(decomposition), 적절한 응답 모듈에 전달하고(distribution), 중간 결과들을 다른 모듈들과 주고 받음으로써(interaction), 최종 정답을 통합하여(integration) 제시한다.
실험 결과, 제안된 모델은 기존 질의응답 모델에 비해 최고 72.5%의 성능향상을 보였다. 특히 학습 기반 전략 수집 기법을 통해 기존 통합 방법 대비 정확도 8.7%, 응답 속도 27.2% 향상을 얻을 수 있었다. 제안된 방법을 웹 문서 집합으로 확장 적용시킨 결과에서도 동일한 효과를 보임으로써, 제안된 모델의 범용성(generalizibility)을 증명하였다.
