Numerical reasoning over text is a challenging subtask in question answering (QA) that requires both the understanding of texts and numbers. However, existing language models that are often used as encoders in these numerical reasoning QA models tend to overly rely on the pre-existing parametric knowledge instead of relying on the given context to interpret such numbers in the given text. Our work proposes a novel attention masked reasoning model, the NC-BERT, that learns to leverage the number-related contextual knowledge to enhance the numerical reasoning capabilities of the QA model. The empirical results suggest that understanding of numbers in their context, and refining numerical information in the number embeddings lead to improved numerical reasoning accuracy and performance in DROP, a numerical QA dataset.
지문 내에서의 수치추론은 질의응답 (Question Answering; QA)의 한 분야로써 문자와 숫자에 대한 이해를 필요로 한다. 현존하는 질의응답 모델 내에서 인코더로서 빈번히 활용되는 BERT와 같은 언어 모델들은 다음과 같은 문제점을 보인다: 숫자가 나타나는 지문의 문맥적 지식을 활용하는 것이 아닌, 기학습 (Pre-training) 단계에서 숫자 임베딩 내에 학습된 파라메트릭 지식에 과의존 하는 경향이다. 이 논문은 숫자와 관련된 문맥지식을 효과적으로 활용하는 새로운 어텐션 마스킹 방법을 적용한 NC-BERT (Numerical-Contextual BERT) 를 제안하여, 질의응답 모델의 수치추론 능력을 개선시킨다. 본 연구는 DROP 데이터셋을 기반으로 실험을 진행하며, 실험 결과를 통해 주어진 문맥에 따라서 숫자를 해석하는 것과 숫자 임베딩 내의 수치정보를 보존하는 것이 수치추론 정확도를 개선하는데 중요하다는 점을 보인다.
