BERT, a deep bidirectional transformer architecture, builds a language model that achieved the state-of-art performance in several general NLP tasks, mainly due to its self-attention mechanism that captures rich, context-sensitive word and sentence semantics from a large corpus. However, a task like news search can be sensitive to a change of word meanings arising after a major event (e.g. the meaning representation of \Las Vegas" after the shooting event). In order to capture such changes and generate a search-oriented language model, we propose two di erent language models. Our rst model applies the global term weighting scaling to the embedding layer so that the new BERT model can capture more relevant relationships than before. We also proposed a new relevance-based attention head method that attempts to incorporate user relevance decision and hence perspective changes reected in click-through data. Based on a series of experiments, we show that our second model can capture relevance relationship between words better and give superior retrieval performance in news retrieval.
BERT는 깊은 쌍방향 트랜스포머 구조를 활용한 언어 모델로 자기중심 어텐션 기법을 활용하여 말뭉치 내 단어들의 의미를 학습한다. 이렇게 학습한 의미를 바탕으로 BERT는 여러 개의 자연어처리 과업에서 최고 성능을 달성했다. 하지만, 일반적인 자연어처리 과업과 달리 뉴스 검색과 같이 시간에 높은 의존도를 갖는 과업의 경우 특정 사건이 일어날 때마다 단기간 내에 단어들 사이의 의미 관계가 변화할 수 있기 때문에 조금 특별한 단어들의 의미 관계 학습이 필요할 수 있다. 예를 들어 라스베이거스 총격 사건 이후, 라스베이거스와 총기라는 단어 사이의 관계는 단기간 굉장히 가까워질 것이다. 본 논문에서는 이러한 사건에 따라 단기간 동안 변화하는 단어 관계를 반영할 수 있는 두 가지 검색용 언어 모델을 제안한다.
첫 번째 모델은 전역 말뭉치를 바탕으로 계산하는 각 단어의 웨이팅 기법을 임베딩 레이어에 적용하여 언어 모델이 좀 더 쉽게 단어 사이의 관계 변화를 파악할 수 있게 한다. 두 번째 언어 모델은 이 논문에서 새롭게 제안하는 관계 중심의 어텐션 기법을 활용한다. 관계 중심의 어텐션 기법은 검색 기록을 바탕으로 단어 간 관계에 대한 사용자들의 관점 변화를 관측하고 이러한 단어 사이에 어텐션을 주는 방식으로 작동하며, 이를 통해 언어 모델이 단어 간 관계의 변화를 쉽게 파악할 수 있게 한다.
