Offensive language exchanged between chatbots and human users can have detrimental consequences on users, chatbot services, and society. Despite notable advancements in autonomous offensive language detection, extending these efforts to chat data remains challenging due to the inherent briefness and contextual complexity of chat messages. This paper introduces a novel offensive language dataset based on real-world chatbot-human conversations, annotated with a focus on context-awareness. Our dataset distinguishes context-dependent offensive language, which is offensive expression under specific context. To address this nuanced task, a neural network model named CALIOPER (Context-Aware modeL for Identifying Offensive language using Pre-trained Encoder and Retrieval) is proposed. CALIOPER leverages a context-aware encoder and attention mechanism to incorporate previous messages and retrieve relevant information from them for detecting offensiveness. Experimental results show that CALIOPER outperforms existing offensive language detection models on multi-turn datasets, particularly for context-dependent offensive language. This work provides a direction in offensive language detection in chat data, contributing to the mitigation of the harmful effects of chatbots and safer chatbot ecosystems.

챗봇과 인간 사용자 사이에서 나눈 불쾌 언어(또는 공격적 언어)는 유저, 챗봇 서비스, 사회에 해로운 결과를 초래할 수 있다. 자동적인 불쾌 언어 탐지 기술은 눈에 띄게 발전했으나, 채팅 메시지가 태생적으로 가진 축약성과 문맥적 복잡성 때문에 이러한 노력을 챗 데이터에 확장시키는 것은 여전히 어려운 일이다. 이 논문에서는 실제 챗봇-인간 간 대화를 기반으로 하여 문맥적 이해에 중점을 둔 새로운 불쾌 언어 데이터셋을 소개한다. 이 데이터셋에서는 특정 문맥에서만 불쾌한 표현이 되는 문맥 의존적 불쾌 언어를 구별짓는다. 이렇듯 상황에 민감한 작업을 해결하기 위해, 이 논문에서는 CALIOPER(사전 훈련된 인코더 및 검색을 활용한 불쾌 언어 식별을 위한 문맥 파악형 모델)라는 새로운 모델을 제안한다. CALIOPER는 문맥 파악형 인코더와 어텐션 메커니즘을 활용하여 이전의 메시지를 취합하고 그로부터 연관 정보를 검색함으로써 불쾌 언어를 탐지한다. 실험 결과, CALIOPER는 다중 턴 데이터셋, 특히 문맥 의존적 불쾌 언어에서 기존의 불쾌 언어 탐지 모델을 능가하는 성능을 보였다. 이 논문으로써 챗 데이터에서의 불쾌 언어 탐지에 대한 방향성을 제공하고, 챗봇의 유해한 영향 경감과 더 안전한 챗봇 생태계에 기여하고자 한다.