The latest advances in NLP (natural language processing) has led to the launch of the much needed machine-driven hate speech detection. Nevertheless, people continuously find new forms of hateful expressions that are easily identified by humans, but not by machines. One such expression is the mix of text and emojis, a type of visual hate speech that is increasingly used to evade algorithmic moderation. This research analyzes chat conversations from the popular streaming platform Twitch to understand the varied types of visual hate speech. Emotes were used sometimes to replace a letter, seek attention, or for emotional expression. We created a labeled dataset that contains 29,721 cases of emotes replacing letters. Based on the dataset, we built a neural network classifier and identify visual hate speech that would otherwise be undetected through traditional methods and caught an additional 1.3% examples of hate speech out of 15 million chat utterances.
자연언어처리 분야의 발전은 기계 학습을 통한 혐오 표현 탐지를 가능하게 하였다. 그러나, 사용자는 지속적으로 새로운 형태의 혐오 표현을 발견한다. 이는 인간에 의해 쉽게 탐지되지만, 기계에 의해서는 탐지되지 않는다. 그러한 형태의 표현 중 하나는 텍스트와 이모지의 혼합으로, 알고리즘의 감시망을 피하기 위해 사용 빈도가 증가하고 있는 시각적 혐오 표현이다. 이 연구는 인기있는 온라인 방송 플랫폼인 트위치의 채팅 대화를 분석하여 다양한 시각적 혐오 표현의 유형을 이해한다. 이를 통해 이모지는 문자를 대체하거나, 주의를 끌거나, 감정을 표현하기 위해 사용됨을 확인한다. 또한 이모지가 문자를 대체하는 2만 9721개의 데이터셋을 확보하였으며, 이를 기반으로 언어 모델을 제안한다. 기존의 방법으로 발견되지 않았던 시각적 혐오 표현을 식별하고, 1500만건의 채팅 중 약 1.3%의 혐오 표현을 추가로 검출할 수 있었다.
