Chatbots for entertainment purposes enrich their databases of designated input/output message pairs to deal with a huge number of input messages. Encouraging the users to teach examples of input/output message pairs is one of the most commonly used approaches to enrich such databases. However, this approach gives rise to a problem such that chatting messages selected from the database may not be consistent with their writing style because many users may have taught message pairs in their own writing styles. In this paper, we aim to help the users feel that they are chatting with a single interlocutor and are consequently more satisfied by generating messages in a consistent style.
We propose a two-step method for chatbots to generate messages in a consistent style by selecting the message whose style is the most similar to a predefined consistent style among the candidate messages. First, we apply the authorship attribution methods to construct methods that are effective to analyze the style of messages. Next we utilize the most effective method to measure the similarity between the styles of messages and generate a candidate message whose style is the most similar to a predefined one. We enhance the existing style-based features and construct term-based features for chatting messages. We conduct authorship attribution experiments to examine the features with various machine learning techniques. We find that the style-based features and kNN-based classifier are the most effective. The results show 62.8% in the best accuracy to classify the messages that are written by 100 users.
We utilized this proposal for a chatbot system that generates messages in a consistent style. We conducted an experiment that measures the similarity among styles and a user study to observe the consistency of generated messages and the levels of satisfaction of the users. The results showed that the similarity values between the predefined style and the style of messages generated from the proposed system are more stable than those of the baseline system. We also found that the users notice the given answers as quite consistent and thus are more satisfied with such answers.
입/출력 쌍을 바탕으로 대화 서비스를 제공하는 오락성 채팅 로봇의 경우, 사용자로부터 이를 학습 받는 방법을 통해 다양한 입력에 대해 자연스러운 출력을 제공할 수 있다. 하지만, 이러한 학습 과정에서 다양한 사용자의 스타일이 반영된 입/출력 쌍들이 축적되기 때문에 차후 일관되지 못한 스타일의 메시지들을 제공하여, 사용자의 흥미를 떨어뜨리는 문제점이 발생한다. 본 논문에서는 한 사람과 대화하는 것 같은 느낌을 주는 일관된 스타일의 채팅 메시지를 제공하여 사용자의 흥미를 유발하고 만족도를 높이는 것을 목표로 한다.
위의 목표를 달성하기 위해 여러 후보 채팅 메시지의 스타일을 분석하여 특정 스타일과 유사도가 가장 높은 메시지를 선정하여, 일관된 스타일의 메시지를 생성하는 방법을 제안한다. 먼저, 본 논문에서 제안하는 방법과 유사하게 텍스트의 스타일을 분석하여 작성한 사용자에 따라 분류하는 저자 판별 기법을 적용하여 채팅 메시지의 스타일을 분석하는 방법론을 구성한다. 이 가운데 분석 효율이 높은 방법론을 바탕으로 특정 스타일과 출력 후보 메시지들과의 유사도를 측정, 가장 유사도가 높은 메시지를 생성한다. 메시지의 스타일을 분석하는데 활용한 언어 자질들로는 문체에 기반을 둔 자질들과 내용을 표상할 수 있는 자질들을 모두 고려하였다. 이러한 자질들을 바탕으로 지도학습 방식과 비 지도학습 방식의 기계 학습을 통해 사용자 판별 실험을 진행한 결과, k 근접이웃 기반 분류기에서 문체 기반 자질들을 바탕으로 분석한 방법론이 가장 높은 효율을 보였다. 최대 100명의 사용자가 작성한 텍스트를 각각 62.8%의 높은 정확도로 분류할 수 있었다.
위의 분석 효율이 가장 높은 방법론을 바탕으로 일관된 스타일의 메시지를 출력하는 채팅 로봇 시스템을 구현, 유사도 측정 실험과 사용자 평가를 통해 생성된 메시지의 일관성 향상 과 그에 따른 사용자의 만족도 향상을 살펴보았다. 그 결과, 후보 메시지들 가운데 임의의 메시지를 출력하는 베이스라인에 비해 통계적으로 유의미한 수준으로 스타일의 변화 폭이 감소하는 것을 볼 수 있었다. 또한, 생성된 메시지의 스타일 일관성이 향상된 것은 사용자가 인지할 수 있는 수준이며, 사용자가 선호하는 스타일의 메시지를 일관되게 출력함으로써 사용자의 만족도를 높일 수 있음을 확인하였다.
