With the popularity of AI-infused systems, conversational agents (CAs) are becoming essential in diverse areas, offering new functionality and convenience but simultaneously affected by misuse as well as verbal abuse. In this study, we investigate how conversational agents can effectively respond to a user’s verbal abuse through a series of studies. More specifically, we performed four studies involving three different modalities (text, voice, and animated agent with voice). In Study 1, we examined whether a CA’s response style (avoidance, empathy, and counterattacking) and abuse type (insult, threat, and swear) affect the emotions (e.g., guilt and shame) that mitigate people’s aggressive behavior as well as users’ evaluations of the agents (e.g., likability and intelligence) withinthecontextoftext-basedagents. InStudy2,weprimarilyreplicatedapreviousstudybutwithinthecontext of voice-based agents. In addition, we assessed extant Intelligent Personal Assistant (IPA) responses to verbal abuse to identify the current status of the issue investigated in this study. A common finding from the two studies is that a CA’s response style, in particular empathy, is a significant factor affecting a user’s moral emotions and agentevaluations. Participantsfeltlessangryandguiltierwiththeempatheticagentthanwiththeothertwoagents. Users assessed the responses from the counterattacking agent or avoidance agent as less appropriate. This finding was consistent across text- and voice-based interaction environments. Subsequently, in Study 3, we investigated empathy and compared the effects of two alternative types of empathetic agents (other-oriented vs. self-oriented) on the emotions and agent evaluations analyzed before, in addition to the facial expressivity of the agent as a new potential influencing factor. In Study 4, we validated the effectiveness of key results obtained in a laboratory environment through a user prototype bot field test performed in a real environment. Our study has found that major CAs are generally adopting the strategy of ignoring or avoid its user’s verbal abuses. Our research findings indicate that the approaches employed by the current major CAs were ineffective in handling users’ verbal abuse. The agent’s empathetic response may be particularly useful for customer service agents, especially in managing consumers’ negative emotions. In general, our findings facilitate the design of CAs and highlight the need for appropriate strategies to address the abusive utterances of users.
AI가 탑재된 시스템들의 확산과 더불어, 대화형 에이전트(Conversational Agents)는 다양한 영역에 도입되어 사용자에게 새로움과 기능적인 편리함을 제공하고 있으나 그와 동시에 오용과 언어폭력의 대상이 되고 있다. 본 연구에서는, 일련의 연구를 통해 대화형 에이전트가 사용자의 언어폭력을 효과적으로 중재하는 방법을 탐 색한다. 보다 구체적으로, 각기 다른 모달리티를 활용하여 텍스트 기반 에이전트, 음성 기반 에이전트, 사람 얼굴 형상을 탑재한 음성 기반 에이전트, 그리고 실 사용에서의 실험을 포함 총 네 가지 연구를 수행하였다. 첫 번째 연구(Study 1)에서는 대화형 에이전트의 응답 스타일(회피, 공감, 반격)과 사용자가 사용하는 언어 학대의 종류(모욕, 위협, 욕설)가 사람들의 공격적인 행동을 완화하는 것으로 밝혀진 사람들의 도덕적 감정 (예: 죄책감, 수치심)과 사용자의 에이전트에 대한 평가(예: 선호도, 지능)에 영향을 미치는지를 텍스트 기반의 환경에서 검토하였다. 두 번째 연구(Study 2)에서는, 첫 번째 연구와 같은 실험 조건을 음성 기반 환경에서 실험하고, 더불어, 사용자의 언어폭력에 대한 주요 IT 기업의 상용 지능형 가상 비서 (Intelligent Personal Assistant)들의 대응 현황을 조사하였다. 두 연구를 통해 밝혀낸 중요한 공통적인 발견은 대화형 에이전트의 대응 스타일, 특히 공감형 응답이 사용자의 도덕적 감정과 에이전트의 평가에 영향을 주는 중요한 요인이라는 것이 다. 피험자들은 다른 두 에이전트에 비해 공감형 에이전트에게 더 큰 죄책감을 느끼고, 더 낮은 분노를 느꼈다. 또한, 사용자들은 반격형 에이전트나, 회피형 에이전트의 답변 스타일을 적절하지 못하다고 평가하였다. 이 결과들은 텍스트 및 음성 기반 상호작용 환경에서 일관되었다. 세 번째 연구(Study 3)는 이전 연구의 결과를 바탕으로 에이전트의 공감 유형을 두 가지로 나누고(타인 지향 대 자기 지향), 에이전트의 표정을 통한 감정 표현 정도를 새로운 잠재적 요인으로 설정하여, 해당 요인들이 기존 두 실험에서 검토했던 피험자의 도덕적 감정과 에이전트 평가에 미치는 영향을 살펴보았다. 네 번째 연구(Study 4)는 사용자들의 실 생활환경에서의 챗봇 필드 테스트를 통해, 실험실 환경에서 얻었던 주요 결과들의 효과성을 검토하였다. 일련의 연구를 통해, 상용되고 있는 주요 대화형 에이전트들이 대체로 사용자들의 언어폭력에 대해 무시하거나 회피하는 대응 전 략을 채택하고 있다는 것을 발견했으며, 본 연구 실험 결과들에 따르면, 다수의 대화형 에이전트가 채택하고 있는, 사용자의 폭언에 대해 회피 또는 반격하는 대응 방식은 사용자의 언어폭력을 중재하는 데 효과적이지 않았다. 에이전트의 공감형 응답은 고객 서비스를 위한 에이전트 중 특히 소비자의 부정적인 감정을 다뤄야 하는 분야에서 특히 효과적일 수 있을 것이다. 전반적으로, 본 연구는 에이전트를 대상으로 한 사용자의 폭언 을 효율적으로 중재하기 위한 대화형 에이전트의 적절한 대응 전략 구현의 필요성을 강조함과 동시에, 대화형 에이전트 설계를 위한 실질적인 가이드라인을 제시한다.
