Large language models (LLMs) with chat-based capabilities, such as ChatGPT, are widely used in various workflows. However, users often experience difficulties in using this technology and various dissatisfactions. Researchers have introduced several methods, such as prompt engineering, to improve model responses. However, they focus on crafting one prompt, and little has been investigated on how to deal with the user’s dissatisfaction during the conversation. Therefore, we examine end users’ dissatisfaction and their strategies to address it. After organizing users’ dissatisfaction with LLM into seven categories based on a literature review, with ChatGPT as a case study, we collected 511 instances of dissatisfactory ChatGPT responses from 107 users and their detailed recollections of dissatisfied experiences, which we released as a dataset. Our analysis reveals that users most frequently experience dissatisfaction with ChatGPT not grasping intent, while accuracy-related dissatisfactions are the most serious. We also identified four tactics users employ to address their dissatisfaction and their effectiveness. We found that users often do not try to address dissatisfaction, and even when they do, 72% remains unresolved, especially those with low knowledge of LLM. We also found that they tended to put minimal effort into resolving dissatisfaction. Based on these findings, we propose design implications for minimizing user dissatisfaction and enhancing the usability of chat-based LLM.
대규모 언어 모델(LLM)들은 그 뛰어난 성능과 대화형 기반의 인터페이스 덕분에 다양한 작업에 널리 활용되고 있다. 하지만, 여전히 사용자들은 이 기술 활용에 다양한 불만을 경험하는 경우가 많다. 이를 개선하기 위해 선행 연구들에서는 프롬프트 엔지니어링 등의 다양한 방법을 제시해왔지만, 대화 중 사용자가 직면하는 불만 해결에 대한 연구는 미흡한 실정이다. 따라서 이 연구에서는 LLM을 사용하는 중에 사용자가 경험하는 불만 및 그 해결 전략을 분석하였다. 문헌 검토를 통해 사용자의 불만을 7가지 범주로 분류한 후, ChatGPT 를 사례로 107명의 사용자로부터 511개의 데이터를 수집하였고 사용자들이 불만 해결을 위해 사용하는 전략 및 그 효과성을 분석하여 이를 4가지로 범주화 하였다. 데이터 분석 결과, 사용자들은 ChatGPT가 의도를 파악하지 못하는 측면의 불만을 가장 빈번하게, 정확성과 관련된 불만을 가장 심각하게 경험함을 알 수 있었다. 또한, 사용자들은 종종 불만 해결을 위해 어떠한 전략도 사용하지 않으며, 전략을 사용하더라도 72%의 불만은 해결되지 못함을 알 수 있었다. 더욱이, LLM에 대한 지식이 부족한 사용자들은 정확성 관련 불만을 더 많이 경험하고 불만 해결에 최소한 노력만 기울이는 경향이 있음을 확인했다. 본 연구에서는 이 결과를 바탕으로 사용자 불만을 최소화하고 LLM의 유용성을 향상하기 위한 시사점을 제안한다.
