Emotion visualization in text messaging has fascinated HCI researchers for decades. While voice messages are widely used, the emotion visualization of voice messaging remains unexplored. To fill this research gap, we present and explore the concept of visualizing speech emotion of voice messages by altering the chat bubble colors. First, we conducted a formative study that adopted the ``Wizard of Oz" approach to explore the emotional effect of chat bubble colors on voice messaging. Based on the formative study, we conducted our main study to investigate how users respond to color-based speech emotion visualization in voice messaging. We developed a working prototype that allows users to interact with the color-based automatic speech emotion visualization system in the real stage. Our findings show that participants showed general enthusiasm and optimistic attitude towards the method as both senders and receivers. The color-based visualization method delivered a brand new and lively communication experience. Surprisingly, the participants also showed great tolerance for speech emotion recognition failures. Based on the findings, we discussed design considerations for integrating color-based speech emotion visualization into voice messaging and the opportunities for the proposed method in other voice-based communication.
문자 메시지의 감성을 시각화하는 연구는 HCI 연구자들의 주도로 다년간 진행되어 왔다. 음성 기반의 메시지의 사용 또한 증가하고 있으나 음성에 담긴 감성을 시각화하는 데 대한 탐색은 시작단계에 머물러 있다. 이에 본 연구에서는 음성 메시지가 전달되는 말풍선 형태의 아이콘 색채를 변화시켜 전달되는 음성의 감성적 특징을 표현하는 컨셉을 제시하고 효용성을 평가하고자 하였다. 이를 위해 첫째, 위자드 오브 오즈 방법을 사용하여 음성 메시지의 감성적 특징에 따라 말풍선 색이 바뀌는 솔루션을 참여자들로 하여금 경험하게 하였다. 형성적 연구 결과를 토대로 본 조사를 진행하였는데, 참여자들의 음성 입력 신호에 따라 딥러닝 기반의 알고리즘이 감성을 개인별로 파악하도록 시스템을 구축하였다. 알고리즘이 참여자의 음성에서 추출한 음향적 속성을 분석하여 감성의 종류와 세기를 파악한 후, 대응되는 말풍선 색채를 적용하였다. 참여자들은 기존 서비스에서 일률으로 제시되는 말풍선 색채와 비교하여 색이 변하는 말풍선을 이용한 시스템의 경험적 가치에 대해 서술하였다. 참여자들은 메시지 전달자 입장과 수신자 입장 모두에서 흥미롭다는 반응과 긍정적 평가를 나타내었다. 특히, 말풍선의 색이 변하는 서비스에 대하여 새로운 소통 경험이라고 간주하였으며, 음성 감성 인식 알고리즘의 오류에 대한 허용치는 연구자가 예상했던 바를 월등히 상회하였다. 본 연구의 발견점을 토대로 색채를 이용한 음성의 감성적 특징을 시각화하여 음성 메시지를 표현하거나 음성 기반 소통의 새로운 활용 가능성을 모색하기 위한 디자인 고려사항에 대해 논의하고 있다.
