Similar to a design process for designing graphical user interfaces, conversation designers often apply an iterative design process by defining a conversation flow, testing with users, reviewing user data, and improving the design. While it is possible to iterate on conversation design with existing chatbot prototyping tools, there still remain challenges in recruiting participants on-demand and collecting structured feedback on specific conversational components. These limitations hinder designers from running rapid iterations and making informed design decisions. We posit that involving a crowd in the conversation design process can address these challenges, and introduce ProtoChat, a crowd-powered chatbot design tool built to support the iterative process of conversation design. ProtoChat makes it easy to recruit crowd workers to test the current conversation within the design tool. ProtoChat's crowd-testing tool allows crowd workers to provide concrete and practical feedback and suggest improvements on specific parts of the conversation. With the data collected from crowd-testing, ProtoChat provides multiple types of visualizations to help designers analyze and revise their design. Through a three-day study with eight designers, we found that ProtoChat enabled an iterative design process for designing a chatbot. Designers improved their design by not only modifying the conversation design itself, but also adjusting the persona and getting UI design implications beyond the conversation design itself. The crowd responses were helpful for designers to explore user needs, contexts, and diverse response formats. With ProtoChat, designers can successfully collect concrete evidence from the crowd and make decisions to iteratively improve their conversation design.
그래픽 유저 인터페이스 디자인 과정과 유사하게, 챗봇 대화 디자이너는 대화 흐름을 정의하고, 사용자에게 테스트하고, 사용자 데이터를 검토하여, 대화 시나리오를 개선하는 반복적 디자인 과정을 주로 거친다. 기존의 챗봇 프로토타이핑 도구를 사용하여 챗봇의 대화 시나리오를 반복적으로 디자인할 수 있지만, 참가자를 쉽게 모집하고 대화의 특정 요소에 대한 구조화된 피드백을 수집함에 있어 여전히 어려움이 있다. 이러한 한계는 챗봇 대화 디자이너가 빠르게 디자인 과정을 반복하고 사용자 데이터를 기반으로 디자인에 대한 결정을 내리는 것을 방해한다. 본 연구에서는 대화 디자인 과정에 크라우드를 참여시킴으로써 이러한 문제를 해결할 수 있다는 아이디어를 제시하며, 반복적인 대화 디자인 과정을 지원하기 위해 개발한 크라우드 기반 챗봇 디자인 도구 ProtoChat을 제안한다. ProtoChat 시스템을 통해, 디자이너는 현재 디자인한 대화를 테스트할 크라우드를 쉽게 모집할 수 있다. 크라우드는 ProtoChat의 테스팅 인터페이스를 통해 구체적이고 유용한 피드백을 제공하고, 대화의 특정 부분에 대한 개선 사항을 제안할 수 있다. 디자이너가 디자인을 검토하고 수정할 수 있도록, ProtoChat은 크라우드 테스트에서 수집된 데이터에 대한 여러 유형의 시각화를 제공한다. 8명의 디자이너를 대상으로 진행한 3일 간의 실험을 통해 ProtoChat이 챗봇 디자인을 위한 반복적인 디자인 과정을 가능하게 함을 확인하였다. 디자이너는 대화 디자인 자체를 수정하는 것뿐만 아니라 챗봇의 페르소나를 조정하고 대화 디자인 자체를 넘어서 향후 챗봇 UI 디자인의 방향까지 판단할 수 있었다. 크라우드의 응답은 디자이너가 사용자 니즈, 컨텍스트 및 다양한 응답 형식을 탐색하는 데 도움이 되었다. ProtoChat을 사용하여 디자이너는 크라우드로부터 구체적인 증거를 수집하고 대화 디자인을 반복적으로 개선하기 위한 결정을 내릴 수 있었다.
