In Internet of Things (IoT) environments, users not only consume services provided by IoT devices, but also produce their own service mashup applications to personalize the environment. Several visual-based approaches have been proposed to support users in creating IoT service mashups. However, users may want to create and modify IoT service mashups using voice-enabled IoT devices as a shortcut to a visual approach. This study proposes a conversational service mashup model, that end-users without programming experience can use to create and modify IoT service mashups over multi-turn natural language conversations. To support users in creating service mashups in a convenient manner, the model has two core features: an iterative and incremental mashup model and a feedback mechanism. In addition, the model has a two-step mashup modification interaction, an implicature-based localization step, and a modification step with a disambiguation strategy. To evaluate the proposed model, a systematic user study was conducted based on a smart home IoT environment scenario. The study results confirm that end-users can easily use the conversational service mashup model to create and modify the required IoT service mashups.
사물 인터넷 환경에서 사용자들은 사물 인터넷 기기를 활용한 서비스를 제공받을 뿐만 아니라 서비스 매쉬업을 통해 자신만의 애플리케이션을 만들어 환경을 개인화하고자 한다. 이를 위해 시각적인 방식으로 사물 인터넷 서비스 매쉬업을 생성하고 수정하는 여러 방법이 제안되었다. 하지만 시각적인 방식을 사용하는 것의 단축 방법으로써, 사용자들은 음성 기반의 사물 인터넷 디바이스를 활용하여 즉석에서 서비스 매쉬업을 생성하고 또 수정하고 싶어한다. 본 연구에서는 프로그래밍 경험이 없는 일반 사용자들이 사물 인터넷 서비스 매쉬업을 생성하고 수정하기 위한 방법으로 여러 횟수의 자연어 대화를 통해 상호작용하는 대화형 서비스 매쉬업 모델을 제안한다. 사용자들이 편리하게 서비스 매쉬업을 생성할 수 있도록, 제안하는 모델에서는 점진적인 매쉬업 모델과 피드백 메커니즘의 두 개의 핵심 기능을 가진다. 또한, 제안하는 모델에서는 두 단계의 매쉬업 수정 상호작용인 대화 함축 기반의 로컬라이제이션 단계, 그리고 중의성을 해결하는 전략이 포함된 수정 단계를 포함한다. 본 연구에서는 스마트 홈 환경에서의 시나리오를 바탕으로 사용자 실험을 진행하여, 일반 사용자들이 대화형 서비스 매쉬업 모델을 통해 더 쉽고 편리하게 필요한 서비스 매쉬업을 생성하고 수정할 수 있음을 확인하였다.
