An efficient selection protocol is needed in an IoT environment with many smart objects. As the number of objects increases, unintended selection can be made more often, and selecting a target among multiple objects can be more challenging. Resolving these issues has often required precise body tracking or spatial cursor visualization, which are not practical in a smart home context. Therefore, we propose Fishing, a selection protocol where the user selects an object through a bidirectional time-window-based interaction. We showed that Fishing could provide a stable selection performance with a high selection speed (1.79-3.32s) and accuracy (93.8-98.8%). Fishing's accuracy remained high independent of the object density and yielded 2.4 times fewer unintended selections from ambient indoor hand movements than a state-of-the-art disambiguation protocol. Despite its bidirectional protocol structure, the Fishing selection time was comparable to the simulated selection time of the natural hand-pointing model.
다양한 사물이 배치된 사물인터넷 환경에서 선택 프로토콜은 사용자 경험의 질을 좌우하는 매우 중요한 요인으로 작용한다. 더 많은 사물이 배치될수록 사용자가 의도하지 않은 선택을 하게 될 가능성은 커지고, 사용자는 주위 사물 중 원하는 하나만을 선택하기 어려워진다. 이러한 문제를 해결하기 위해 기존의 선택 프로토콜은 매우 정밀한 신체 추적 장치를 사용하거나 실시간으로 가리키는 곳을 커서로 보여주는 등의 방법을 채택하였지만, 위의 방법은 사물인터넷 환경에 적용되기 어렵다. 따라서 본 연구는 bidirection time-window를 기반으로 사용자와 스마트 사물이 타이밍에 맞춰 서로를 향해 상호작용하며 원하는 사물만 선택하는 "Fishing 프로토콜"을 제안한다. Fishing을 사용하는 사물인터넷 환경에서 사용자는 손으로 스마트 사물을 가리키고, 해당 스마트 사물에 큐 신호가 보이면 손을 위로 올리는 등의 "등록 제스쳐"를 수행하여 원하는 사물을 선택한다.본 실험에서 Fishing은 2.4초의 빠른 선택 속도와 94.4%의 높은 정확도를 보였고, 이 둘은 state-of-the-art의 disambiguation method를 갖는 protocol인 Slider에 비해 유의미하게 높았다. 피험자의 자연스러운 손 움직임이 만드는 의도하지 않은 선택은 Fishing에서 Slider 대비 2.4배 더 적게 발생하였다. 사물의 간격을 다양하게 바꾸었을 때도 Fishing의 선택 정확도는 항상 높게 유지되었으며 (93.8-98.8%), 실험 후 인터뷰에서 14명의 피험자는 Fishing이 사용하기 쉬웠고 (N=12) 정확했음을 (N=6) 자발적으로 보고하였다. Fishing은 사용자와 사물의 양방향 상호작용을 요구함에도, 사물을 선택하는 속도는 사람이 손으로 자연스럽게 가리키는 것만큼 빨랐다.마지막으로 본 논문에서는 일반화된 Fishing 프로토콜의 구조를 다양하게 활용한 사례를 소개하였다. 등록 제스처를 활용하여 스마트 사물의 디지털과 아날로그 상태 값을 수정할 수 있도록 하거나, 가리키지 않고도 원하는 사물을 선택하는 방식, 여러 스마트 사물의 큐가 보이는 순서와 주기를 최적화하는 방식 등을 소개하였다.본 연구가 제안하는 Fishing 프로토콜이 미래의 스마트 홈 환경에서 사람과 사물 사이의 상호작용을 구성하는 필수적인 요소로 활용되길 기대한다.
