With the omnipresence of computing devices in our daily life, interests in supporting seamless interactions between users and these ubiquitous devices have been growing. In response to these interests, new and quite effective interaction mechanisms which use the spatial information of sound, called spatial sound interaction, have been introduced. As an example, we can provide users an in-situ 3D listening experience by collaboratively using built-in speakers of their own or surrounding devices. It is also possible to support gesture or touch input methods by tracking the location of target objects or events with the use of sound. However, in ubiquitous computing environments, enabling such spatial sound interactions is much challenging, primarily due to a high environment complexity. For example, since users can interact with any type of computing devices anytime and anywhere, sound can be produced and transferred differently depending on the environment. These acoustic changes in ubiquitous environments have made it difficult to utilize existing spatial sound interaction techniques which are commonly designed assuming pre-defined and static environments.
In this dissertation, we address the environment complexity of supporting ubiquitous spatial sound interactions, by 1) virtualizing audio output devices and 2) abstracting audio input data. First, we give spatial sound reproduction applications an illusion that they are running in pre-defined and static environments, even in diverse and dynamically-changing ubiquitous environments. Toward this, we develop both adaptive multi-audio device coordination and real-time audio request scheduling techniques. Thus, these speaker virtualization techniques allow spatial sound reproduction applications to easily provide users spatial impressions without considering the complexity of ubiquitous environments. Second, we propose a novel sound-based touch input method which identifies a user's touch locations on any solid surface robustly against environmental changes. The key enabling idea is to abstract audio input data, i.e., to extract environment-independent features from the input recordings, especially based on understanding dispersion phenomena. Our experiments show that, by using our proposed features, we can support sub-centimeter accuracy in localizing touch inputs even in the presence of environmental changes.
컴퓨팅 기기들을 언제 어디서나 사용할 수 있게되면서, 사용자들이 주변의 유비쿼터스 컴퓨팅 기기들과 어떻게 효율적으로 상호작용 것인지에 대한 관심이 점점 커지고 있다. 이러한 관심과 함께 최근 소리에 담긴 공간 정보를 활용한 새롭고 효율적인 상호작용 방법인 공간 음향 기반 상호작용 기술들이 소개되고 있다. 예를 들어, 스마트폰과 같이 사용자들이 지니고 있는 혹은 주변에 있는 컴퓨팅 기기들을 협력적으로 사용하여 공간 음향 재생 시스템을 구축하고, 이를 바탕으로 사용자들에게 언제 어디서나 3차원 청각적 경험을 제공할 수도 있다. 뿐만 아니라, 소리를 활용해 사용자 혹은 특정 물체들의 위치를 지속적으로 파악함으로써, 제스쳐 또는 터치 입력 기법들을 제공하는 것도 가능하다. 하지만, 이러한 공간 음향 기반 상호작용을 유비쿼터스 환경에서 제공하는 것은 어려운 문제이다. 이는 유비쿼터스 환경이 굉장히 복잡하고 동적으로 변화하기 때문이다. 예를 들어, 사용자는 언제 어디서나 주변의 기기들과 상호작용할 수 있으며, 이러한 환경적 변화로 인해 소리는 다르게 만들어질 수도 있고, 또한 다르게 전파될 수도 있다. 결국, 특정 환경을 가정하고 개발된 기존의 공간 음향 기반 상호작용 기술들을 음향적 특성들이 매번 달라지는 유비쿼터스 환경에 적용하기에는 많은 어려움이 따른다.
본 논문에서 우리는 1) 오디오 출력 기기 가상화 기법과 2) 오디오 입력 데이터 추상화 기법을 통해, 공간 음향 기반 인터랙션을 어렵게 만드는 유비쿼터스 환경의 복잡도 문제를 해결한다. 먼저, 우리는 다양하고 동적으로 변화하는 유비쿼터스 환경에서도 항상 최적의 환경에서 공간 음향을 재생하는 것과 같은 환상을 어플리케이션들에게 제공한다. 이를 위해, 우리는 동적 멀티 오디오 기기 조정 기법과 실시간 오디오 기기 스케줄링 기법을 개발한다. 특히, 이러한 오디오 출력 기기 가상화 기술을 통해, 공간 음향 재생 어플리케이션들이 유비쿼터스 환경의 환경 복잡도 문제를 전혀 고려하지 않고도 사용자들에게 손쉽게 새로운 청각적 경험을 제공할 수 있음을 보인다. 둘째로, 우리는 주변 사물의 표면을 터치 입력 도구로 활용하는 새로운 소리 기반 터치 입력 기법을 제안한다. 특히, 환경적 변화에도 항상 높은 정확도를 제공하기 위하여, 우리는 소리의 확산 및 전달 과정에 대한 이해를 바탕으로 오디오 입력 데이터로부터 환경에 독립적인 특성들만 추출하는 오디오 입력 데이터 추상화 기법을 개발한다. 우리는 실험을 통해, 본 연구에서 제안한 환경 독립적 특성들을 활용하여 환경이 동적으로 변하는 경우에도 항상 평균 1 센티미터 이하의 정확도로 사용자의 터치 위치를 파악할 수 있음을 보인다.
