Today, with the advancement of mobile and IoT technologies, we live in multi-device environments consisting of not only smartphones but also various types of smart devices such as watches, cars, refrigerators and so on. With this trend, interests in how to use multiple devices together have been growing, and several use cases are emerging to show that simultaneous and cooperative use of multiple devices can provide new and useful user experience (UX). For example, when a user wants to play a sensor-based racing game on a smart TV, he can enjoy more comfortable game control by borrowing sensors of his smartphone. As another example, in the case of live-streaming apps, users have often encountered inconvenient situations in which a keyboard window covers a broadcast window when chatting with other viewers while watching the broadcast. If the keyboard window is migrated to another device, we can enjoy live streaming more conveniently than before. However, since the existing mobile operating systems are not designed for multi-device environments, the current multi-device usage is achieved through the app-level approach that employs some custom apps, which gives rise to several problems. First, from the perspective of app developers, substantial development effort for multi-device apps is required. Particularly, the development difficulties and error incidence necessarily increase as the range of target multi-device scenarios broadens and the cross-device communication becomes complicated. On the other hand, from the perspective of users, the potential of multi-device environments may be extremely limited, because we cannot employ many legacy apps that are released previously while utilizing resources of multiple devices. In addition, even when using custom apps, there are bothersome burdens that users should manually handle app installations and device configurations. These points can seriously hinder the popularization of multi-device environments.
This dissertation proposes a novel system-level abstraction that makes apps on different devices run as if they were placed on the same single-device boundary. It can narrow the design gap between the current mobile operating systems and multi-device environments while addressing the above problems fundamentally. In the first detailed study, we designed Mobile Plus, a mobile operating system that allows apps on different devices to share their functionalities with each other by extending inter-app interaction to multi-device environments. Basically, on a single device, apps interact with each other using inter-process communication (IPC) for functionality sharing. The abstraction provided by Mobile Plus enables apps on multiple devices to interact with each other as if they are placed on the same single device, so legacy apps can share their functionalities in multi-device environments without any modification to them. We show that our system can support 22 useful multi-device scenarios using 20 popular legacy apps. In the second detailed study, we designed FLUID, a mobile operating system that can utilize surfaces (i.e., touch screens) of multiple devices in a flexible manner by extending intra-app interaction to multi-device environments. Our system can distribute user interface (UI) elements of apps to other devices to allow users to control multiple surfaces as they want. After that, the abstraction provided by FLUID enables UI elements and app logic on different devices to interact with each other as if they are on the same process boundary. It allows legacy apps to utilize multiple surfaces without modifying their source codes. We show that our system can support 10 useful multi-device scenarios with 20 popular legacy apps.
오늘날 우리는 모바일 및 IoT 기술의 발전으로 스마트폰뿐만 아니라, 시계, 자동차, 냉장고 등 다양한 형태의 스마트 기기들로 이루어진 다중 기기 환경 속에 놓이게 되었다. 이로 인해 주변 스마트 기기들을 어떻게 함께 사용할 것인지에 관한 관심이 점차 커지고 있으며, 동시 협력적인 다중 기기 사용이 새롭고 유용한 사용자 경험을 제공할 수 있음을 보여주는 실제 사용 사례들이 나오고 있다. 예컨대, 사용자가 스마트 TV에서 센서 기반의 레이싱 게임을 하려고 할 때, 스마트폰의 센서를 빌려 사용한다면 더욱더 편한 게임 컨트롤을 즐길 수 있다. 또한, 근래 유행하는 라이브 스트리밍 앱의 경우, 사용자는 방송 시청 도중 다른 시청자들과 채팅을 하는 과정에서 키보드 화면이 방송 화면을 가리는 불편한 상황들이 종종 발생한다. 이때, 만약 키보드 화면을 다른 기기로 옮겨 사용한다면 이전보다 더 편한 라이브 스트리밍을 즐길 수 있다. 하지만 기존 모바일 운영체제는 다중 기기 환경에 맞게 설계되어 있지 않기 때문에, 현재의 다중 기기 사용은 여러 커스텀 앱들을 활용하는 앱 수준 접근 방식을 통해 이루어지며, 이는 많은 문제점을 유발한다. 먼저, 앱 개발자로서는 다중 기기 앱을 위한 추가적인 개발 노력이 요구된다. 이때, 개발자가 목표로 하는 다중 기기 시나리오가 많아지고, 고려해야 하는 기기 간 통신이 복잡해질수록 개발 난이도와 오류 발생률이 필연적으로 올라간다. 한편, 사용자 입장에서는 기존에 출시된 많은 앱을 다중 기기 환경에 맞게 그대로 사용할 수 없기 때문에, 다중 기기 활용도가 극히 제한적일 수밖에 없다. 또한 커스텀 앱을 사용하더라도 사용자가 직접 기기마다 커스텀 앱을 설치하고, 일일이 기기들을 설정해야 하는 번거로움이 존재한다. 이러한 점들은 다중 기기 환경의 대중화를 심각하게 저해할 수 있다.
본 논문은 위 문제들을 근본적으로 해결하기 위해 여러 기기의 앱들이 마치 하나의 단일 기기에서 동작하는 것처럼 만드는 시스템 수준의 추상화 기법을 제공하며, 이를 통해 현재 모바일 운영체제와 다중 기기 환경 사이의 괴리를 좁히고자 한다. 첫 번째 세부 연구에서는 앱들 사이에서 발생하는 상호작용을 다중 기기 환경으로 확장함으로써, 여러 기기의 앱들이 각자의 기능들을 공유할 수 있도록 하는 모바일 운영체제를 설계하였다. 기본적으로 단일 기기에서는 앱들이 서로의 기능을 공유하기 위해 상호작용을 한다. 제안한 운영체제에서 제공하는 추상화는 여러 기기의 앱들이 마치 동일한 단일 기기에 존재하는 것처럼 상호작용하도록 만들어 주기 때문에, 기존 상용화 앱들도 별도의 수정 없이 다중 기기 환경에서의 기능 공유가 가능해진다. 본 논문에서는 27개의 유명 상용화 앱들을 활용하여 22개의 유용한 다중 기기 시나리오들이 가능함을 보였다. 두 번째 세부 연구에서는 앱 내부에서 발생하는 상호작용을 다중 기기 환경으로 확장함으로써, 여러 기기의 화면들을 유연한 방식으로 활용할 수 있도록 하는 모바일 운영체제를 설계하였다. 이 운영체제는 앱의 사용자 인터페이스 (user interface, UI) 요소들을 다른 기기로 분산시킴으로써, 사용자가 여러 기기의 화면에 보일 UI 요소들을 원하는 대로 구성하도록 지원해 준다. 여기서 제공하는 추상화는 여러 기기에 존재하는 UI 요소들과 앱 로직 간의 상호작용이 마치 동일한 단일 기기, 단일 프로세스에서 이루어지는 것처럼 만들어 주기 때문에, 기존 상용화 앱들도 별도의 수정 없이 여러 기기의 화면을 함께 사용할 수 있다. 본 논문에서는 20개의 유명 상용화 앱들을 활용하여 10개의 유용한 다중 기기 시나리오들이 가능함을 보였다.
