I envision that future mobile services will create promising changes in every facet of our daily lives including child education, elderly support, healthcare, working, sports, and traveling. Specifically, life-immersive sensing applications are emerging on top of mobile and sensor devices, accelerating this new wave. Such applications are clearly distinguished from conventional mobile applications, in that they provide proactive services fitting to situational contexts of mobile users; in contrast, conventional applications reactively provide rather passive services upon user-initiation. Imagine a situation that a mobile user goes out for family excursion. After watching a zoo, he roams around, having difficulties in finding a good restaurant for dinner. A future life-immersive ad service will capture your trouble at the moment, and proactively deliver a fascinating coupon of the nearby franchise restaurant that his son would like. A core in providing such proactive services lies in automated understanding of diverse user contexts, e.g., location, activity, companion, emotion, social interaction, and surroundings.
In this thesis, I propose a new cooperative mobile context monitoring platform to enable highly-enriched and always-available context-awareness for diverse life-immersive sensing applications. Despite their practical values and usefulness, the spread of life-immersive sensing applications has been extremely slow. This results from unprecedented challenges in capturing rich user contexts in real life situations, including the design of precise context inference algorithms, burdensome exploration on heterogeneous devices, e.g., languages and operating systems, and resource use optimizations to run over resource-limited mobile and sensing devices. A core system challenge to build a context monitoring platform is to continuously execute highly complex, multi-step operations for inference of user contexts, distributed over resource-scarce smartphones and sensor devices. A na"ive context processing would easily compromise stable and seamless running of life-immersive sensing applications.
As a key approach to develop the platform, I devise a system-driven cooperative planning approach. This approach has significant advantages for both application developers and the system; it allows developers to easily specify their contexts of interests with semantic-level queries (e.g., let me know if a user is shopping with friends), while providing the system with flexibility to translate the requests into diverse low-level processing details with suitable optimization techniques. It determines cooperative resource use plan with a holistic view across all available devices of collocated users and their running applications. Such cooperative decision at runtime enables a system to fully leverage system-wide resources; systems can maximize sharing among applications, minimize unnecessary contention over a device, and more flexibly adapt applications` resource use across devices.
Based on the cooperative planning approach, I design and implement novel systems that serve as important corner stones to build full-fledged context monitoring platform. I first present CoMon, a novel inter-user cooperative context monitoring platform, which newly addresses the energy problem through opportunistic cooperation among nearby mobile users. CoMon system deals with the scarce battery problem for continuous sensing and processing, which often make users turned away by the drastic battery drain of their mobile devices. To maximize the benefit of cooperation, we develop two key techniques, (1) continuity-aware cooperator detection and (2) benefit-aware negotiation. Through continuity- and benefit-aware operation, CoMon enables applications to monitor the environment at much lower energy consumption. Also, it significantly extends the extractable contexts of a single user, which are often quite limited due to the limited sensing modalities and even uncontrolled position of their devices.
Second, I present PowerCordy, a novel inter-device power coordination system. Recently, general-purpose personal sensing devices are newly emerging in addition to smartphones, e.g., Nike watch and Google glass, and provide huge opportunities to expand the potential application categories. In this emerg-ing multi-device environment, separate power management for individual devices would cause severe im-balance in power consumption of devices, and thus result in early shutdown of some sensing applications depending on the power-hungry devices. To address the challenge, PowerCordy coordinates battery use of concurrent sensing applications over multiple sensing devices, with a holistic view on all available devices and running applications. As a key solution, I devise a relaxed sensor association approach; it decouples the energy use of an application from specific sensor devices leveraging multiple context inference alterna-tives, allowing flexible energy coordination at runtime. PowerCordy implements the relaxation approach as a common underlying mechanism upon which diverse power balancing algorithms can be realized. PowerCordy effectively prevents undesired early shutdown of partial sensing devices and balances the running times of concurrent sensing applications.
Finally, I integrate the two systems towards a full-fledged context monitoring platform and develop a unified resource planning methodology. From diverse simulation studies, I show the effectiveness of the unified platform under complicated operating environments, e.g., a number of concurrent sensing applica-tions and heterogeneous sensing devices. In the near future, this new context monitoring platform will be integrated as a core functionality of a mobile OS, which is beyond what the state-of-the-art mobile plat-forms such as Apple iOS and Google Android could do.
미래의 모바일 환경에서는 의료, 교육, 교통, 스포츠, 도시 계획, 게임 등의 다양한 분야에서 전례 없는 서비스들이 출현할 것이다. 특히, 다양한 센서를 활용하여 제공될 새로운 종류의 생활 밀착형 센싱 애플리케이션은 미래의 핵심 서비스 중 하나가 될 것이다. 생활 밀착형 센싱 애플리케이션은 사용자의 상황 및 환경을 지속적으로 관찰하고, 이를 바탕으로 고급의 응용서비스를 사용자에게 실시간으로 제공한다. 일례로, 생체정보센서와 동작인식센서를 바탕으로 노인 또는 만성 질환 환자의 응급 상황을 실시간으로 탐지 및 보고할 수 있다. 또한, 동작인식 센서를 이용하여 야외 골프장에서 골프 스윙에 관한 피드백을 실시간으로 제공해주는 서비스를 생각해 볼 수 있다. 이런 서비스는 그 유용성으로 인해, 향후 기하급수적으로 증가할 것으로 예측되며, 미래 고부가가치 모바일 서비스의 핵심으로 부상할 것이다. 한편, 모바일 환경에는 더욱 많은 소형 센서들이 옷, 시계, 반지 등 입을 수 있는 형태로 우리 몸에 착용될 것이며, 나아가 사무실, 집, 쇼핑몰 등 일상 생활공간 곳곳에 내재될 것이다. 따라서 다종, 다수의 센서를 포함하는 미래의 모바일 환경에서, 생활 밀착형 센싱 애플리케이션을 체계적이고 손쉽게 디자인, 구현, 구동할 수 있는 컴퓨팅 플랫폼이 필수적으로 요구된다.
생활 밀착형 센싱 애플리케이션이 기존의 모바일 서비스들과 차별화 되는 가장 큰 특징은 사용자의 상황과 주변 환경을 지속적으로 관찰하고 이를 바탕으로 사용자에게 서비스를 능동적(Proactive)으로 제공한다는 점이다. 이런 서비스들이 점차 늘어남에 따라, 미래에는 더욱 다양한 사용자 상황(context)을 실시간으로 정확하게 관찰하는 것이 중요해 진다. 또 다른 중요한 특징은, 다수의 센싱 애플리케이션이 모바일 장치와 센서를 통합된 서비스 플랫폼으로 공유한다는 점이다. 따라서, 모바일 장치와 센서는 수많은 애플리케이션의 상황관찰 요청을 동시에 처리해야 하며, 나아가, 지속적인 상황 관찰을 위해 이런 처리를 연속적으로 수행해야 한다. 이를 위해서는, 다수의 센서에서 계속해서 발생하는 많은 양의 데이터를 복잡한 상황 인식 로직을 활용하여 처리하여야 한다.
생활 밀착형 센싱 애플리케이션은 서비스의 새로운 특징과 극도로 제한된 센서 및 모바일 장치의 컴퓨팅 자원 (배터리, 메모리, CPU 등)으로 인해 기존의 컴퓨팅 기술로는 지원되기 매우 어렵다. 이를 효과적으로 지원하기 위해서는, 상황인식, 모바일 시스템, 센서 시스템, 네트워킹 등 다양한 분야의 기술을 통합적으로 고려해야 한다. 하지만, 기존의 기술들은 실시간 상황 모니터링에서 발생하는 연속적 상황 인식 처리 문제, 성능 문제, 저전력 문제, 자원 관리문제, 무선 네트워킹 문제 등 다양한 시스템 문제들을 종합적 관점에서 다루지 않았다.
본 연구는 다종, 다수의 센서로 구성된 모바일 환경에서 상황기반 서비스들을 지원하기 위한 위한 새로운 모바일 상황 모니터링 플랫폼을 제안하였다. 특히 본 연구는 다수의 상황 모니터링 요청을 지원하는데 있어서, 모바일 장치와 센서의 제한된 컴퓨팅 자원 및 배터리를 효율적으로 사용하고, 동적으로 변화하는 컴퓨팅 자원에 지속적으로 적응하는 시스템 기술을 통합적으로 개발하는데 초점을 두었다. 이를 위해 본 연구는, ‘시스템 중심의 협력적 자원 계획’ 기법을 새롭게 도입하였다. 이 기법의 핵심은, 시스템이 런타임에 다수의 애플리케이션과 센싱 장치의 자원 상황을 종합적으로 고려하여, 최적의 자원 사용방식을 계획하도록 하는 점이다. 이를 통해, 다수의 애플리케이션들이 자원을 최대한 공유해서 사용할 수 있도록 하고, 애플리케이션 간의 자원 사용 충돌을 방지하며, 새로운 자원 상황에 애플리케이션이 동적으로 적응할 수 있도록 돕는다. 협력적 자원 계획에 기반한 상황 모니터링 플랫폼은 생활 밀착형 센싱 애플리케이션의 개발 및 운영을 매우 용이하게 한다. 나아가, 다수의 서비스들이 제한적인 컴퓨팅 자원을 가지고 효율적으로 동작할 수 있도록 하는 중요한 제반 인프라가 된다.
본 연구가 제안하는 플랫폼은 학술적, 산업적 관점 모두에서 매우 중요한 의미를 지닌다. 특히, 본 연구에서 제안하는 플랫폼은 근 미래에 스마트폰과 같은 모바일 장치의 핵심 소프트웨어 컴포넌트가 될 것이다. 이는 산업적으로, 다수의 새롭고 유용한 생활 밀착형 센싱 애플리케이션의 개발을 촉진시켜 고부가가치를 창출하는데 크게 이바지할 것이다. 또한 학술적인 측면에서도, 다종, 다수의 센서를 포함하는 모바일 환경에서, 지속적인 상황 모니터링을 위한 소프트웨어 시스템 기술을 다룬 것은 매우 새롭고, 중요한 시도라 할 수 있다. 이는, 시스템, 유비쿼터스 컴퓨팅, 인공지능 등의 기술 등을 통합적으로 아우르고, 이때 도출되는 새로운 기술적 문제를 제시, 해결하는 연구로서, 그 가치가 매우 높다.
