Upcoming ubiquitous technologies are expediting the advent of many real-time applications. Examples of such applications include physical world browsing, RFID-based supply chain management, city-wide road traffic monitoring, weather forecasting, and air pollution monitoring. These applications show different scales and characteristics in terms of sensing data delivery demands. They commonly demand a deep understanding on real-time data delivery from widely distributed data sources. Also, they have highly individualized and fine-grained delivery demands in terms of data and delay specifications, e.g., data value ranges of interest, spatial and temporal resolutions, and tolerable delay, etc. Due to the remarkable scale and complexity, however, existing data delivery systems cannot support such applications effectively. We present SATI (Scalable And Traffic-efficient data delivery Infrastructure), a novel Internet-based sensing data delivery infrastructure that provides a common platform for data providers and consumers. Basically, it is comprised of a collection of proxy nodes forming an overlay network, where each proxy node conducts an in-network processing and efficient data delivery. It allows applications to specify their delivery requirements with intuitive and comprehensive delivery semantics. For scalable and efficient data delivery, SATI develops a novel delivery path management scheme based on an incremental relaxation method. The scheme enables SATI to construct and maintain efficient delivery paths satisfying a large number of delivery requests of high diversity. It fully exploits the diversity of delivery demands on both data and delay requirements, thus achieving a high level of service satisfaction and efficiency at the same time. The result from a large-scale simulation shows that SATI achieves a high level of scalability and bandwidth efficiency.
Real-time sensing applications also require handling high volumes of continuously arriving data and sudden fluctuations while efficiently supporting multi-dimensional historical queries. The use of traditional database management systems designed for static data sets is inappropriate for such applications. Thus, a new type of data management system is required; one which can handle high rates of data insertion and adapt to sudden spikes in the input rate while not degrading retrieval performance. In this thesis, we propose DAS (Data stream Archiving System), a novel system that supports efficient data stream archiving for real-time sensing applications. DAS can reduce a great amount of disk I/O in the storage system by grouping incoming data into clusters and storing the clusters instead of raw data elements. In addition, even when there is a temporary fluctuation in the amount of incoming data, it can stably support storing all incoming raw data by controlling the cluster size. Our experimental results show that our approach significantly reduces the number of disk accesses in terms of both inserting and retrieving data compared with the traditional approach.
본 학위 논문에서는 대량의 센서 데이터가 발생되는 컴퓨팅 환경에서 실시간 센싱 어플리케이션을 효과적으로 지원하기 위한 데이터 스트림 전송 및 저장 인프라스트럭처를 제안한다. 센서 및 네트워크 기술의 발전으로 전 세계 도처에 수 많은 센서들이 설치되고 그러한 센서에서 발생된 데이터를 이용할 수 있는 환경(sensor-rich environment)이 도래할 것이다. 이 환경에서 우리가 특히 주목하는 점은 센서 데이터가 여러 어플리케이션들이 이용할 수 있도록 공개(publish)되고, 공유(sharing)된다는 점이다. 이러한 센서 데이터를 이용하여 모니터링, 분석, 예측, 알림 서비스 등 여러 가지 유용한 서비스를 사용자에게 제공하는 다양한 종류의 실시간 센싱 어플리케이션들이 생겨날 것이다. 그 어플리케이션들은 사용자들에게 적시에 필요한 서비스를 제공하기 위하여 실시간 센서 데이터가 필요할 뿐만 아니라 정확하고 효과적인 서비스를 제공하기 위하여 센서 데이터를 저장하고 필요에 따라 저장된 센서 데이터를 이용하고자 하는 요구도 있다. 따라서, 이러한 실시간 센싱 어플리케이션의 기술적 요구를 효과적으로 지원하기 위해서는 센서 데이터 전송 및 저장 인프라스트럭처에 대한 연구가 필요하다.
이와 같은 기술적 요구를 해결하기 위해서 확장성과 효율성을 특징으로 하는 데이터 스트림 전송 및 저장 인프라스트럭처를 제안하였다. 첫 째, 센서 데이터 전송을 위한 네트워크 인프라스트럭처인 SATI를 제안하였다. SATI는 여러 대의 분산 노드들로 구성이 되며, 그 노드들은 오버레이 네트워크를 형성하여 협력적으로 데이터 전송을 수행하게 된다. SATI는 여러 노드들을 하나의 클러스터로 묶은 후, 그 클러스터를 하나의 단위로 간주한 계층 구조를 가지고 있고, 그 구조를 기반으로 확장성 있게 인프라스트럭처 노드들을 관리하고 데이터 전송 일을 수행하게 된다. SATI에서 중요한 문제는 인프라스트럭처 노드들을 잇는 전송 경로를 만들고 관리하는 일이다. 이 전송 경로는 개별 전송 요구를 모두 만족시킬 수 있어야 하고, 동시에 인프라스트럭처 노드들의 자원을 가능한 효율적으로 사용할 수 있도록 만들어져야 한다. 하지만, 실시간 센싱 어플리케이션은 기존의 멀티캐스트 어플리케이션에 비해서 데이터에 대한 요구 조건이 복잡하고, 그 요구 또한 다양하다는 특징으로 인해서 많은 수의 요청을 만족시키는 효율적인 전송 경로를 만들고 관리하는 것은 간단한 문제가 아니다. 본 논문에서는 이러한 다양하고 복잡한 전송 요구를 만족시키면서 시스템 자원을 효율적으로 사용할 수 있는 전송 경로 관리 기법을 제안하였다. 본 경로 관리 기법은 기본적으로 사용자의 전송 요구가 다양하다는 점을 역이용하여 전송 경로가 만들어질 때 가능하면 데이터를 급하게 받아야 하는 멤버 노드의 경우 그렇지 않은 멤버 노드에 비해 데이터 소스에 더 가깝게 위치 시키도록 한다 (urgency-based path arrangement). 이와 동시에 각 전송 요구마다 원하는 데이터가 다르다는 점을 이용하여 가능한 불필요한 데이터는 다른 멤버 노드에게 전송하지 않도록 하며 (in-network processing), 이와 더불어 각 노드의 자원을 더욱 효율적으로 활용하기 위해 가능한 각 멤버 노드들은 자신이 필요로 하는 데이터를 이미 받고 있는 멤버 노드로부터 받을 수 있도록 한다 (similarity-based path arrangement). 하지만, 네트워크 상황은 지속적으로 변하고 사용자 요구 또한 계속 변화하기 때문에, 이러한 특성을 갖도록 전송 경로를 만들고 변화한 상황에 맞게 전송 경로를 업데이트하는 것은 많은 컴퓨팅 자원을 요구하고 실제로 거의 불가능한 일이다. 따라서 우리는 점진적 완화 기법 (incremental relaxation method)을 제안하였다. 이 방법을 통하여 효율적으로 전송 경로를 만들고 수정할 수 있도록 하였다. 실험을 통하여 본 논문에서 제안하는 전송 경로 관리 기법을 이용하였을 때 기존 방식에 비해 더 적은 시스템 자원을 이용하면서 더 많은 수의 전송 요구를 높은 만족도로 처리할 수 있음을 보여주었다.
둘 째, 대용량의 센서 데이터 스트림을 효율적으로 저장하기 위한 저장 기법과 그 저장 기법을 이용하는 저장 시스템의 구조를 제안하였다. 끊임없이 유입되는 대용량의 센서 데이터 스트림을 효율적으로 저장하기 위하여 유입되는 데이터의 일정량을 메인 메모리에 저장하고, 저장된 데이터를 클러스터링하여 개별 데이터가 아닌 클러스터 단위로 인덱싱하고 저장하도록 함으로써 개별 데이터를 저장할 때 보다 훨씬 효율적으로 데이터를 저장할 수 있는 저장 기법을 제안하였다. 실험을 통하여 논문에서 제시하는 클러스터 기반의 저장 기법이 검색과 저장시 우수한 성능을 보인다는 것을 보여주었다.
