Cloud computing and the underlying virtualization technology is becoming increasingly popular, and valuable information stored inside cloud computing environments are increasing at an alarming rate. As a result, APT (Advanced Persistent Threat) attacks that target the information are also increasing. Because the key element of APT attacks is the rootkit that provides stealth, rootkit detection is an effective defensive measure against APT attacks.
There exists some previous research on rootkit detection utilizing virtualized systems. However, such researches targeted one virtual machine per system, leading to scalability issues due to great overheads. Some examples of this scalability issues are examplified by A/V storms, which is a type of bottlneck that happen in a virtualized system when multiple VMs attempt rootkit detection scans simultaneously.
In this paper, I propose how to apply VMI (Virtual Machine Introspection) techniques to detecting rootkits in virtualized environments, and use the insights gained to design an effective and efficient rootkit detection system. I apply VSA (Virtual Security Appliance) techniques to maximize the advantages of VMI techniques. I propose techniques for detecting rootkits using the signatures from the clean version of attack targets, and checking the consistency between two related kernel objects. In order to take cloud computing environments into account, where multiple virtual machines coexist, I also implemented a scheduler that adapts the rootkit detection scan schedules to the virtualization system workload so that bottlenecks such as A/V storms does not happen.
To prove that the proposed techniques are valid, I have implemented a prototype system, and performed experiments on the prototype system. The proposed prototype system succeeded in detecting all of the 21 rootkit samples, and also avoided bottlenecks with multiple virtual machines to be tested while naive systems showed bottlenecks caused by A/V storms.
클라우드 컴퓨팅 환경이 널리 사용되면서, 기업 등에서 중요한 데이터를 클라우드에 저장하는 사례가 증가하고 있다. 이러한 데이터가 클라우드 컴퓨팅 환경에 축적되면, 축적된 데이터의 탈취를 목적으로 하는 사이버 공격이 증가할 것으로 예상된다. 예상되는 사이버 공격 방법 중 루트킷을 사용하면서 장기적인 잠복을 통하여 공격을 수행하는 형태의 APT 공격이 위협적일 것으로 보인다. 따라서 루트킷 탐지 기술을 개발함으로써 이에 대한 방어책을 수립할 필요가 있다.
가상화 시스템에서의 루트킷 탐지 연구는 기존에도 진행되고 있으나, 대부분의 기존 연구는 탐지 대상 가상머신 1개만 포함하는 가상화 환경을 대상으로 한다. 기존 방법은 여러 가지 제한점 및 성능상 오버헤드가 많다. 이러한 오버헤드의 대표적인 예로, 다수의 가상머신이 동시에 바이러스 검사를 진행하여 I/O 시스템 등에 병목 현상을 불러일으키는 A/V storm 현상이 존재한다.
본 논문에서는 가상화 시스템에서 루트킷을 탐지하기 위하여 VMI (Virtual Machine Introspection) 기술을 적용하였고, 효과적이며 효율적인 루트킷 탐지 시스템을 제시하였다. VMI 기법의 장점을 극대화하고 단점을 보완하기 위하여 VSA 기법을 적용하였으며, 루트킷의 주 공격대상의 시그니처를 보전하고, 연관성 있는 자료구조 간의 대조를 통한 방어 기법을 제안하였다. 또한, 다수의 가상머신이 공존하는 클라우드 컴퓨팅 환경을 고려하여, 가상화 시스템의 워크로드를 고려하여 루트킷 검사 스케줄을 조절하는 방식으로 병목 현상을 방지하는 스케줄러를 제안하였다. 더불어 이를 기반으로 한 루트킷 탐지 시스템의 프로토타입을 구축하였다.
본 논문에서 제안한 시스템의 성능을 검증하기 위하여, 구축된 프로토타입 시스템을 사용하는 실험을 수행하였다. 실험결과로 본 논문에서 제안한 시스템이 다양한 종류의 루트킷을 탐지할 수 있음을 증명하였다. 또한, 단순한 루트킷 탐지 시스템에서 다수의 가상머신을 동시에 검사함으로써 일어나는 병목 현상이 본 논문에서 제안한 시스템에서는 발생하지 않음도 확인하였다.
