Since the emergence of rootkits, malwares which aim to directly attack the kernel, it was important to protect the operating system and its kernel for the system’s security. Thus, protecting kernel invariants, the values which rootkits modify to violate kernel integrity, had naturally been the focus of the system security area. There had been many approaches to protect the kernel invariants. However, software-based approaches suffered from low performance and scalability, while hardware-based approaches were never able to fulfill its purpose due to their semantic gap problem.In this paper, we introduce the Hyperkernel system, which aims to take the advantage of both by combining the software-based and the hardware-based approach. It was possible for the Hyperkernel system to take hardware monitors' performance and software monitors' thorough protection via devising a system consisting of a hardware monitor and a software component which we named as the Hyper-agent. We have also proven the Hyperkernel's security by successfully detecting VFS hooking, process credential elevation attack, and system call table hooking with appropriate security policies, while UnixBench benchmark shows only around 1.6% of performance overhead for the Hyperkernel system.
커널을 직접 공격하여 커널 권한을 얻는 것을 수단이나 목표로 하는 악성코드 루트밋의 등장으로 인해, 운영체제와 그 중심에 있는 커널의 무결성을 보호하는 것은 시스템 보안에 있어 최중요 사안이였다. 이에 루트킷이 커널의 무결성을 침해하기 위해 변조하는 값들인 커널 불변값들을 보호하는 것이 자연히 관심사로 떠올랐다. 이를 보호하기 위해 많은 종류의 접근이 있었지만, 소프트웨어 기반의 접근은 성능이 나쁘고 확장 성이 떨어지는 편이였으며, 하드웨어 기반의 접근은 시맨틱 갭으로 인해 시스템의 정확한 상태를 알아내는 것이 불가능한 형국이였다.본고에서는 소프트웨어와 하드웨어 기반 커널 불변값 보호 연구를 혼합함으로써, 양자의 장점을 모두 취하는 하이퍼커널 시스템을 제안한다. 하이퍼커널 시스템은 소프트웨어 컴포넌트인 하이퍼-에이전트와 하드웨어 모니터를 결합함으로써 하드웨어의 성능과 소프트웨어의 엄밀성을 모두 취할 수 있었다. 또한 본고에서는 하이퍼커널 시스템에 적절한 정책을 사용함으로써 주요 커널 불변값인 가상 파일 시스템 (VFS) 포인터, 프로세스 크레덴셜 및 시스템 콜 테이블을 보호하여 하이퍼커널 시스템의 보안성을 실증하였고, UnixBench 벤치마크 결과 평균 1.6% 내외의 성능 부하를 보이는 것으로부터 하이퍼커널 시스템의 성능을 실증하였다.
