The reference monitor is one of the methodologies to enhance the security of a system. It defines a legitimate state of the system and determines anomaly by comparing runtime status with pre-defined legitimate status. One of the important factors to determine the performance and practicality of the monitor is the implementation method, which can be based on either software or hardware. Software-based approaches have the advantage that they can be easily applicable and deployable to the existing system without changing hardware components, but the monitoring code for checking the security of a protected system employes hardware resources (i.e., CPU and memory) occupied by the software running on the host, which causes performance degradation. Hardware-based approaches have a negligible performance overhead but they are not flexibly adopting new detection method, since any modification of an hardware would certainly incur significant costs and time.
In this thesis, I will describe the hardware/software co-design for a practical security reference monitor that can be attached to an existing system without significant modification of a host processor. By splitting the monitoring into the information extraction and the security analysis, and offloading heavy security analysis to a dedicated off-core, the solutions can affect negligible performance overhead to the host system. Furthermore, the software components of the solutions provide not only the programmability and flexibility that security analysis schemes can be agilely applied but also the way the context information of the host processor is efficiently transferred to the off-core. Based on the above design, I implemented two security monitors based on the data flow and control flow analysis each of which can mitigate code-reuse attack and memory corruption vulnerabilities respectively.
정상성감시모니터 또는 참조모니터 (Refernce Monitor)는 시스템 보안을 향상시키기 위한 방법 중 하나로써, 시스템 정상 상태를 정의하여 사전에 정의된 정상 상태와 현재 동작상태를 비교함으로써 비정상 여부를 판단할 수 있는 기술이다. 이 모니터의 성능과 실현가능성을 결정짓는 중요 요소중 하나는 하드웨어 혹은 소프트웨어로 구현되는 방법이다. 소프트웨어 기반의 방법들은 기존의 시스템의 하드웨어 구성요소들을 변경하지 않고 쉽게 적용하고 설치할수 있는 장점이 있지만, 보안 검사를 위한 코드 또한 감시하고자 하는 소프트웨어와 같은 하드웨어 자원을 필요로 하기 때문에 성능저하를 발생시킨다. 하드웨어 기반의 방법들은 성능부하가 거의 없으나 상당한 하드웨어 수정이 필요로 하여 추가적인 비용과 시간을 발생시킨다.
본 논문에서는 호스트 프로세서의 수정 없이 기존의 시스템에 적용할수 있는 실용적인 보안 감시를 위한 하드웨어/소프트웨어 통합 설계에 대해 서술하고자 한다. 감시과정을 정보 추출과정과 보안 분석과정으로 분리하여, 전용 외부 코어에 무거운 보안 분석을 전담시킴으로써, 호스트 시스템에 가해지는 성능 부하가 적도록 만들 수 있었다. 게다가, 소프트웨어 구성요소들은 기존의 보안 분석 방법들을 기민하게 적용할수 있게 프로그램할수 있는 환경과 유연성을 제공해줄뿐 아니라 외부 코어에 호스트 프로세서의 정보를 효율적으로 전송할 수 있도록 만들어 주었다. 이러한 디자인에 기초하여, 실행 흐름 분석과 데이터흐름 분석에 기초하여 코드 재사용 공격과 메모리 오염 취약점을 경감시킬 수 있는 두개의 모안 모니터를 구현하였다.
