Windows kernel vulnerabilities are risks in terms of security because hackers use them to get a higher privilege and bypass security mitigation. Therefore, it is important to identify and patch Windows kernel vulnerabilities in advance. However, There are only few studies that found kernel vulnerabilities in commercial operating systems such as Windows. Therefore, Windows kernel vulnerability detection relies on relatively simple methods. However, simple methods do not find bugs deep in kernel.
In this master thesis, we analyzed API logs and inferred API models to implement WIMF to detect Windows kernel vulnerabilities. We attempted to detect vulnerabilities in the latest Windows. Although it was successful to infer API models with 65.71% accuracy, it failed to find window kernel vulnerability due to a number of user level errors. However, it is important to infer API models and use them for detecting kernel vulnerabilities. Therefore, we explain limitations of Windows kernel vulnerability detection by using the API models and address the direction of the study of Windows kernel vulnerability.
윈도우즈 커널 취약점은 해커들이 권한 상승 공격과 보안기법 우회에 사용하기 때문에 보안 측면에서 위험하다. 하지만 소스코드가 없는 윈도우즈와 같은 상용 운영체제를 대상으로 커널 취약점을 찾는 연구는 거의 찾아볼 수 없다. 뿐만 아니라, 현재 윈도우즈에서 커널 취약점을 찾는 공개된 퍼저 들은 대부분 무작위의 인자를 임의의 커널 API에 넣어 퍼징을 진행한다. 이러한 방법은 API 함수간의 연관 관계를 고려하지 않기 때문에, 커널 API 코드 초반부에서 오류를 반환하는 경우가 많다.
이를 해결하기 위해 본 학위논문에서는 API 로그를 분석하고 API 모델을 자동으로 추론하여 윈도우즈 커널 취약점을 탐지하는 WIMF 시스템을 설계하였다. WIMF는 65.71%의 정확도로 API 모델을 추론하는 데는 성공하였으나, 다수의 유저 영역 오류로 인해, 실제 윈도우즈 취약점 탐지에는 실패하였다. 하지만 API 모델을 추론하고 취약점 탐지에 활용하는 것은 커널 탐지 영역을 넓히기 위한 방법의 하나로 API 기반의 퍼징에서는 중요한 요소이다. 따라서 본 연구에서의 윈도우즈 API 모델 기반 커널 퍼징의 한계점을 설명하고, 앞으로 나아가야 할 윈도우즈 API기반 커널 취약점 탐지의 연구 방향을 다루고자 한다.
