This research proposes how to identify a virtualization-obfuscator that may be applied to a program. In the virtualization-obfuscated programs, some unusual patterns such as JMP instructions that have register argument to dispatch to instruction handlers. Virtualization-obfuscators also exploit code mutation such as insertion of dead code, opaque predicates, and constant propagation. Moreover, they insert garbage codes to make programs more complex and harder in reverse engineering. Each virtualization-obfuscator uses different code mutation patterns.
In this thesis, we propose a method to find special features of VM-obfuscated programs, and how to construct a Bayes classifier based on identified features. Our classifier is able to determine what commercial obfuscators are used or not. Our method is suitable to classify various sample programs with high accuracy. We apply suggested method to various sample programs obfuscated with various virtualization-obfuscators or not. Our classifier successfully determines which obfuscator is used or not with high accuracy.
본 연구에서는 주어진 바이너리 실행파일을 어떤 가상화 난독화 도구를 적용하여 만들었는지 여부를 구분할 수 있는 기법을 제시하였다. 가상화 난독화가 적용된 프로그램의 경우 내부 인터프리터 구조로 인해서 레지스터 점프 등의 특성이 나타난다. 또한 프로그램의 변환 과정에서 추가적 난독화 기법을 적용하게 되어 실행되지 않을 명령어(dead code), 항상 같은 값으로 계산되는 논리식(opaque predicate), 상수 확산(constant propagation) 등과 같은 불필요한 명령어들이 많이 삽입된다. 이외에도 다양한 패턴의 쓰레기 코드를 넣어서 분석을 복잡하게 한다. 이런 패턴은 가상화 난독화 도구마다 서로 다르다.
본 논문에서는 가상화 난독화 기법이 적용된 프로그램 코드의 여러 가지 특성을 찾고, 이들 여러 가지 특성을 이용해서 베이지안 분류 기법을 이용해서 가상화 난독화된 바이너리를 식별하고 가상화 난독화 도구의 종류를 알아낼 수 있는 분류 기법을 제안하였다. 이 기법을 여러가지 도구로 난독화한 실험 자료에 적용하여 실험한 결과 여러 대상 샘플에 대해서 매우 높은 정확도로 사용된 가상화 난독화 도구를 식별할 수 있었다.
