Signature-based anti-virus scanner that utilizes specific bytes string is one of the popular malware detection methods. This method shows high efficiency and low false rate in detecting malware. However, it can't successfully detect the malware when packer method is applied to the malware. Packer compresses or encrypted the target le and pads compressed or encrypted le to additional section. Therefore, it changes the bit structure of the malware. When packed executable le is executed, compressed or ncrypted le is decompressed or decrypted on memory. Then, the program that is loaded on the memory is executed. This means that function of the packed executable program is same as an original program.
Signature-based anti-virus scanner employs two methods to over-come the difficulty of detecting packed malware: packed executable classification and generic unpacking. Packed executable classification decides whether the target program is packed or not. Then, generic unpacking is performed depends on the decision of a packed executable classification. Various generic unpacking methods have been researched [13, 14, 15, 22], but these generic unpacking methods consume long time and computing resources. Thus, accuracy of a packed executable classification is the critical issue in efficient malware detection. Because a false positive case happens, unnecessary time and resource is wasted performing generic unpacking on a non-packed executable file. On the other hand, a false negative case happens, malware detection would fail.
Previous packed executable classification methods show high false rate and can be easily evaded. PEiD[11] can be easily evaded by false signature. Bintropy[20] shows about 10% false rate. This method also can be evaded by monotonous padding bytes. Finally, Roberto $\It{et al}$. show high classification accuracy rate about 97%, but this method can be evaded by PE headers modification.
In this thesis, we propose highly accurate classification method which is resistant against evasion. Moreover, our method is efficient enough to be applied to practical anti-virus scanner. Our proposed classification method is based on complexity since packed executable file is usually compressed or encrypted.
We use LZO compression algorithm to measure the complexity which is the fastest compression algorithm as far as we know. Moreover, we propose a block dividing algorithm for exact complexity measurement which is previous step of complexity measurement. This block dividing step removes unnecessary part of complexity measurement. In our experiment, our proposed method shows accuracy about 97%. This rate is about 10% more accurate than Bintropy. In addition, our proposed method cannot be evaded by known evasion techniques, and it is efficient to be applied to practical anti-virus scanner.
악성코드를 탐지하기 위한 대표적인 기법은 파일의 일부 바이트를 서명으로 사용하는 서명 기반의 탐지 기법이다. 서명 기반의 탐지 기법은 정확하고 빠르다는 장점을 가지고 있어서 널리 사용되고 있다. 악성코드 제작자는 이를 회피하기 위하여 파일의 구조를 변경하는 실행압축 기법을 사용한다. 실행압축 기법은 파일의 일부 또는 전체를 암호화 또는 압축을 하고, 이를 복호화 도는 압축해제 하기 위한 코드를 추가로 덧붙인다. 프로그램이 실행이 되면 먼저 복호화 또는 압축해제 코드가 실행이 되고 메모리 상에 복호화, 압축해제가 이루어진 후에 프로그램이 실행이 된다.
서명 기반의 악성 코드 탐지 프로그램은 이에 대응하여 실행압축 여부를 판단하고, 실행압축을 해제하는 단계를 추가하였다. 현재까지 실행압축 해제 단계는 많이 연구되었지만 아직까지도 그 실행압축 판단이 잘못되면, 필요치 않은 실행압축 해제 시간이 소모되거나 악성코드 탐지에 실패하게 된다. 본 논문에서는 사용자의 자원 사용을 낮추고, 악성코드 탐지율을 높이기 위하여 실행압축 여부를 판단하는 기법에 대하여 연구하였다.
기존에 연구된 실행압축 여부를 판단하는 기법들은 그 정확도가 높지 않거나, 또는 간단한 회피 기법으로 회피가 가능하다는 단점을 가지고 있다. 본 논문에서는 정확도가 높고 회피 기법을 갖지 않으면서도, 실제 악성코드 탐지 프로그램에 적용할 수 있는 속도를 가지는 기법을 제안한다. 제안 기법은 파일의 복잡도를 측정하여 실행압축을 판단하는 기법으로, 실행 압축된 파일은 압축되어 있거나, 암호화가 되어있어 복잡도가 높다는 특징을 사용한다.
실제 구현에서는 복잡도 측정을 위하여 압축 기법을 사용하였으며, 그 중에서도 빠른 실행 속도를 위하여 알려진 압축 알고리즘 중에서 가장 빠른 Lempel-Ziv-Oberhumer(LZO) 압축 기법을 사용하였다. 그리고, 정확한 복잡도 측정을 위하여 불필요한 부분을 제거하는 단계를 복잡도 측정 전 단계가 추가하였다. 구현 프로그램의 수행 결과 기존에 제안되었던 Bintropy 기법보다 정확도가 약 10% 가 향상이 되었다. 그리고, 알려진 회피기법으로 회피가 불가능하며, 수행 속도는 일반적인 악성코드 탐지 프로그램에 적용하여도 무리가 없는 빠른 수행 속도를 보여주었다.
