Deep-learning (DL) is receiving huge attention as enabling techniques for emerging mobile and IoT applications. It is a common practice to conduct DNN model-based inference using cloud services due to their high computation and memory cost. However, such a cloud-offloaded inference raises serious privacy concerns. Malicious external attackers or untrustworthy internal administrators of clouds may leak highly sensitive and private data such as image, voice and textual data.
In this paper, we propose Occlumency, a novel cloud-driven solution designed to protect user privacy without compromising the benefit of using powerful cloud resources to run highly-accurate large DNN models at low latency. Occlumency leverages secure SGX enclave to preserve the confidentiality and the integrity of user data throughout the entire DL inference process. DL inference in SGX enclave, however, impose a severe performance challenge. Our motivational study shows that a naive DL inference inside SGX is 6.4x slower compared to the native environment. To accelerate DL inference inside the enclave, we designed a suite of novel techniques to overcome the limited physical memory space and inefficient page swapping of the enclave, which are the leading causes of the performance degradation. We implemented Occlumency based on Caffe in both Linux and Windows environments. Our experiment with various DNN models shows that Occlumency improves inference speed by 3.6x compared to the baseline DL inference in SGX and achieves a secure DL inference within 72% of latency overhead compared to inference in the native environment.
딥러닝 알고리즘은 다양한 스마트 서비스에서 핵심 기술로 자리 잡고 있으며 여러 모바일 애플리케이션에서 큰 주목을 받고 있다.
딥러닝 추론은 연산량과 메모리 요구가 매우 크기에 모바일 기기 대신 연산 자원이 풍부한 클라우드를 활용하는 것이 일반적이다.
그러나 이러한 방식은 심각한 프라이버시 문제로 연결되는데, 사용자들의 사적인 이미지, 음성, 텍스트 자료를 유출시킬 위험이 있다. 이에 본 연구에서는 사용자의 프라이버시를 보호하는 동시에 클라우드의 강력한 컴퓨팅 자원을 활용할 수 있는 새로운 딥러닝 프레임워크를 제안한다. 이 프레임워크는 신뢰실행환경을 활용하여 사용자의 정보유출과 연산 오염 및 조작을 방지한다. 하지만 신뢰실행환경은 메모리 제약으로 인한 속도 저하를 보이는데, 본 연구에서는 메모리 효율적 딥러닝 방식 및 자원관리 디자인을 통해 속도를 크게 향상시켰다. 본 연구에서는 이 프레임워크를 디자인·구현하였고 신뢰실행환경에서의 딥러닝 추론 속도를 약 3.6배 향상 시켰다.
