Modern image files support progressive transmission mode and provide a preview before downloading the entire image for improved user experience to cope with a slow network connection. In this paper, with a similar goal, we propose a progressive transmission framework for large sized deep learning models, especially to deal with the scenario where pre-trained deep learning models are transmitted from servers and executed at user devices. Our progressive transmission framework allows inferring approximate models in the middle of file delivery, and quickly provide an acceptable intermediate outputs. On the server-side, a deep learning model is divided and progressively transmitted to the user devices. Then, the divided pieces are progressively concatenated to construct approximate models on user devices. Experiments show that our method is computationally efficient without increasing the model size and total transmission time while preserving the model accuracy. We further demonstrate that our method can improve the user experience by providing the approximate models especially in a slow connection.
최신 이미지 파일은 점진적 전송 모드를 지원하며, 느린 네트워크 속도에서 향상된 사용자 경험을 위해 전체 이미지 다운로드 전 미리보기를 제공한다. 본 논문에서는 유사한 목표를 가지고, 사전 훈련된 고용량의 딥 러닝 모델이 서버로부터 사용자 기기로 전송되는 상황에서 이용할 수 있는 딥 러닝 모델의 점진적 전송 프레임워크를 제안한다. 제안하는 프레임워크를 이용하면 딥 러닝 모델 전달 중에 파일의 일부만으로 추론이 가능해지며, 사용자는 빠르게 딥 러닝 모델의 근사 결과를 받아볼 수 있게 된다. 딥 러닝 모델은 서버 측에서 분할되며, 사용자 장치로 점진적으로 전송된다. 이후 분할된 파일은 사용자 기기에서 합쳐지며 모델의 근사한 결과를 출력하게 된다. 실험을 통해 우리는 모델의 크기와 전체 전송 시간을 늘리지 않고도 모델의 정확도를 유지한 채 점진적으로 추론을 할 수 있음을 보인다. 또한 우리의 프레임워크를 통해 근사 모델을 제공함으로써 특히 느린 네트워크에서 사용자 경험을 향상시킬 수 있음을 보인다.
