Image inpainting technique has recently been developed significantly by using deep neural networks and adopted in many real-world applications, such as removing obstacles, restoring damaged objects, and retouching photos. However, image inpainting networks using deep learning suffer from high parameter complexities and long inference time. While there are some efforts to compress image-to-image translation GAN, compressing image inpainting networks has rarely been explored. In this paper, our purpose is to create a small efficient model by compressing the generator of the inpainting model without sacrificing image quality. We first proposed novel channel pruning and knowledge distillation techniques that are specialized for image inpainting models using mask information. We selected channels sensitive to mask areas and trained a pruned inpainting model using three knowledge distillation methods that receive information from large inpainting models. We compressed the representative inpainting model, GLCIC, and reduced the model size and operations by more than 10x with only small loss. Extensive experimental results demonstrated the effectiveness of our proposed methods in image inpainting tasks. To the best of our knowledge, our work is the first attempt to compress an image inpainting model.
이미지 인페인팅 기술은 최근 심층 신경망을 사용하여 크게 발전되었으며 장애물 제거, 손상된 물체 복원, 사진 수정과 같은 많은 응용 분야에 적용되고 있다. 그러나 딥러닝을 이용한 이미지 인페인팅 네트워크는 매개 변수 복잡성이 높고 추론 시간이 길다는 문제가 있다. 이미지 대 이미지 변환 GAN을 압축하려는 노력은 일부 있지만, 이미지 인페인팅 네트워크를 압축하는 문제는 거의 탐구되지 않았다. 본 논문의 목적은 이미지 품질을 저하시키지 않고 인페인팅 모델의 생성기를 압축하여 작고 효율적인 모델을 만드는 것이다. 우리는 마스크 정보를 사용하여 이미지 인페인팅 모델에 특화된 새로운 채널 가지치기 및 지식 증류 기술을 처음으로 제안하였다. 우리는 마스크 영역에 민감한 채널들을 고르고, 큰 인페인팅 모델로부터 정보를 전달 받는 3가지 지식 증류 방법을 이용하여 작은 인페인팅 모델을 학습시켰다. 제안한 방법을 통해 대표적인 인페인팅 모델인 GLCIC를 압축하여 적은 손실만으로 모델 크기와 연산량을 10배 이상 줄였다. 광범위한 실험 결과는 이미지 인페인팅에서 제안된 방법의 효과를 입증한다. 우리가 아는 한 본 논문은 이미지 인페인팅 모델을 압축하려는 첫 번째 시도이다.
