The performance of models related to visual recognition, such as image classification and object detection, has recently improved with the development of deep learning. However, in order to train a deep learning-based model, a model with many parameters and a large amount of data are required. This thesis examines the knowledge distillation method. First, we proposed an attention-based meta-network which models relationships between the teacher model layers and the student model layers to distill knowledge effectively. We empirically show through experiments that the proposed methodology is more effective than using a heuristic to designate the layer links between the teacher model layers and the student model layers. Second, when using the method of knowledge distillation by the student model itself without a teacher model (self-knowledge distillation), we proposed the novel method which utilizes spatial information. To this end, we introduced an auxiliary network for training by altering the model used in the existing object detection model.
영상 분류, 물체 검출 등의 영상 인식과 관련된 모델의 정확도는 최근 딥러닝의 발전과 함께 향상되었다. 하지만 딥러닝 기반의 모델을 학습하기 위해서는 많은 파라미터를 가진 모델과 많은 양의 데이터가 필요하다. 본 학위논문에서는 파라미터가 적은 모델의 학습을 고도화하기 위한 지식 증류 방법에 대해 연구하였다.
첫 번째로 우리는 어텐션 기반의 메타 네트워크를 활용해서 선생 모델과 학생 모델의 레이어 관계를 모델링하여 지식 증류를 효과적으로 할 수 있는 방법론을 제시하였다. 기존의 지식을 전달하는 선생 모델과 지식을 전달받는 학생 모델의 레이어를 휴리스틱을 사용하여 지정한 것에 비해 제안한 방법론이 더 효과적임을 실험을 통해 실증적으로 보였다. 두 번째로 선생 모델 없이 스스로 지식 증류의 방법론을 사용할 때 위치 정보를 활용할 수 있게 도와주는 방법론을 제안하였다.
