With the recent rapid developments of deep learning, deep neural networks have been applied to various computer vision tasks such as object classification, detection, and segmentation, and have shown superior performance. Deep neural networks, however, suffers from the problem called "catastrophic forgetting" that is a tendency of forgetting previously learned tasks when deep neural networks learn new tasks. Catastrophic forgetting is considered as a fundamental limitation of deep neural networks. Knowledge distillation-based methods have been proposed to alleviate catastrophic forgetting problem, but the performance is still not good. In this paper, we propose a Task-selective Autoencoder (TsAE) to improve the performance of class incremental learning of the conventional knowledge distillation-based method. The proposed Task-selective Autoencoder has a simple architecture and a small number of trainable parameters. The experimental results show that the application of Task-selective autoencoder to the existing knowledge distillation-based methods effectively improves classification performance.
최근 딥러닝이 급격하게 발달함에 따라 딥 뉴럴 네트워크가 객체 분류, 검출, 세분화 등 다양한 컴퓨터 비전 태스크에 적용되어 우수한 성능을 보여주고 있다. 하지만 딥 뉴럴 네트워크는 새로운 태스크를 학습할 때 이전에 학습한 태스크의 정보를 대부분 잊어버리는 "파괴적 망각"이라는 문제점을 가지고 있고, 이것은 딥 뉴럴 네트워크의 근본적인 한계로 여겨져 왔다. 파괴적 망각을 해결하기 위해서 지식 증류 기반의 방법들이 제안되었지만 여전히 성능은 높지 않다. 본 논문에서는 태스크 선택 오토인코더를 제안하고 이를 사용하여 기존의 지식 증류 기반 방법의 클래스 점진 학습의 성능을 향상시킨다. 제안한 태스크 선택 오토인코더는 간단한 네트워크 구조와 적은 수의 파라미터를 가지고 있다. 실험 결과는 태스크 선택 오토인코더를 기존의 지식 증류 기반의 방법에 적용하면 클래스 분류 성능을 효과적으로 향상시킴을 보여준다.
