Continual learning is an online method of learning that requires multi-task solving skills to an endless stream of data. The major challenge is catastrophic forgetting, which is the learner forgets the previous knowledge when is trained on new information. To address this problem, memory-based methods are widely used and have shown high performance. However, models with raw data can lead to low storage issues and also cannot be applied to the sensitive data that cannot be stored. In this paper, we propose Feature Replay through Sample Reconstruction (FR-SR) to address the described problem. FR-SR stores the feature instead of raw data and replays through the variant of Variational Auto-Encoder (VAE). We suggest a novel architecture for feature replay methods and show our model more suitable than the original VAE. Furthermore, the performance of our model comes up to the memory-based model. As a result, FR-SR achieved the highest accuracy of any non-memory methods in the Split MNIST and Split FMNIST datasets.
연속 학습은 데이터와 태스크가 순차적으로 주어지는 환경에서 최종적으로 모든 작업을 수행하는 단일 모델링을 구축하고자 하는 온라인 다중 작업학습이다. 연속 학습의 가장 큰 문제점은 학습자가 새로운 정보에 대해 학습할 때 이전 지식을 잊는 치명적인 망각이다. 이 문제를 해결하기 위해 메모리 기반 방법이 널리 사용되고 있으며 높은 성능을 보여준다. 그러나 원시 데이터가 있는 모델은 저장소 부족 문제가 발생할 수 있으며 또한 저장할 수 없는 민감한 데이터에 적용할 수 없다. 본 논문에서는 원시 데이터를 저장하는 문제를 해결하기 위해 FR-SR (Feature Replay through Sample Reconstruction)을 제안한다. FR-SR은 원시 데이터 대신 피처를 저장하고 이를 변분 오토인코더 변형을 통해 재생한다. 피처 재생 방법에 대한 새로운 네트워크 구조를 제안하고 모델이 기존 변분 오토인코더보다 적합한 모델임을 보여준다. 또한 우리 모델의 성능은 메모리 기반 모델에 이른다. 그 결과, FR-SR은 분리된 MNIST 및 FMNIST 데이터 세트에서 비메모리 방법 중 가장 높은 정확도를 달성했다.
