We propose a continual learning algorithm that effectively mitigates catastrophic forgetting that occurs when a deep neural network is trained on multiple tasks sequentially. Our method takes advantage of the pre-training of neural networks for effective continual learning. Based on the observation that quadratic parameter regularization is able to achieve the optimal continual learning policy with linear models, our algorithm $\textit{linearizes}$ the neural network and applies quadratic penalty to parameters by estimating the Fisher information matrix. We show that the proposed method can prevent forgetting while achieving high performance on image classification tasks. Our method can be used in data incremental and task incremental learning problems.
이 논문에서는 심층 신경망 모델에 대하여 순차적으로 여러 데이터를 학습시킬 경우 발생하는 파국적 망각 현상을 효과적으로 방지하는 방법을 제시하였다. 본 연구에서는 사전 학습된 심층 신경망 모델을 사용하여 효과적인 지속 학습을 달성하였다. 모델이 선형일 경우 이차 매개변수 정규화 알고리즘이 방법이 최적 지속 학습 알고리즘인 점에 기반하여, 신경망 모델을 매개변수에 대해 선형화고 피셔 정보 행렬을 이용해 매개변수를 정규화하는 알고리즘을 제안하였다. 본 방법은 신경망 기반의 이미지 분류 문제에 대해 높은 성능을 달성하면서도 파국적 망각을 효과적으로 방지할 수 있으며, 본 방법은 데이터 증가 학습과 태스크 증가 학습 상황에 대해 사용될 수 있다.
