Current neural networks achieved human-comparable performance in many offline tasks. However, since
the training environment is not static in the real world, it breaks the i.i.d assumption in Empirical Risk
Minimization. Continual learning is a research area that aims to make the neural network can train in a
dynamically changing training environment. Continual learning assumes that the previously seen data is
not used again to check that the neural network is well retaining previous knowledge during the training
environment change. The basic way in continual learning is to additionally train the new dataset on a
trained model, but this leads to a so-called catastrophic forgetting in which the performance of previously
learned data is drastically decreased. Many previous works point out the absence of previous loss function
and they modeled the surrogate loss to approximate it. Although previous works achieved the alleviation
of catastrophic forgetting, they have several limitations such as violating the assumption, unintentional
change of surrogate loss, and need large additional cost. In this thesis, we propose a new approach
to overcoming catastrophic forgetting, Dataset Distillation for Continual learning (D2CL), which can
avoid the above shortcomings. D2CL train the small synthetic dataset which well approximates the loss
function of the original dataset. This thesis also introduces a new proposition that is useful for loss
approximation. Finally, it is validated through several experimental results that our proposed method
help to store more informative data while using small additional memory.
현재, 인공신경망은 다양한 고정된 태스크에서 사람과 견줄만한 수준의 성능을 보이고 있다. 하지만 현실
세계에서는 학습 환경이 변화하기 때문에, 경험적 위험 최소화의 독립 항등 분포 가정이 더 이상 성립하지
않는다. 지속학습은 학습환경이 변화하는 상황에서도 인공신경망이 원활하게 학습하는 것을 목적으로 한
연구분야이다. 지속학습은 변화하는 학습환경에서 이전에 학습한 지식을 기억하는 정도를 확인하기 위해
학습에 사용했던 데이터는 다시 사용하지 않는 가정을 가지고 있다. 이를 위한 기본적인 방법은 학습된 모델
에 새로운 데이터셋을 추가적으로 학습하는 것이지만, 이는 이전에 학습했던 데이터셋에 대한 급격한 성능
저하를 일으키는 일명 치명적 망각 현상이 발생한다. 많은 선행연구들은 이전에 보았던 데이터의 손실함수
부재를 치명적 망각의 주요 원인이라 지적하고 이를 근사하는 대리 손실함수를 모델링하였다. 기존의 방법
론은 치명적 망각을 완화하는 효과를 보였지만, 지속학습의 가정 위배, 대리 손실함수의 의도치 않은 변경,
그리고 많은 추가 비용을 필요로 하는 한계점이 있다. 본 연구에서는 치명적 망각을 극복할 수 있는 새로운
방법론인 지속학습을 위한 데이터셋 증류법을 제안한다. 본 연구는 원본 데이터셋의 손실함수를 근사하는
작은 가상 데이터셋을 학습하는 방법을 제안한다. 또한 본 연구에서는 손실함수 근사에 유용한 새로운 명제
를 유도하였다. 마지막으로 여러 실험 결과를 통해 제안한 방법론이 적은 추가 메모리를 사용함에도 유용한
데이터를 저장함을 확인하였다.
