Continual Learning is the process of sequentially acquiring knowledge from evolving tasks. The predominant challenge in existing continuous learning is catastrophic forgetting, where the model tends to forget information from previously learned tasks as it gradually adapts to new tasks. To address this challenge, rehearsal-based methods have primarily been proposed, involving the maintenance of a small memory to store and retrain past samples. However, existing rehearsal-based methods rely on selecting only a limited number of samples. To tackle this problem, studies suggesting the application of dataset condensation have been proposed to efficiently utilize memory. While this approaches alleviate information loss, they do not prevent the removal of samples in memory update. Moreover, when a task input is provided separately in a continual learning, the condensation process is performed without distinguishing between tasks. To address this challenges, We propose a ICON framework, which stands for incremental dataset condensation for continual learning. This framework involves two processes: firstly, introducing the concept of re-condensation to address the samples removing, and secondly, enabling the learning of inter-task discrimination through an integrated condensation that combines condensation and re-condenation. We demonstrate that our approach outperforms standard rehearsal-based continual learning methods and dataset condensation methods on diverse image datasets and buffer size.
연속 학습은 새로운 데이터가 계속해서 들어오는 상황에서 딥러닝 모델이 변화하는 테스크들을 지속적으로 학습하는 것을 의미한다. 기존 연속 학습의 가장 큰 문제는 치명적 망각인데 이는 모델이 새로운 테스크에 맞춰 점진적으로 학습해감에 따라 이전에 학습한 테스크의 내용은 잊어버리는 현상을 의미한다. 이를 해결하기 위해 기존에는 메모리에 이전 테스크의 샘플을 저장하고 다시 학습해 망각을 해결하는 리플레이 기반 방식이 주로 제안되어왔다. 하지만 기존 방식은 전체 입력 중 몇개의 샘플만 선택해 의존한다는 한계가 있었다. 따라서 여러개의 샘플을 압축한 합성된 이미지를 생성하는 데이터 압축을 통해 메모리를 효율적으로 사용하고자 하는 연구가 제안되었다. 이는 정보 손실은 완화하였지만 메모리를 업테이트 하는 과정에서 발생하는 샘플의 제거를 막지는 못하였다. 또한 연속학습 상황에서 테스크의 입력이 따로 주어졌을 때 이 테스크 간의 구별이 없이 압축 과정을 수행하였고, 이는 테스크 간 차이를 불분명하게하였다. 이를 해결하기 위해 본 연구는 데이터셋 압축을 연속 학습에 적용한 연속적 압축 프레임워크를 제안하고자 한다. 이는 두 가지 과정을 포함하는데, 먼저 샘플의 제거를 해결하기 위해 재응축 개념을 제안하며 데이터 압축과 재응축의 과정을 통합한 통합된 응축 과정을 통해 테스크 간 정보를 배울 수 있도록 한다. 본 연구는 다양한 이미지 데이터셋과 상황에 대해 제안하는 프레임워크의 우수성을 입증하였다.
