In this dissertation, we discuss continual learning methods that can be practically used not only in common situations, but also under several strict constraints. Specifically, (1) source task information should not be stored in external memory, (2) the network size should remain constant, and (3) past and future task data should not be used for hyperparameter selection. First, we introduce a residual continual learning method that satisfies the first and second conditions. The residual continual learning method avoids unnecessary weight changes using residual reparameterization and a decay loss, but past data has to be used for hyperparameter selection. To solve the hyperparameter problem, we construct a quadratic penalty method that satisfies the second and third conditions. The quadratic penalty method approximates the original loss function by the extended Kronecker-factored approximate curvature. Finally, by reconstructing data from a trained network through statistics matching and regularizing the output and weight together, we propose a standalone continual learning method that satisfies all of the three conditions.
이 논문에서는 일반적인 상황뿐만 아니라 몇 가지 엄격한 제약 조건 하에서도 실용적으로 사용할 수 있는 지속 학습 방법에 대해 논의한다. 구체적으로, (1) 이전 태스크의 정보가 외부 메모리에 저장되어서는 안되며, (2) 네트워크 크기는 일정하게 유지되어야 하며, (3) 과거 및 미래 태스크의 데이터가 하이퍼 파라미터 선택에 사용되어서는 안되는 상황을 고려한다. 우선, 첫 번째와 두 번째 조건을 충족하는 잔차 지속 학습 방법을 먼저 소개한다. 잔차 지속 학습 방법은 잔차 재 매개 변수화 및 감쇄 손실을 사용하여 불필요한 가중치 변경을 방지하지만 하이퍼 파라미터 선택에는 과거 데이터를 필요로 한다. 이러한 하이퍼 파라미터 문제를 해결하기 위해 두 번째 및 세 번째 조건을 충족하는 이차 페널티 방법을 제안한다. 제안하는 이차 페널티 방법은 확장된 크로네커 분해 근사 곡률을 사용하여 원본 손실 함수를 근사한다. 마지막으로, 통계 매칭을 통해 훈련된 네트워크의 데이터를 재구성하고 출력과 가중치를 함께 정규화하여 세 가지 조건을 모두 충족하는 독립형 지속 학습 방법을 제안한다.
