Inspired by Regularized Lottery Ticket Hypothesis (RLTH), which states that competitive smooth (non-binary) subnetworks exist within a dense network in continual learning tasks, we investigate two proposed architecture-based continual learning methods which sequentially learn and select adaptive binary-(WSN) and non-binary Soft-Subnetworks (SoftNet) for each task. WSN jointly learns the model weights and task-adaptive binary masks of subnetworks associated with each task whilst attempting to select a smallset of weights to be activated (winning ticket) by reusing weights of the prior subnetworks; SoftNet jointly learns the regularized model weight and task-adaptive non-binary masks. The outstanding points of WSN and SoftNet were derived through the following three continuous learning scenarios. In the first scenario, Task Incremental Learning (TIL), WSN, and SoftNet are inherently immune to catastrophic forgetting as each selected subnetwork model does not infringe upon other subnetworks. Moreover, we observed that sub-networks compression in TIL minimizes the model capacity. Surprisingly, in the inference step, SoftNet generated by injecting small noises to the backgrounds of acquired WSN (holding the foregrounds of WSN) provides excellent forward transfer power for future tasks in TIL. In the second scenario, Few-shot Class Incremental Learning (FSCIL), SoftNet shows its effectiveness over WSN inregularizing parameters to tackle overfitting issues caused by a few examples. In the third scenario, Video Incremental Learning (VIL), WSN suggested that the reused weights of the subnetworks depend on the video contexts and that its video generation ability is close to the upper bounds deduced by Multi-Task Learning (MTL).
본 연구에서는, 평생학습(연속학습) 분야에서 네트워크 내에 경쟁적이고 평활한(non-binary) 하위-네트워크가 존재한다는 Regularized Lottery Ticket Hypothesis(RLTH) 가설 기반으로, 순차적으로 태스크를 학습하고 하위-네트워크를 선정하는 두 가지 기법을 조사한다. 첫 번째 기법은, 각 작업에 대한 경쟁적인 적응 바이너리 하위-네트워크(Winning SubNetwork, WSN)이며, 두 번째 기법은, 비-바이너리 정규화된 하위-네트워크 (Soft-SubNetworks, SoftNet)이다. WSN과 SoftNet은 현재의 태스크를 설명하는 과거의 하위-네트워크의 가중치를 적응적으로 재사용하고, 하위-네트워크의 정규화된 모델 가중치 및 비이진 마스크를 공동으로 학습한다. 이 구조의 우수성은 아래 3가지의 연속 학습 시나리오를 통해서 태스크에 적합한 하위-네트워크가도출되는 것을 유의미한 관찰을 통해서 증명되었다. 첫 번째 시나리오에서, WSN 및 SoftNet은 선택한 각 하위-네트워크 모델은 여러 개의 태스크 증분 학습(Task Incremental Learning, TIL)에서 다른 하위-네트워크의 매개변수를 침해하지 않기 때문에 치명적인 망각이 일어나지 않는다는 것을 실험적으로 증명한다. 하위-네트워크가 가지는 구조적 장점을 이용하여, TIL에서 저장해야 할 학습된 하위-네트워크 용량을 최소화할 수 있었다. 또한, TIL의 추론 단계에서 획득한 WSN의 배경(=0)에 작은 노이즈를 부가하여 획득한 SoftNet은 미래 태스크를 위한 우수한 순방향 전송 능력을 제공한다는 것을 확인하였다. 두 번째 시나리오에서, 소수의 카테고리 증분학습(Few-shot Class Incremental Learning, FSCIL)에서 SoftNet은 과적합 문제를 해결하기 위해 매개변수를 정규화하고, WSN에 대비 우수한 성능을 보여 주었다. 세 번째 시나리오, 비디오 생성 증분학습(Video Incremental Learning, VIL)에서 WSN 구조는, 비디오 상관성에 따라서 재사용되어야 하는 네트워크의 가중치도 달라져야 한다는 결론을 제시하였으며, 멀티 태스크 학습(Multi-Tasks Learning,MTL)에 의해 도출된 비디오 연속 학습의 상한 성능에 가까운 비디오 생성 능력을 보여 주는 놀라운 결과로 그 유효성을 입증하였다.
