Neural networks have surpassed human performance at many individual tasks. However, when it comes to learning in a continual setting, where data comes in non-independent and identically distributed streams, they suffer heavily from a phenomenon called catastrophic forgetting, the loss of the information of past tasks with the learning of a new task. This is in contrast with how humans learn as they utilize past knowledge to learn new knowledge more efficiently. Overcoming catastrophic forgetting while facilitating future learning is one of the most challenging issues in machine learning currently. To address this issue, we propose a brain-inspired complementary dual network model, comprising a fast learner and a slow consolidator. The fast learner first adapts to a new task that is seen only once, and the slow consolidator then distills the new task information from the fast learner using knowledge distillation. The two networks are trained in an alternate manner. To consolidate the learning of new task with the learning of past tasks, we employ a small memory of each task for replay during the training of the slow consolidator. In addition, we implement a context-based gating mechanism on the slow consolidator, and empirically prove its positive impact on the performance of the proposed model. We show the results of our model on MNIST Permutations, MNIST Rotations, MNIST Split and Incremental CIFAR100 datasets.
신경망은 많은 개별 작업에서 인간의 성과를 넘어섰다. 그러나 지속적으로 배우는 환경에서 제공되는 자료가 독립이 아니고 분포가 다를 때에는 치명적 망각이라는 현상으로 인해 그 성능이 매우 떨어진다. 치명적 망각은 새로운 과제를 배우면서 과거 과제의 정보를 잊어 버리는 것을 말한다. 이것은 인간이 이미 배운 지식을 활용하여 새로운 지식을 더 효율적으로 배우는 것과 대조된다. 미래의 학습을 촉진하면서 치명적 망각을 극복하는 것이 현재 기계 학습에서 가장 어려운 문제 가운데 하나이다. 이 문제를 해결하고자 이 논문에서는 빠른 학습과 느린 통합이라는 방식으로 배우는 인간의 두뇌에서 영감을 받아, 보완 이중 학습망 모형을 제안한다. 제안한 모형에서 빠른 학습기는 한 번만 표시되는 새 작업에 적응하고, 느린 통합기는 지식 증류를 써서 빠른 학습기에서 새 지식 정보를 추출하며,
이 두 학습기는 번갈아 작동하는 방식으로 훈련된다. 새로운 과제의 학습과 과거 과제의 학습을 통합하고자 느린 통합기를 훈련할 때에 재생을 위해 각 과제의 작은 기억을 쓴다. 또한 느린 통합기에서 내용 바탕 게이팅 방식을 쓰면 제안한 모형의 성능에 대하여 긍정적으로 작동함을 경험적으로 보인다. MNIST 순열, MNIST 회전, MNIST 분할과 증분, CIFAR100 자료를 바탕으로 제안한 모형의 성능을 살펴본다.
