Deep learning with artificial neural networks is one of the most powerful AI technologies. It shows state-of-the-art performance in various fields. To save network training time and improve performance, transfer learning is commonly used. Transfer learning achieves good target performance, but source performance is poor due to catastrophic forgetting. We propose a novel continual learning method called Reversible and Mergeable Learning (RML). The RML method keeps all the original parameters to enable the reversible process of additional training on the target task. After training, the original network and newly learned network can be merged into a network of the same size with the original one. A new network trained with the RML method shows better performance than the finetuning method, and surprisingly, can even outperform the original one on the source task without seeing any source data when the source and target tasks are similar. The RML method can also be used for data incremental learning.
인공 신경망을 이용한 심층 학습은 가장 강력한 인공 지능 기술 중 하나로서 다양한 분야에서 최첨단 성능을 보여주고 있다. 네트워크의 학습 시간을 줄이고 성능을 향상시키기 위해 전이 학습이 일반적으로 사용된다. 전이 학습은 좋은 목표 성능을 달성하지만, 파국적 망각 현상으로 인해 소스 성능이 저하된다. 이 논문은 가역 및 가합 학습이라는 새로운 지속 학습 방법을 제안한다. 이 방법은 모든 원래 매개 변수를 유지하여 대상 작업에 대한 추가 학습의 가역 과정을 가능하게 한다. 학습이 끝난 후에는 원본 네트워크와 새로 학습 된 네트워크를 원본 네트워크와 동일한 크기의 한 네트워크로 병합할 수 있다. 소스 작업과 목표 작업이 유사 할 때, 이 방법으로 학습한 새로운 네트워크는 파인튜닝 방식보다 우수한 성능을 보여 주며, 소스 데이터를 보지 않고도 원본 네트워크보다 소스 성능을 능가 할 수 있다. 가역 및 가합 학습 방법은 데이터 증가 학습에도 사용될 수 있다.
