With the development of deep learning, the tasks that Artificial Intelligence (AI) can solve with capabilities beyond humans have diversified, such as computer vision, natural language processing, and robotics. Here, since all tasks are trained under the common assumption that the distribution of training and test data is the same, the neural network trained for one task cannot perform other tasks. However, in the real world, AI must respond to multiple tasks or data domains that appear simultaneously or sequentially. This paper defines three cases in which one neural network can continuously exert knowledge while training multiple tasks and presents knowledge transfer and training strategy solutions for each: 1) Transfer learning to solve the lack of data problem for one target task, 2) Domain generalization that can test multiple target domains with small domain gap without additional training, 3) Continual learning: sequentially training multiple target domains with large domain gap while minimizing catastrophic forgetting. We performed transfer learning in the invisible mobile keyboard decoding task, domain generalization was studied in the face swapping task, and we applied continual learning to the unsupervised domain adaptation task for the first time in the world.
딥러닝의 발전으로 인공지능이 인간 이상의 능력으로 해결하는 테스크의 종류가 컴퓨터 비전, 자연어처리, 로보틱스 등 다양해졌다. 여기서, 모든 테스크는 학습 데이터와 테스트 데이터의 분포가 같다는 공통된 가정 하에 학습되기 때문에 하나의 테스크에 대해 학습된 신경망은 그 이외의 테스크를 수행하지 못한다. 하지만 실제 세계의 인공지능은 동시에 또는 순차적으로 등장하는 테스크 또는 데이터 도메인에 대한 대응이 가능해야 한다. 본 논문은 실세계의 인공지능을 고려하여 하나의 신경망이 다중의 테스크를 학습하며 지속적으로 지식을 발휘할 수 있는 세 가지 경우를 정의하고, 각각에 대한 지식 전이와 학습 전략 해결책을 제시한다: 1) 하나의 타겟 테스크에 대한 데이터 부족 문제를 해결하기 위한 전이 학습, 2) 도메인 차이가 작은 다중의 타겟 도메인을 추가 학습 없이 테스트할 수 있는 도메인 일반화, 3) 도메인 차이가 큰 다중의 타겟 도메인을 지속적으로 학습하면서도 치명적 망각을 최소화하는 연속 학습. 전이 학습은 투명 모바일 키보드 디코딩 테스크에서 수행하고, 도메인 일반화는 얼굴 스와핑 테스크에서 연구하였으며, 연속 학습은 세계 최초로 비지도 도메인 적응 테스크에 적용하여 세 가지 연구 모두 기존의 방법론들과 비교해 높은 성능을 도출한다.
