Recently, since the computing power and artificial intelligence (AI) technology are remarkably enhanced, new services based on AI technology has been actively emerging throughout the industry. Naturally, the types and number of problems that AI technology can solve have become more and more diverse and sophisticated, and the problem complexity has been higher. As a result, instead of optimizing the specific network to one single problem by offline, it is necessary for the single device to learn multiple tasks (or data) continually using general-purpose AI technology. In addition, as the problem complexity and diversity have been increasing, the amount of training data becomes larger and larger, and training deep neural network from the initial state for a long time using huge data does not fit most services that need to adapt to the user’s personal data quickly. To solve this problem, transfer learning and continual learning techniques are recently being spotlighted. Continual learning allows a single artificial neural network to quickly learn new tasks continually without forgetting previously learned knowledge. Autonomous intelligent agent can grow gradually by learning user-specific data continually. In this paper, we propose memory-based continual learning for autonomous intelligent agent. Specifically, based on Adaptive Resonance Theory (ART), a kind of unsupervised learning network, we have developed Deep ART that can learn a series of events as an episode. Moreover, we propose Developmental Resonance Network (DRN), which overcomes the shortcoming of the existing ART networks that the ART networks can learn input data, normalized between 0 and 1 only. We then combine two networks into Episodic Memory-DRN (EM-DRN), and this memory network has been applied to episodic memory for task performances of robot. To extend this technology, we propose EM-DRN-MAP (EDM) which maps multiple EM-DRNs for supervised learning in real-time, and demonstrate the effectiveness of EDM by applying it to the recipe recommendation system as the real-world problem. To overcome the problem of DRN that the clustering performance is highly sensitive on the change of model dynamics, D2RN is newly proposed. This network can learn the vigilance parameter itself, where this parameter is important to determine the model dynamics. As a result, we can get the robust clustering performances using D2RN without optimizing the model dynamics beforehand. Finally, we propose Convolutional Neural Network with Developmental Memory (CNN-DM) by adding developmental memory to the CNN model, which is one of deep neural networks for supervised learning. Each time a new image classification problem comes in, a new sub-memory is generated in DM to preserve the performances of old tasks. A new learning method, called developmental memory learning, is introduced to learn target task effectively. Future research direction is to improve CNN-DM to resolve the scalability issue and to propose a new learning scheme for continual learning of deep neural networks. Furthermore, we are going to apply transfer learning technology into deep reinforcement learning problem, which is more complex than image classification task.
최근 컴퓨터 기기 성능과 인공지능 기술의 눈부신 발전으로 인해, 산업 전반에 걸쳐 인공지능 기술을 활용한 새로운 서비스 시장이 활발히 확장되고 있다. 자연스레 인공지능 기술이 해결 가능한 문제의 분야 및 종류가 예전에 비해 훨씬 다양해졌고, 문제의 복잡도 또한 더욱 높아졌다. 이제는 종전의 단일 작업을 개별 네트워크로 오프라인 최적화하여 산업에 활용하기 보다는, 다중 작업을 하나의 기기에서 연속으로 학습이 가능한 범용 인공지능 기술이 요구된다. 또한, 문제의 복잡도와 다양성이 늘어나는 만큼 학습해야 할 데이터의 양은 점차 거대해지고, 심층 신경망을 초기 상태로부터 수많은 데이터로 오랜 시간 학습하는 것은 사용자 개별 데이터에 빠르게 적응해야 하는 대부분의 서비스에 맞지 않는다. 이를 해결하기 위해, 최근 전이 학습 및 연속 학습 기술이 각광받고 있다. 연속 학습 기술이란 하나의 단일 인공 신경망이 예전에 학습한 지식을 잊지 않고 새로운 문제를 연속으로 빠르게 학습이 가능한 기술이다. 자율 지능 에이전트는 연속 학습 기술을 통해 사용자 별 데이터를 지속적으로 학습하여 점차 성장 가능하다. 본 논문에서는 메모리 기반 연속 학습 기술을 제안한다. 구체적으로는 비지도 학습 네트워크의 일종인 Adaptive Resonance Theory (ART)를 기반으로 일련의 사건을 하나의 일화로 학습이 가능한 Deep ART를 개발하였다. 종전 ART의 문제인, 입력 데이터가 반드시 0과 1 사이로 정규화 되어야 학습이 가능한 단점을 극복한 Developmental Resonance Network (DRN)을 개발하였고, 두 네트워크 모델을 결합하여 Episodic Memory-DRN (EM-DRN)을 제안하여 로봇을 위한 일화 기억에 적용하였다. 이 기술을 확장하여, 여러 EM-DRN을 매핑하여 실시간으로 감독 학습이 가능한 EM-DRN-MAP (EDM)을 제안하고 실전 문제인 recipe recommendation system에 적용하여 효과를 입증하였다. 또한 DRN의 model dynamics 변화에 따른 학습 결과가 크게 변화하는 문제를 극복하고자, model dynamics를 결정짓는 중요 hyper-parameter인 vigilance parameter를 네트워크 스스로 학습시킬 수 있는 D2RN을 제안하였다. 이를 통해 model dynamics의 최적화 과정 없이 예전보다 더욱 robust한 학습 결과를 얻을 수 있다. 마지막으로 지도 학습 모델 중 대표적인 심층 신경망의 일종인 Convolutional Neural Network (CNN) 모델에 developmental memory를 추가하여 CNN-DM을 개발하였다. 여기서는 새로운 이미지 분류 문제가 들어올 때마다 sub-memory를 추가하여 과거 지식을 보존하되 새로운 지식을 효과적으로 학습하는 새로운 학습 방법을 제시하였다. 추후 연구 방향은 CNN-DM을 발전시켜 scalability 문제를 개선하고 더 효과적으로 학습이 가능한 네트워크를 개발하고자 한다. 나아가 이미지 분류 문제보다 더 복잡한 심층 강화학습 문제에도 전이 학습 기술을 적용해 보고자 한다.
