Human can learn new knowledge better by utilizing their previous experience or knowledge. In this study, we deal with techniques that can make better use of previously learned knowledge when deep neural networks acquire new knowledge like human. One of the most popular techniques in deep learning to deal with previously learned information is a fine-tuning technique. Such fine-tuning techniques have been usually used to compensate for a lack of training data of new task.
We will further develop these fine-tuning techniques and suggest ways to use the previously learned information effectively. First, we propose a technique that can be used when a fine-tuning technique fuses two already-learned networks with different characteristics. Additionally, we propose a technique to solve a catastrophic forgetting problem, which is an important issue to be solved in deep neural networks.
Firstly, our joint fine-tuning technique uses temporal information, which has useful features for recognizing facial expressions. In general, to manually design useful features requires a lot of effort. In this thesis, to reduce this effort, a deep learning technique, which is regarded as a tool to automatically extract useful features from raw data, is adopted. Our deep network is based on two different models. The first deep network extracts temporal appearance features from image sequences, while the other deep network extracts temporal geometry features from temporal facial landmark points. These two models are combined using a joint fine-tuning method in order to boost the performance of the facial expression recognition. Through several experiments, we show that the two models cooperate with each other. As a result, we achieve superior performance to other state-of-the-art methods in the CK+ and Oulu-CASIA datasets. Furthermore, we show that our new integration method gives more accurate results than traditional methods, such as a weighted summation and a feature concatenation method.
The second fine-tuning technique is a less-forgetful learning to overcome a catastrophic problem in deep neural networks. Expanding the domain that deep neural network has already learned without accessing old domain data is a challenging task because deep neural networks forget previously learned information when learning new data from a new domain. In this thesis, we propose a less-forgetful learning method for the domain expansion scenario. While existing domain adaptation techniques solely focused on adapting to new domains, the proposed technique focuses on working well with both old and new domains without needing to know whether the input is from the old or new domain. First, we present two naive approaches which will be problematic, then we provide a new method using two proposed properties for less-forgetful learning. Finally, we prove the effectiveness of our method through experiments on image classification tasks. Also, we present a new version of LF that complements the disadvantages of the original LF. The new version of LF uses EWC to update the learnable parameters of the top layer. Finally, we have achieved good results in the continual learning scenario.
인간은 새로운 지식을 습득할 때 이전에 겪었던 경험이나 갖고 있었던 지식을 활용하여 새로운 지식을 더욱 잘 학습할 수 있다.
본 연구에서는 이러한 인간의 학습방식에서 착안하여 최근 컴퓨터 비전 분야에서 각광받고 있는 딥 뉴럴 네트워크 (deep neural network) 가 이전에 학습된 지식을 더욱 잘 활용할 수 있는 기법에 대해 다룬다. 딥러닝 (deep learning)에서 이전에 학습된 지식을 활용하는 기법중에 가장 널리 사용되는 학습 기법은 미세 조정 (fine-tuning) 기법이다. 일반적으로 이러한 미세 조정 기법은 해결하고자 하는 새로운 태스크의 학습 데이터량이 부족한 경우 이를 보완할 수 있도록 전이학습 (transfer learning)의 용도로 사용되어져 왔다. 이미지넷 데이터셋과 같은 대용량의 데이터셋으로부터 학습된 모델 (pre-trained model)을 가중치 (weight)의 초기값으로 이용하고, 새로운 데이터를 학습할 때 학습률 (learning rate)을 작은 값으로 설정하여 최대한 기존 데이터셋에서 얻은 정보를 적절히 활용하고자 하였다.
우리는 이러한 미세 조정 기법을 발전시켜, 기존에 학습되었던 정보를 더욱 활용할 수 있는 기법들을 제안하고자 한다. 먼저, 우리는 서로 다른 특성을 갖고 있는 이미 학습된 두개의 네트워크를 융합할 때 이용될 수 있는 미세조정 기법을 제안하고자 한다. 또한 기존 미세 조정 기법에서 발생하는 기존 태스크에 대해서 잊어버리는 문제 (catastrophic forgetting problem)를 해결할 수 있는 기법에 대해 제안한다.
첫 번째 제안 기법은 시간적인 정보를 다루는 표정 인식 문제에 효과적인 합동 미세조정 (joint fine-tuning) 기법이다. 시간적 정보는 표정을 인식하는 데 유용한 기능을 가지고 있다. 그러나 유용한 기능을 수동으로 설계하려면 많은 노력이 필요하다. 본 연구에서는 이러한 노력을 줄이기 위해 원시 데이터에서 유용한 기능을 자동으로 추출하는 도구로 간주되는 딥 뉴럴 네트워크의 학습 기법을 채택하였다. 우리의 딥 뉴럴 네트워크는 두 가지 모델을 기반으로 한다. 첫 번째 딥 네트워크는 이미지 시퀀스에서 시간 외형 특징을 추출하고 다른 딥 네트워크는 시간적 얼굴 랜드 마크 점에서 시간 기하학 특징을 추출한다. 이 두 모델은 표정 인식 성능을 향상시키기 위해 새로운 통합 방법인 합동 미세조정 기법을 사용하여 결합된다. 여러 실험을 통해 우리 기법은 두 모델이 서로 협력하게 한다는 것을 보여준다. 결과적으로 우리는 CK + 및 Oulu-CASIA 데이터베이스에서 다른 최첨단 방법보다 우수한 성능을 달성하였다. 또한 새로운 통합 방법이 가중치 합계 및 피쳐 연결 방법과 같은 기존 방법보다 정확한 결과를 제공함을 보여주었다.
두 번째 제안 기법은 딥 뉴럴 네트워크의 기존 태스크를 잊어버리는 문제를 극복하기 위한 덜 잊는 학습 (less-forgetful learning) 기법이다. 딥 뉴럴 네트워크는 새로운 도메인에서 새로운 데이터를 학습 할 때 이전에 배운 정보를 잊어 버리기 때문에 이전 데이터에 액세스하지 않고 이미 배운 도메인을 확장하는 것은 어려운 작업이다. 본 논문에서는 이러한 도메인 확장 시나리오에 대해 덜 잊어 버린 학습 방법을 제안한다. 기존의 도메인 적응 기술은 새로운 도메인에 적응하는 데만 초점을 맞추었지만 제안 된 기술은 입력이 이전 도메인에서 왔는지 또는 새 도메인에서 온 것인지 알 필요없이 이전 도메인과 새 도메인 모두에서 잘 작동하는 데 중점을 두었다. 먼저, 우리는 문제가 될 수있는 두 가지 쉬운 접근법을 제시하고 덜 잊는 학습을 위해 두가지 속성을 제안한다. 우리는 다양한 실험을 통해 이미지 분류 작업에 대해 우리의 방법이 효과적임을 증명하였다. 마지막으로, 우리는 제안 기법이 지속 학습 (continual learning) 상황에도 적용 가능한지에 대해 검증하고자 추가적으로 여러 실험들을 수행하였다. 그 결과 의미적으로 많이 다르지 않는 경우에도 우리 기법은 적용이 가능하며 기존 기법에 비해 좋은 성능을 보였다.
