In the area of deep neural networks (DNNs), there are several research directions to improve the network performance, such as research about the network architecture, optimization techniques, etc. For a part of these various research ways, we focus on multitask learning techniques. Although DNNs are generally trained to minimize the loss between output and label, we propose another loss term that helps generate high performance in the main task. By using the auxiliary loss term that makes DNNs to generate input images, proposed model achieves high performance better than DNNs with general single loss term in face recognition task. Furthermore, we proposed a novel knowledge distillation technique which makes another loss term that minimizes the distances between the features of the main DNN and the other DNN. In several image classification datasets, we showed that our proposed multitask learning model generates high performance better than the general single loss model.
We conducted further research on not only the supervised learning but also unsupervised learning. In the generative adversarial network (GAN) framework which is widely used to generate specific distributions, we proposed novel task that creates an intermediate domain space from two existing domains by adding one more auxiliary loss term at the general GAN loss terms.
머신러닝의 목표는 주어진 데이터셋으로 최대의 결과를 내는 것이라 할 수 있다. 최근 각광 받고있는 딥뉴럴네트워크에서는 더 좋은 결과를 내기 위하여 레이어의 층수를 늘리거나 일반화가 잘되는 최적화 기법을 찾는 등 다양한 방향으로 연구가 진행되고 있다. 본 논문에서는 네트워크의 성능을 높일 수 있는 여러 시도중의 하나인 멀티테스크 학습을 통한 성능 향상 기법에 대한 연구가 진행되었다. 딥러닝에서의 일반적인 방식의 지도학습은 이미지와 레이블 쌍이 있었을 때, 네트워크가 이미지를 입력으로 만들어내는 결과가 레이블과 같게 되도록 학습을 한다. 반면, 본 연구에서는 크게 두가지로 학습을 진행하게 된다. 첫번째로, 입력으로 들어간 이미지를 다시 출력으로 나오게 같이 학습을 했을 때의 멀티테스크 학습에 관해 분석하였다. 이를 얼굴 인식 기법에 적용하여 우수한 성능을 내는 네트워크를 제안하였다. 두번째로는 다른 네트워크에서 만들어내는 특징을 활용하는 지식 추출 기법을 이용한 멀티테스크 학습에 대해 연구를 진행하였고, 다양한 물체 인식 데이터셋에서 기존의 다른 지식추출 기법보다 우수한 기법을 제안하였다.
뿐만아니라, 비지도학습에 대해서도 멀티테스크 학습 기법은 단일 테스크 학습 기법보다 좋은 성능을 낼 수 있다. 본 연구에서는 특정 도메인의 이미지를 만들어 낼 수 있는 생성적 적대 신경망 학습기법에서 테스크를 더 추가시켜서 특정 도메인 이미지 뿐만이 아니라, 새로운 도메인의 이미지를 창조해 낼 수 있는 네트워크를 제안하였다.
