The object of this study is to apply transfer learning of text classification neural network from pre-trained image classification neural network. Although deep learning shows the best performance among machine learning techniques currently, it requires enough amount of training data and bags of time. Moreover, neural network should be constructed every time with different data set, which is cumbersome task. For this reason, this thesis suggests the possible way to train text classification neural network with reduction of learning time and a small quantity of training data by using transfer learning from VGG 16 network which is pre-trained with ImageNet dataset. With regard to input data, text quantization was used with shape of 3-parallel value with certain gap to resembles the structure of image data, rather than with shape of one-hot vector. As a result, not only training time and final accuracy difference between transferred weights and random normalized weights but also, possibility of transfer learning from image to text was confirmed.
본 연구의 목적은 이미지 데이터로 이미 학습된 분류 모델을 텍스트 분류 모델에 전이 학습하는 것에 있다. 딥러닝은 머신러닝 방법 중 가장 높은 정확성을 자랑하지만, 깊고 넓은 신경망을 학습시키기 위해서는 필연적으로 많은 양의 데이터와 긴 학습 시간이 따른다. 또한, 각각의 데이터에 맞는 신경망을 구성해야한다는 번거로움이 있다. 따라서 본 논문에서는 이를 개선하기 위해 ImageNet으로 미리 학습된 신경망 VGG 16을 이용하여 이미지 분류가 아닌 텍스트 분류에 전이 학습시킴으로써 학습 시간의 단축과, 적은 양의 데이터로도 텍스트 분류가 가능토록 하는 방법을 제안하였다. 입력 데이터에 있어서는 텍스트 양자화 기법을 사용하였지만, one-hot 벡터가 아닌 3개의 값을 일정한 간격으로 병렬적으로 배치하여 이미지 데이터와 유사한 구조를 띄게 했다. 그 결과, 같은 신경망 구조라도 가중치 값을 전이 학습하였을 때와 정규분포를 따르는 난수로 하였을 때의 확연한 학습 시간과 최종 정확도 차이, 그리고 이미지에서 텍스트로 전이 학습이 가능함을 확인 할 수 있었다.
