서지주요정보
(A) study on transfer learning of text classification neural network using image data = 이미지 데이터를 이용한 텍스트 분류 모델 전이 학습에 관한 연구
서명 / 저자 (A) study on transfer learning of text classification neural network using image data = 이미지 데이터를 이용한 텍스트 분류 모델 전이 학습에 관한 연구 / TaeWoong Ohm.
저자명 Ohm, TaeWoong ; 엄태웅
발행사항 [대전 : 한국과학기술원, 2018].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8031784

소장위치/청구기호

학술문화관(문화관) 보존서고

MME 18002

SMS전송

도서상태

이용가능

대출가능

반납예정일

초록정보

The object of this study is to apply transfer learning of text classification neural network from pre-trained image classification neural network. Although deep learning shows the best performance among machine learning techniques currently, it requires enough amount of training data and bags of time. Moreover, neural network should be constructed every time with different data set, which is cumbersome task. For this reason, this thesis suggests the possible way to train text classification neural network with reduction of learning time and a small quantity of training data by using transfer learning from VGG 16 network which is pre-trained with ImageNet dataset. With regard to input data, text quantization was used with shape of 3-parallel value with certain gap to resembles the structure of image data, rather than with shape of one-hot vector. As a result, not only training time and final accuracy difference between transferred weights and random normalized weights but also, possibility of transfer learning from image to text was confirmed.

본 연구의 목적은 이미지 데이터로 이미 학습된 분류 모델을 텍스트 분류 모델에 전이 학습하는 것에 있다. 딥러닝은 머신러닝 방법 중 가장 높은 정확성을 자랑하지만, 깊고 넓은 신경망을 학습시키기 위해서는 필연적으로 많은 양의 데이터와 긴 학습 시간이 따른다. 또한, 각각의 데이터에 맞는 신경망을 구성해야한다는 번거로움이 있다. 따라서 본 논문에서는 이를 개선하기 위해 ImageNet으로 미리 학습된 신경망 VGG 16을 이용하여 이미지 분류가 아닌 텍스트 분류에 전이 학습시킴으로써 학습 시간의 단축과, 적은 양의 데이터로도 텍스트 분류가 가능토록 하는 방법을 제안하였다. 입력 데이터에 있어서는 텍스트 양자화 기법을 사용하였지만, one-hot 벡터가 아닌 3개의 값을 일정한 간격으로 병렬적으로 배치하여 이미지 데이터와 유사한 구조를 띄게 했다. 그 결과, 같은 신경망 구조라도 가중치 값을 전이 학습하였을 때와 정규분포를 따르는 난수로 하였을 때의 확연한 학습 시간과 최종 정확도 차이, 그리고 이미지에서 텍스트로 전이 학습이 가능함을 확인 할 수 있었다.

서지기타정보

서지기타정보
청구기호 {MME 18002
형태사항 iii, 28 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 엄태웅
지도교수의 영문표기 : Minyang Yang
지도교수의 한글표기 : 양민양
학위논문 학위논문(석사) - 한국과학기술원 : 기계공학과,
서지주기 References : p. 25-26
주제 Transfer learning
Text classification
Pre-trained network
Text quantization
전이 학습
텍스트 분류
학습된 신경망
텍스트 양자화
QR CODE qr code