서지주요정보
감성 분석에서의 어텐션 메커니즘을 위한 마스크 모델링 = Mask modeling for attention mechanism in sentiment analysis
서명 / 저자 감성 분석에서의 어텐션 메커니즘을 위한 마스크 모델링 = Mask modeling for attention mechanism in sentiment analysis / 장준호.
저자명 장준호 ; Jang, Joon-Ho
발행사항 [대전 : 한국과학기술원, 2019].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8033641

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MIE 19011

SMS전송 소장위치

도서상태

이용가능

대출가능

반납예정일

초록정보

In the case of models which use text data as input, such as Sentiment Analysis, Attention Mechanism is widely used to improve the performance by weighting the parts of input that affect the prediction. Despite the length constraints and the nature of the noisy text data, the existing Attention Mechanism models calculate the weights by using all the input words even if the length of sentence is extremely long. In this paper, we propose attention mask based on Bernoulli Sampling to remove noise among input words and to calculate the weights more precisely. Attention mask makes the Attention Mechanism use the selected hidden states when calculating weights. This paper also propose a way to process sentence by using CNN based residual learning instead of LSTM. In this model, experiments were conducted using Yelp data, which is widely used for Sentiment Analysis. From these experiments, we demonstrated that our proposed model have a better performance than baseline models.

감성 분석 (Sentiment Analysis)와 같이 텍스트를 인풋으로 다루는 모델의 경우, 인풋을 구성하는 단어들 중 예측에 영향을 미치는 부분에 대해 가중치를 줌으로써 성능을 향상시키는 어텐션 메커니즘(Attention Mechanism)이 많이 사용된다. 길이에 제약이 없고, 노이즈가 많은 텍스트 데이터의 특성에도 불구하고, 기존 어텐션 메커니즘 모델들은 가중치를 계산함에 있어 주어진 인풋 단어들을 모두 반영하여 가중치를 계산한다. 본 논문에서는 베르누이 샘플링(Bernoulli Sampling)을 기반으로 한 어텐션 마스크(Attention Mask)를 이용하여 인풋 단어들 중 노이즈를 제거함으로써, 어텐션 메커니즘으로 하여금 가중치를 더욱 정교하게 계산하고자 한다. 본 모델은 감성 분석에 많이 사용되는 Yelp 데이터를 이용하여 실험을 진행하였으며, 기존 어텐션 메커니즘을 적용한 모델들에 비해 우수한 성능을 보였다.

서지기타정보

서지기타정보
청구기호 {MIE 19011
형태사항 iv, 34 p. : 삽도 ; 30 cm
언어 한국어
일반주기 저자명의 영문표기 : Joon-Ho Jang
지도교수의 한글표기 : 문일철
지도교수의 영문표기 : Il-Chul Moon
학위논문 학위논문(석사) - 한국과학기술원 : 산업및시스템공학과,
서지주기 참고문헌 : p. 31-32
주제 감성 분석
어텐션 메커니즘
어텐션 마스크
베르누이 샘플링
Sentiment analysis
attention mechanism
attention mask
bernoulli sampling
QR CODE qr code