Colors reflect the semantics of language. There have been several studies to try to learn the relationship between color and word/phrase/sentence level of text. In this paper, I expand that relationship to go beyond word/phrase/sentence to paragraph. As a dataset of paragraphs and colors, I use books descriptions and colors of cover images. I modify the recurrent neural networks with hierarchical attention to generate color distributions for paragraph. Three types of studies are conducted on the results of my model: quantitative study, qualitative study, and human annotation study. I show that my model performs better than other baseline models in predicting the color distributions from the quantitative study. In the qualitative study, I visualize the results generated from my model and analyze how the model understands the main objects and the atmosphere in the given text. I carry out a human subject study and show that the subjects prefer the results of my model compared to the baseline model for representing the colors of a book based on the description. Additionally, by visualizing color palettes of word/phrase/sentence level of text, the proposed model shows that it is also possible to generate colors in different levels of text. I also apply my model to movie dataset and show the scalability of my research on various types of color-text datasets.
색은 언어의 의미를 반영한다. 기존의 연구에서는 단어/구/문장 단위의 텍스트와 색상의 관계를 다루었다. 이 논문에서는 단어/구/문장 단위를 넘어 문단과 색상으로 연관 관계를 확장한다. 문단과 색상의 데이터 셋으로 책 소개 글 과 책 표지 이미지의 색상을 사용한다. 문단의 색상 분포를 생성하기 위해 계층적 주의 네트워크를 수정하여 적용한다. 모델 결과에 대해 양적 연구와 질적 연구, 사람 평가 연구로 세가지 스터디를 진행한다. 양적 연구에서 기존의 모델보다 제시한 모델이 색상 예측에 더 우수한 성능을 보인다. 질적 연구에서는 모델의 결과를 시각화해 주어진 텍스트에서 모델이 주요 객체와 분위기를 어떻게 파악하는지 분석한다. 또한 사람을 대상으로 실험하여, 기존의 모델이 생성한 색상보다 제시한 모델의 색상을 더 선호한다는 것을 결과를 얻는다. 추가적으로 단어/구/문장 단위 텍스트의 색상을 시각화하므로써 제시한 모델이 여러 레벨의 텍스트에서도 색상 생성이 가능하다는 것을 보인다. 또한 모델을 영화 데이터셋에도 적용하여 다양한 유형의 색상-텍스트 데이터셋에 대한 연구의 확장 가능성을 보인다.
