Images contain numerous information and there are thousands of studies that are used to collect that information. Image classification is one of the approaches to obtain visual information. Previous methods usually use image classification that derives information from either object-based or scene-based categorization. These methods classify different images based on objects or scenes; however, when people take photographs, they usually focus on capturing specific subjects. Thus, an attention-based subject contains semantic information in the image, and this is another basis for classification of images.
In this thesis, we propose an approach for image classification based on human attention. For our approach, we use two steps: First, we use semantic segmentation to identify which image pixels belong to objects and scenes and how meaningful content is saturated because parts that receive attention are related to what the image consists of. Second, we use convolutional neural network to classify images using semantic information extracted from the first step as the input of convolutional network.
이미지는 많은 정보를 포함하고 있기에 이러한 이미지로부터 정보들을 모으려는 다양한 연구들이 있다. 이미지 분류는 이러한 시각적 정보를 이용하려는 연구의 일환으로 어떠한 기준을 따라 이미지를 정해진 카테고리로 분류하는 것이다. 이전의 이미지 분류 방법들은 물체 기반이나 장면 기반의 분류를 기준으로 이루어졌다. 이러한 분류 기준을 따르면 어떤 이미지에 해당 물체가 존재하거나 장면이 존재하기만 한다면 해당 물체나 장면으로 분류되는 것이다. 하지만 실제로 사람들은 사진을 찍을 때에는 자신이 찍으려고 하는 특정 주제가 잘 나타나도록 사진을 찍는다. 이렇게 사람들이 주의 집중하고 있는 주제는 이미지에서의 의미론적인 정보를 가지게 되고 이것들은 이미지들 사이에서 또하나의 분류 기준이 될 수 있다.
본 논문에서는 사람들이 주의 집중하고 있는 것을 반영하는 이미지 분류를 위한 방법을 제시한다. 이를 위해 우리는 먼저 시멘틱 세그먼테이션을 사용해 이미지의 픽셀들이 어떤 물체나 배경에 속하는지를 알고 그 픽셀들이 어떻게 분포하는 지를 전달한다. 주의 집중하고 있는 부분은 이미지가 어떻게 구성되어 있는지와 관련이 있기 때문이다. 그 다음 우리는 앞서 추출한 시멘틱 정보를 사용해 주의 집중 기반의 이미지 분류를 위한 컨볼루션 신경망을 학습시켜 이 문제를 해결하고자 하였다.
