In this paper, we explore freehand sketch recognition with deep neural networks. Convolutional neural network(CNN) shows state of the art performance in many computer vision tasks including image recognition. However, there have been few attempts to design a specialized network for sketch recognition. Freehand sketches are significantly different from natural images, which makes it difficult to classify sketches with conventional CNNs intended for natural image recognition. We make an attempt to utilize characteristic properties of sketches in order to design an efficient CNN structure to recognize sketches. Since sketch is an abstract drawing, they contain much less information than natural images. Furthermore, publicly available dataset are small compared to sizes of CNNs used recently. Thus, we need to investigate if CNN architectures for sketch recognition proposed so far are appropriate in terms of their size and depth. We investigate this problem deeply, and propose new methods of training a network with sketches. We utilize partial sketches in a way that we can choose specfii c parts which aff ect the network positively. With this method, we achieve improved performance on complete sketch recognition. Our work can be applied to other data types which contain temporal information as in sketches.
이 논문에서는 심층신경망(CNN)을 이용한 스케치 인식에 대한 연구를 진행하였다. CNN은 영상 인식을 포함한 여러 컴퓨터 비전 문제에 대해서 최고의 성능을 보이고 있다. 하지만 스케치 인식에 특화된 네트워크에 대한 연구는 아직 많이 시도되지 않았다. 스케치는 사진과는 많이 다르기 때문에 기존의 영상 인식 네트워크를 이용하여 스케치 인식에 사용하는 것은 어렵다. 우리는 스케치 데이터만의 특성을 이용하여 효율적으로 스케치 분류를 수행할 수 있는 네트워크를 구상하였다. 스케치는 추상적인 그림이기 때문에 사진에 비해 담고 있는 정보가 상당히 적다. 또한, 최근에 이용되는 CNN의 크기에 비해서 공개되어 있는 스케치 데이터의 양이 적은 편이다. 따라서, 우리는 현재까지 제시된 스케치 인식을 위한 CNN의 구조의 크기와 깊이가 적당한지 점검할 필요가 있다. 이 문제를 깊이 탐구하면서 우리는 스케치를 이용하여 CNN을 학습하는 새로운 방법을 제시한다. 그 방법으로는 네트워크에 긍정적인 영향을 주는 부분적(partial) 스케치를 선택적으로 이용하는 것이다. 이 방법을 통해 스케치 인식에 향상된 성능을 보였다. 이 연구는 데이터가 만들어지는 시간적 순서를 갖고 있는 다른 데이터에 대해서도 적용할 수 있다.
