Convolutional neural networks (CNNs) have been actively applied to computer vision applications using deep-layered architecture in order to achieve high accuracy. However, the deep-layered architecture increases energy consumption required in implementing CNN accelerating systems, so reducing memory access that consumes large energy is important to achieve high energy efficiency. The computer vision applications can be classified into image-level labeling application, such as image classification and object detection, and pixel-level labeling application, such as super-resolution and image-to-image translation. This dissertation proposes memory reduction techniques and hardware architecture for both applications by analyzing unique characteristics of each application. In the image-level labeling application, an input image is processed by a feature extraction network to generate inferences for objects in the image. In the feature extraction network, the number of features involved in the convolution of a shallow layer is larger than that of kernels. Due to the feature extraction network, however, the number of features decreases while that of kernels increases as the layer deepens. By taking into account the numbers of data, a hybrid convolution technique, which selects either kernel-stay convolution or feature-stay convolution, is proposed to reduce memory access. In the pixel-level labeling application, on the other hand, an input image is translated to another image of the same or higher resolution by using a encoder-decoder network that infers every pixel. In the encoder-decoder network, the number of features is maintained even if the layer deepens. As high-resolution images are becoming mainstream, in addition, the number of features generated is very large. To reduce memory access, CNN compression and layer-chaining convolution techniques are proposed. Realizing the proposed techniques, a neural processing unit that accelerates CNNs is designed for each application, and CNN accelerating systems have been implemented.
컴퓨터 비전 응용 분야에서 높은 정확도를 달성하기 위하여 컨볼루션 신경망은 깊은 레이어 구조를 사용하여 활발하게 적용되고 있다. 그러나 깊은 레이어 구조는 컨볼루션 신경망 가속 시스템을 구현할 때 필요한 에너지 소모를 증가시키기 때문에 에너지 효율을 높이기 위해서는 많은 에너지를 소모하는 메모리 접근을 줄이는 것이 중요하다. 컴퓨터 비전 응용분야는 이미지 분류, 객체 탐지와 같은 이미지 수준 표시 응용 분야 그리고 초해상도, 이미지 변환과 같은 픽셀 수준 표시 응용 분야로 나뉠 수 있다. 이 학위논문은 각 응용분야의 특성을 분석하여 두 응용 분야 위한 메모리 접근 감소 기법과 하드웨어 구조를 제안한다. 이미지 수준 응용분야에서 이미지의 물체를 추론하기 위해서 입력 이미지는 피처 추출 네트워크에 의해서 처리된다. 피처 추출 네트워크에서 얕은 레이어의 컨볼루션에 관련된 피처의 수는 커널의 수보다 많다. 하지만 피처 추출 네트워크에 의해서 레이어가 깊어질수록 피처의 수는 감소하는 반면 커널의 수는 증가한다. 메모리 접근을 줄이기 위해 데이터의 수를 고려하여 커널 고정 컨볼루션 또는 피처 고정 컨볼루션을 선택하는 하이브리드 컨볼루션 기법을 제안한다. 다른 한편으로는 픽셀 수준 표시 응용 분야에서 입력 이미지는 각 픽셀을 추론하는 인코더-디코더 네트워크를 사용하여 같거나 더 큰 해상도의 이미지로 변환된다. 인코더-디코더 네트워크에서 레이어가 깊어진다 해도 피처의 수는 유지된다. 더불어 고해상도의 이미지가 주류가 됨에 따라서 생성되는 피처의 수는 매우 크다. 메모리 접근을 줄이기 위해 컨볼루션 신경망 압축 그리고 레이어-체이닝 컨볼루션 기법을 제안한다. 각 응용 분야를 위해 제안하는 기법들을 구현하여 컨볼루션 신경망을 가속하는 신경망 처리 장치를 설계하고 컨볼루션 신경망 가속 시스템을 제작했다.
