The excellence of Convolutional Neural Network (CNN) is proved by state-of-the-art performances in various vision applications including object recognition and classification. Accordingly, many attempts are being made to embed CNNs into mobile devices. Binary-weight CNN is one of the most efficient solutions for the mobile CNN due to its drastically reduced parameter size. However, a large number of convolutions are still required for processing each image. The massive operations increase the amount of energy consumption of the devices, thus making the battery lifetime shorter. To address this problem, we propose a novel kernel decomposition architecture, based on the observation that a large number of operations in binary-weight CNN are redundant. In this architecture, all kernels are decomposed into two sub-kernels such that they have the same part in common. In result, the number of operations for each image is reduced down to 52.3% by skipping the redundant operations. Furthermore, a low-cost bit quantization technique is implemented using the relative scales of CNN feature data to increase energy-efficiency. Experimental results show 22% reduction of computing energy and 72% reduction of memory access energy with negligible accuracy losses.
CNN의 우수성은 물체 인식 및 분류를 포함한 다양한 비전 어플리케이션에 대한 최첨단 성능으로 입증된다. 이에 따라 CNN을 모바일 기기에 내장하기 위한 많은 시도들이 이루어지고 있다. 그 중, 바이너리 웨이트 CNN은 대폭 줄어든 파라미터 개수로 인해 모바일 CNN을 위한 가장 효율적인 해결책들 중 하나로서 관심을 받고 있다. 하지만 각각의 이미지를 처리하기 위해서는 여전히 많은 양의 컨볼루션 연산이 필요하다. 이 엄청난 연산량은 모바일 기기의 동작에 필요한 에너지 소모량을 증가시키고 따라서 배터리 수명을 단축시킨다. 이 문제를 해결하기 위해 본 논문은 바이너리 웨이트 CNN에서 많은 양의 연산들이 중복된다는 관찰에 기초하여 새로운 커널 분리 구조를 제안한다. 제안된 구조에서 모든 커널들은 두 개의 부분 커널로 분리되어 서로 동일한 부분을 가지게 된다. 동일한 부분에 대해 중복되는 연산들을 건너뜀으로써 결과적으로 각 이미지를 처리하기 위한 연산량이 52.3%로 줄어든다. 뿐만 아니라, CNN 피쳐 데이터의 상대적인 스케일을 이용한 저비용 비트 감소 테크닉을 구현함으로써 에너지 효율을 더욱 증가시킨다. 시뮬레이션 결과, 제안된 구조는 무시할 만한 정확도 손실로 계산 및 메모리 접근에 소모되는 에너지를 각각 22%와 72%만큼 감소시킨다.
