Energy-efficient deep neural network processors for mobile devices are proposed by creating structured sparsity and using it. First, GAN training processor is proposed to enable energy-efficient domain-specific optimization of GAN with the user’s local data. Selective layer retraining (SELRET) picks out layers that are effective in enhancing the quality of the retrained model. Without image quality degradation, the SELRET reduces the required computation by 69 %. Moreover, reordering layers for instance normalization (ROLIN) is proposed to reduce the EMA of intermediate data. The proposed processor is fabricated in a 65 nm CMOS process, showing 0.38 TFLOPS/W energy-efficiency. Second, A low power real-time visual object tracking (VOT) processor using the siamese network (SiamNet) is proposed for mobile devices. To achieve low power consumption and real-time operation, correlation-based spatial early stopping (CSES) is proposed. CSES reduces ~56.8% of the overall computation of the SiamNet by gradually eliminating the background. In addition, the dual mode reuse core (DMRC) is proposed for supporting both the convolution layer and the cross-correlation layer with high core utilization. Compared to previous VOT processors, the proposed processor shows state-of-the-art performance while showing lower power consumption.
구조화 된 희소성을 생성하고, 이를 사용하여 모바일 장치를 위한 에너지 효율적인 심층 신경망 프로세서가 제안되었다. 첫째, GAN 학습 프로세서는 사용자의 개별적인 데이터에 대한 GAN의 에너지 효율적 도메인별 최적화를 가능하게 한다. 선택적 레이어 재교육 (SELRET)은 재학습된 모델의 품질을 향상시키는 데 효과적인 레이어만 선택적으로 학습함으로써 이미지 품질의 저하없이 전체 계산을 69%를 감소시킨다. 또한 인스턴스 정규화로 인한 추가적인 External memory access (EMA)를 줄이기 위해 인스턴스 정규화를 위한 계층 재정렬 (ROLIN)이 제안되었다. 제안된 프로세서는 65nm CMOS 공정으로 제작되어 0.38 TFLOPS / W 에너지 효율성을 보여준다. 둘째, 샴 네트워크를 사용하는 모바일 기기용 저전력 실시간 시각적 객체 추적 프로세서가 제안되었다. 낮은 전력 소비와 실시간 작동을 달성하기 위해 제안된 상관 기반 공간 조기 정지 (CSES)는 배경을 점진적으로 제거하여 샴 네트워크 전체 계산의 최대 56.8 %를 줄입니다. 또한, 높은 코어 utilization으로 컨볼 루션 계층과 상호 상관 계층을 모두 지원하기 위해 이중 모드 재사용 코어 (DMRC)가 CSES와 함께 제안되었다. 결과적으로, 이전 VOT 프로세서에 비해 제안된 프로세서는 낮은 전력 소비량과 함께 최첨단 성능을 보인다.
