As the field of machine learning arose, there have been movements to accelerate inference using FPGA and ASIC. While ASIC is efficient than FPGA in terms of power and computation, ASIC development requires long time and high cost compared to FPGA. While FPGA-based machine learning accelerators are reasonably power-efficient, power reduction through reconfiguration has not been considered. This work explores the possibility of reconfiguration in power reduction by reconfiguring the FPGA according to the request rate. By profiling request rates to obtain duration of each phase, proposed system estimates the reconfiguration point prior to high computation capacity demand and reconfigures FPGA accordingly in order to minimize power consumption of FPGA-based accelerator and tail latency on inference tasks demanding high computation power. Proposed system has been evaluated using a simulator and showed that power consumption can decrease 33% in average when the proposed system is applied on GoogLeNet and SqueezeNet inferences. Proposed system can extend to cover situations such as varying request tendency and FPGAs capable of running multiple accelerator instances.
기계 학습 분야가 발전하자 기계 학습을 가속하기 위해 FPGA 및 ASIC을 사용하게 되었다. ASIC은 FPGA에 비해 전력 및 성능에서 더 효율적이나 생산하는데 있어 더 많은 시간과 자본을 필요로 한다. FPGA를 사용하는 가속기들도 효율적으로 작동하나 FPGA의 재구성을 통한 전력 소모 감소를 고려하지 않았다. 이 논문에서는 FPGA를 이용한 기계 학습 가속기를 전체 재구성 기능을 활용하여 상황에 맞는 성능 및 전력 소모를 가진 가속기로 교체하여 전력 효율을 높이는 방안을 연구하였다. 본 연구에서는 리퀘스트 양상을 프로파일링 하여 주기를 파악하고, 파악한 주기를 바탕으로 재구성 시점을 예측하고 가속기를 재구성하여 전력 소모를 감소시키며 많은 처리량이 필요한 순간에서의 레이턴시를 최소화하는 방안을 제안한다. 제안하는 시스템을 시뮬레이션을 통해 GoogLeNet과 SqueezeNet에 적용하였을 떄 평균 33%의 전력을 절감할 수 있음을 보였으며 다양한 리퀘스트 양상 및 여러 가속기가 동시에 작동하는 환경으로 확장할 수 있는 여지가 존재한다.
