Due to their excellent performance, tremendous progress has been made in the development of convolutional neural network (CNN) algorithms and efficient CNN accelerators for edge devices. At the same time, security concerns about CNN processing have increased regarding user privacy and safety. Because of the employment of the user’s private data, the security of the CNN execution environment becomes critical and needs proper countermeasures from the hardware level. In this thesis, the security environment of the CNN accelerator is analyzed. Then, to enhance the security of the CNN accelerator, two research works are presented. First, an efficient data ciphering system embedded in a CNN accelerator is proposed. For the protection of the private data and the CNN model, data regarding CNN processing must be encrypted. However, the number of operations of CNN and security workloads constantly changes during execution, thereby varying their relative ratio. To efficiently support various convolution/AES workloads, CREMON is suggested, which is a reconfigurable system to perform CNN inference and data ciphering. It introduces the cryptography reconfigurable processing element (CRPE), appropriate workload mapping, and dataflow. A test chip with the proposed scheme was implemented and tested for performance verification. As a result, the CREMON prototype chip achieved state-of-the-art performance/area efficiency for AES and improved energy efficiency by up to 44.1% in processing CNN/AES workloads. Although CNN processing data are efficiently encrypted, there remains a threat of CNN model reverse engineering. Model reverse engineering is hazardous as its success could facilitate other types of attacks. In previous model reverse engineering methods, the most powerful leverage point is the read-after-write (RAW) dependency in the memory access of feature map, which is inherent in layer-by-layer CNN dataflow. By monitoring RAW, layer boundaries are detected and exploited to estimate the size of CNN layers. Therefore, we propose SeCNN that is an architectural methodology for a secure CNN accelerator to mitigate problems from RAW and memory access patterns. By observing a dynamic variation of non-zero value density in each CNN inference, we utilize fused-layer CNN processing to minimize RAW and sparse CNN techniques to expand the CNN architecture exploration space. Besides, for further security and processing efficiency, two novel methods are suggested: the non-zero balancing and TSeCNN. First, non-zero balancing methods reduce imbalances among several cores of SeCNN hardware to fuse layers deeper with given memory constraints. In addition, for the condition where on-chip memory capacity is too limited to form meaningful pyramids, TSeCNN alleviates the on-chip memory condition by manually dividing secure pyramids and processing them in a time-multiplexing manner. As a result, the SeCNN increases the complexity of searching possible architecture candidates in the extreme, thereby making the attack infeasible. Simultaneously, the proposed architecture with our suggested methods does not only enhances security but also reduces external memory access by 79%.
심층 컨볼루셔널 신경망에 기반한 알고리즘이 복잡도 높은 어플리케이션에 효과적으로 활용 되면서 에지 장치에서 컨볼루셔널 신경망 연산을 가속하려는 연구가 활발하다. 동시에, 컨볼루셔널 신경망이 자율 주행 차와 같은 안전성에 민감한 곳에서 사용됨으로 인해 컨볼루셔널 신경망 가속기의 보안에도 많은 관심이 쏟아지고 있다. 본 학위 논문에서는 컨볼루셔널 신경망 가속기에서의 보안 환경을 분석하고, 보안 위협으로부터 내부 컨볼루셔널 신경망 모델을 보호하기 위한 방법론을 제안하고자 한다. 이를 위해서 첫 번째로, 컨볼루셔널 신경망 모델 연산 과정 중 외부로 노출되는 데이터에 대한 효과적인 암호화가 필요하다. 특히, 여러 신경망 모델의 각 컨볼루션 층에서 보여지는 다양한 컨볼루션 및 보안 연산의 상대적 작업량 때문에 개별 가속기의 고정적인 연산 량은 비효율적이다. 대신, 기존의 컨볼루셔널 신경망 가속기의 구조에 기반하여 상황에 따라 컨볼루션 및 AES 연산 용으로 재구성 가능한 하드웨어 설계 기법인 CREMON을 연구하였다. 구체적으로, 하드웨어 설계 방법 및 연산 맵핑, 그리고 데이터 흐름을 제안하여, 기존의 컨볼루션과 AES를 개별적으로 실행하는 과거 결과에 비해 최대 44.1%의 에너지 효율성 증가를 보였다. 또한 효율적인 재구성가능한 하드웨어 설계를 통해 최고의 단위 추가 면적당 AES 성능을 보여주었다. 하지만 데이터를 암호화하여 직접적인 데이터 값을 보호하더라도, 공격자가 컨볼루셔널 신경망 가속기와 DRAM 사이의 데이터 이동을 관찰하여 실행 중인 컨볼루셔널 신경망 알고리즘을 역설계할 위험성이 존재한다. 이를 효율적으로 막기 위해 본 학위 논문의 두 번째 연구인 SeCNN이라는 연산 방식 및 구조를 제안한다. 역설계의 핵심이 컨볼려셔널 층 사이의 RAW (read-after-write) 의존성 임을 관찰하여, layer-fusion 및 데이터 희소성 기법들을 효과적으로 통합하여 데이터 흐름/하드웨어 구조 단계에서 역설계를 막을 수 있음을 보였다. 또 제안하는 SeCNN이 메모리 한정적인 하드웨어에서 효율적으로 동작하기 위해서 두 가지 방법을 제안한다. 먼저 코어 간 non-zero 데이터 균형이 필요하다는 점을 관찰하여, non-zero 데이터 균형을 향상시키는 방법들을 소개한다. 그럼에도 불구하고, 해결되지 않는 하드웨어의 메모리 제약을 완화하기 위해 tailored SeCNN 을 이용한다. 그 결과, 기존의 방식이 역설계를 막기 위해 상당한 추가 데이터 접근을 요구하는 것과는 달리 SeCNN은 모델 역설계로부터 시스템을 보호하면서도 연산 중 외부 메모리 접근을 기존 방식 대비 최대 79% 줄일 수 있었다.
