The advancement of Deep Neural Networks (DNNs) has significantly transformed our daily lives through various Computer Vision (CV) applications. Tasks such as image classification, object recognition, and motion detection, previously handled by distinct algorithms, have been integrated into DNN-based algorithms, exhibiting superior performance. Furthermore, the development of DNN architectures, including the Vision Transformer (ViT), has continuously improved the performance of computer vision applications.
However, the substantial computational requirements and data volumes necessary for DNN-based image processing pose challenges to the commercialization of such applications. Especially for real-time interactive computer vision applications, which are primarily processed on resource-constrained edge devices like mobile and IoT devices, the computational demands and data sizes of DNNs become significant obstacles. For instance, energy consumption to load data from memory shortens device battery life, and the execution time of applications is extended due to numerous multiplication operations on limited computational resources.
Therefore, this thesis proposes a hardware-algorithm co-optimization technique to reduce energy consumption and execution time required for DNN-based computer vision applications. Firstly, for energy reduction, the goal is to share data, namely model weights and feature values, among multiple computer vision tasks. To achieve weight sharing between tasks, a transfer learning technique is introduced, which avoids altering the backbone network's weights during model training for a specific task. Additionally, a feature value sharing technique, utilizing image characteristics, reduces memory requirements for storing feature values. To maximize the benefits of these algorithm techniques, a hardware architecture for weight and feature value processing per task, along with a data flow that enables data sharing between tasks, is proposed, resulting in significant energy savings.
Secondly, to reduce execution time required for computer vision applications, methods for reducing the number of feature values are presented. A Token Merging technique, adapted and optimized for computer vision applications, is used to address the limitations of Token Pruning, commonly used in transformer model compression. Furthermore, a hardware architecture is proposed to efficiently process the light-weight Vision Transformer. Unit designs for Token Merging, along with a new pipeline architecture to minimize associated overheads, significantly reduce the overall execution time of deep neural network models.
These strategies collectively contribute to mitigating the challenges posed by the computational demands and data sizes of DNNs, making them more practical and efficient for various computer vision applications.
심층 신경망 (Deep Neural Networks, DNNs)의 발전은 다양한 컴퓨터 비전 (Computer Vision, CV) 응용을 통해 우리의 일상을 급격히 바꾸었다. 이미지 분류, 물체 인식, 모션 인식 등 기존에는 서로 다른 알고리즘을 통해 처리되던 컴퓨터 비전 응용들이 DNN 기반의 알고리즘으로 통합되며 더 뛰어난 성능을 보여주었고, 뒤 이어 자율 주행 등 더 상위 응용의 성능을 상용 가능한 수준까지 끌어올렸다. 또한 비전 트랜스포머 (Vision Transformer, ViT) 등 DNN 구조의 발전과 함께 컴퓨터 비전 응용의 성능은 계속해서 높아지고 있다.
그러나 DNN 기반 이미지 처리에 필요한 막대한 연산량과 데이터 양은 이와 같은 응용의 상용화에 있어 장애물로 작용한다. 특히, 실시간으로 상호 작용이 필요한 컴퓨터 비전 응용들의 경우 주로 모바일 기기, IoT 기기 등 자원이 부족한 엣지 기기 (Edge Devices)에서 처리되기 때문에 DNN의 연산량과 데이터 양은 더 큰 문제가 된다. 예를 들어 메모리로부터 데이터를 로드하기 위한 에너지로 인해 기기의 배터리 시간이 단축되고, 한정된 연산장치에서 수 많은 곱셈 연산을 진행함에 따라 응용의 동작 시간이 연장된다.
따라서 본 학위 논문에서는 심층 신경망 기반 컴퓨터 비전 응용을 처리하는 데 필요한 에너지와 동작 시간을 줄이기 위해 하드웨어-알고리즘 공동 최적화 기법을 제시한다. 먼저 에너지 저감을 위해 다중 컴퓨터 비전 작업 간의 데이터, 즉 모델 가중치와 특징값 공유를 목표로 한다. 모델 가중치의 작업간 공유를 위해서, 특정 작업을 위한 모델 학습 시 백본 네트워크의 가중치를 변경하지 않는 전이 학습 기법을 제안한다. 또한 이미지의 특성을 활용한 특징값 공유 기법을 통해 특징값 저장에 필요한 메모리 요구량을 감소시킨다. 위와 같은 알고리즘 기법의 이점을 최대한 활용하기 위해 작업 당 가중치 및 특징값 처리를 위한 하드웨어 아키텍처와 작업 간 데이터 공유가 가능한 데이터 플로우를 제시하여 최종적으로는 에너지 사용량이 크게 감소한다.
둘째로 컴퓨터 비전 응용 처리에 필요한 동작 시간을 줄이기 위해 특징값의 수를 줄이는 방안 제시한다. 기존에 트랜스포머 모델 경량화에서 주로 사용되었던 토큰 프루닝 (Token Pruning) 방식의 한계점을 해결하는 토큰 머징 (Token Merging) 방식을 활용하고, 이를 컴퓨터 비전 응용에 맞게 최적화 및 경량화하여 비전 트랜스포머의 특징값 수와 연산량을 줄인다. 또한 경량화 된 비전 트랜스포머를 효율적으로 처리하기 위한 하드웨어 아키텍처를 제안한다. 토큰 머징을 위한 유닛 설계와 함께 이로 인한 오버헤드를 최소화할 수 있도록 새로운 파이프라인 아키텍처를 제안하여 심층 신경망 모델의 전체 동작시간을 크게 줄인다.
이러한 전략들은 종합적으로 DNN의 계산 요구 사항과 데이터 크기로 인해 발생하는 과제를 완화하고 다양한 컴퓨터 비전 응용 프로그램에 대해 더 실용적이고 효율적으로 만들어내는 데 기여한다.
