The utilization of GPUs is increasing as the use of various image processing and machine learning-based programs requiring large-capacity data operations increases. In the case of embedded systems, they are also used in various fields such as smartphones, autonomous driving systems, AI cameras, and smart home appliances. High-level libraries that support APIs that can utilize GPUs are also being developed simultaneously, but they do not support both chips and operating systems of embedded systems. Furthermore, the performance of GPU devices mounted in embedded system environments has not yet shown an extremely improved computational speed compared to CPUs. In particular, computational device performance in practical embedded system environments is poor considering the cost. We seek to address these issues by leveraging OpenCL, a library capable of applying the same parallel programming code to different types of devices. In this dissertation, we propose a HybridCL framework developed by hooking APIs in the OpenCL library. HybridCL supports the ability to select devices based on the status of real-time devices, as well as to split a task into multiple subtasks to distribute and run simultaneously on each device. HybridCL avoids bottlenecks that can occur in real time and ensures the performance of various tasks by leveraging surplus resources while balancing the load concentrated on a particular computational device. It also achieved performance improvements in existing kernel operations through concurrent execution capabilities.
대용량 데이터 연산을 요구하는 다양한 이미지 처리 및 기계학습 기반 프로그램들의 사용이 증가함에 따라 GPU의 활용도가 증가하고 있다. 임베디드 시스템의 경우에도 스마트폰, 자율주행 시스템, AI 카메라, 스마트 가전제품 등 다양한 분야에서 활용된다. GPU를 활용할 수 있는 API를 지원하는 고수준 라이브러리 또한 동시에 개발이 되고 있지만, 임베디드 시스템의 칩과 운영체제를 모두 지원하고 있지 않는 상황이다. 뿐만 아니라 임베디드 시스템 환경에 탑재된 GPU 디바이스의 성능은 아직 CPU에 비해 극도로 향상된 연산 속도를 보이고 있지 않다. 특히 비용을 고려한 실용 임베디드 시스템 환경의 연산 장치 성능은 열악한 상황이다. 우리는 다양한 종류의 디바이스에 동일한 병렬 프로그래밍 코드를 적용시킬 수 있는 라이브러리인 OpenCL을 활용해 이러한 문제를 해결하고자 한다. 본 학위논문에서는 OpenCL 라이브러리의 API를 후킹하여 개발한 HybridCL 프레임워크를 제안한다. HybridCL은 실시간 디바이스의 상태에 따라 디바이스를 선택할 수 있는 기능을 지원하며, 뿐만 아니라 하나의 태스크를 여러 서브 태스크로 분할하여 각 디바이스에 분배 및 동시 실행을 할 수 있는 기능을 지원한다. HybridCL은 특정 연산 기기에 집중되는 부하를 분산시키는 동시에 잉여 자원을 활용함으로써 실시간에 발생할 수 있는 병목 현상을 방지하고 다양한 태스크의 성능 유지를 보장한다. 또한 동시 실행 기능을 통해 기존 커널 연산의 성능 향상 또한 이루어냈다.
