Object detection is a type of technology that locates and classifies meaningful objects such as people and cars in digital images or videos. Recently, the field of object detection technology made a great breakthrough in conjunction with the significant development of Deep Learning (DL). However, it is difficult to realize computation-intensive object detection on mobile devices equipped with low-spec hardware due to the long latency. To solve this problem, previous studies proposed solutions that offload the object detection task to a more powerful edge server. However, these studies did not attempt to exploit earlier object detection results. Therefore, this thesis presents Edge-assisted Object detection on Mobile devices via the Reuse of bounding boxes (EOMR), a system that enables efficient and low-latency object detection on mobile devices using previous detection results. EOMR measures frame similarity levels based on frame differences only for regions of previous detection results. Then, EOMR performs only one of the three tasks: detection result reusing, object tracking, and offloading for the current frame based on the calculated frame similarity. We evaluated our system with three videos. Experiment results show that EOMR significantly reduces the average processing latency per frame while tolerably reducing the detection accuracy compared to the baseline, which only performs offloading.
객체 탐지기술(Object Detection)은 디지털 이미지나 동영상에서 사람, 자동차 등과 같은 의미 있는 객체들의 위치를 찾고, 종류를 분류하는 기술이다. 최근 딥러닝(Deep Learning)이 발전함에 따라, 객체 탐지기술 분야 또한 큰 발전을 이루었다. 하지만, 현재 높은 사양의 하드웨어가 부착되지 않는 모바일 장치들 상에서 계산 집약적(Computation-intensive)인 객체 탐지기술을 사용하기에는 긴 지연시간 때문에 어렵다. 이 문제를 해결하기 위해, 이전의 연구들은 객체 탐지를 위한 연산들을 컴퓨팅(Computing) 자원을 많이 갖춘 엣지 서버로 오프로딩(Offloading)하는 해결책들을 제안하였다. 하지만, 이전 객체 탐지결과를 적극적으로 활용하여 객체 탐지를 위한 연산양과 지연 시간을 줄이려는 시도는 이루어지지 않았다. 따라서 본 학위논문에서는 모바일 장치에서 이전 객체 탐지결과를 이용하여 효율적이고 저지연 객체 탐지를 가능하게 하는 시스템인 Edge-assisted Object detection on Mobile devices via the Reuse of bounding boxes (EOMR)을 제안한다. EOMR는 이전의 객체 탐지결과의 영역들에 대한 프레임 차분(Frame Difference) 기반의 프레임 유사도를 측정한다. 이후, 측정된 프레임 유사도 값을 기준으로, 현재 프레임에 대해 탐지결과 재사용, 객체 추적, 오프로딩 중 하나의 작업을 수행한다. 3개의 동영상에 대한 실험 결과에 따르면, EOMR은 오프로딩만을 사용하는 기준모델과 비교하여 탐지 정확도를 일부 감소시킴과 동시에 프레임당 평균 처리 지연시간을 유의미하게 낮추었다.
