서지주요정보
(A) real-time optical flow estimation processor for action recognition in mobile devices = 모바일 기기에서의 행동인식을 위한 실시간 광류 추정 프로세서
서명 / 저자 (A) real-time optical flow estimation processor for action recognition in mobile devices = 모바일 기기에서의 행동인식을 위한 실시간 광류 추정 프로세서 / Juhyoung Lee.
저자명 Lee, Juhyoung ; 이주형
발행사항 [대전 : 한국과학기술원, 2019].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8033806

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MEE 19057

SMS전송 소장위치

도서상태

이용가능

대출가능

반납예정일

초록정보

A 99.4 fps optical flow estimation (OFE) processor with image tiling is proposed for action recognition in mobile devices. The OFE is essential for the high action recognition accuracy. However, it is unsuitable for real-time constraint in a mobile computing environment because it requires a huge amount of external memory accesses (EMAs) and matrix computations. For mitigating the external memory bandwidth requirement, this paper proposes the tile-based hierarchical OFE. It divides input images into several tiles and enables intermediate data reusing with 326.4 KB on-chip memory and 175.8 MB/s external memory bandwidth. Moreover, a background decision unit with early termination is proposed to reduce computation workload. It gets rid of unnecessary matrix computation by terminates the computation early for zero optical flow region. As a result, the proposed features reduce external memory bandwidth by 99.3 % and increase throughput by 50.7 %, respectively. The proposed $12.8 mm^2$ OFE processor is implemented in 65 nm CMOS technology, and it achieves the real-time OFE with 99.4 frames-per-second (fps) throughput for an image resolution of QVGA (320 × 240).

모바일 장치에서 동작 인식을 위해 이미지 타일링을 사용하는 99.4 fps 광류 추정 프로세서가 제안되었다. 광류 추정은 높은 동작 인식 정확도를 위해 필수적이다. 그러나 거대한 양의 외부 메모리 접근 및 행렬 연산이 필요하기 때문에 모바일 컴퓨팅 환경에서의 실시간 제약 조건에는 부적합하다. 본 논문에서는 외부 메모리 대역폭 요구를 완화하기 위해 타일 기반의 계층적 광류 추정을 제안한다. 제안된 알고리즘은 입력 이미지를 여러 타일로 나눔으로써, 326.4 KB의 온칩 메모리 및 175.8 MB/s 외부 메모리 대역폭으로 광류 추정을 위한 중간 데이터를 재사용 할 수 있다. 또한, 연산 요구량을 줄이기 위해 조기 종료 기능이 있는 배경 결정 유닛을 제안하였다. 그것은 광류의 크기가 0인 이미지 영역에서는 조기에 계산을 종료함으로써 불필요한 행렬 연산을 제거한다. 결과적으로, 제안된 특징들은 외부 메모리 대역폭을 99.3 % 줄이고 처리량을 50.7 % 증가시킨다. 제안된 12.8 mm2 OFE 프로세서는 65 nm CMOS 기술로 구현되었으며 QVGA (320 × 240)의 이미지 해상도에 대해 99.4 fps로 실시간 광류 추정을 수행한다.

서지기타정보

서지기타정보
청구기호 {MEE 19057
형태사항 iii, 21 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 이주형
지도교수의 영문표기 : Hoi-Jun Yoo
지도교수의 한글표기 : 유회준
학위논문 학위논문(석사) - 한국과학기술원 : 전기및전자공학부,
서지주기 Including references
주제 Optical flow estimation
action recognition
tile-based processing
early termination
high throughput ASIC
광류 추정
행동 인식
타일 기반 처리
조기 종료
고처리량 ASIC
QR CODE qr code