The advanced driver assistance system (ADAS) has been actively researched to enable adaptive cruise control and collision avoidance, and it is strongly dependent upon the robust image recognition technology such as lane detection, vehicle detection, pedestrian detection, traffic sign recognition, etc. However, the conventional ADAS cannot realize more advanced functions, such as collision evasion in real environments, due to the absence of intelligent decision making algorithms such as vehicle/pedestrian behavior analysis. Moreover, accurate distance estimation is essential in ADAS applications and semi-global matching (SGM) is most widely adopted for its high accuracy, but its System-on-Chip (SoC) implementation is difficult due to the massive external memory bandwidth. Most algorithms in automotive applications are accelerated by GPUs where its power consumption exceeds the power requirement for practical usage.
In this paper, an energy-efficient real-time ADAS SoC with deep risk prediction algorithm, which predicts risky objects prior to collision by behavior prediction and analysis, and hardware implementation of SGM is proposed to provide practical application to the intelligent ADAS. The proposed SoC is capable of SGM, object detection, object tracking, ego-motion compensation, and deep risk prediction with only 330mW of power consumption in average. Moreover, it has dual-mode operations of high-performance operation for intelligent ADAS with real-time SGM in driving mode (d-mode) and ultra-low-power operation for black box system in parked mode (p-mode). The SoC features: 1) task-level pipelined SGM processor to reduce external memory bandwidth by 85.8%; 2) region-of-interest generation processor to reduce 86.2% of computation; 3) mixed-mode deep risk prediction engine for dual-mode intelligence; 4) dynamic voltage and frequency scaling control to save 36.2% of power in d-mode.
For validation, the risky urban scene stereo (RUSS) database including 50 stereo video sequences captured under various risky road situations is created and tested. The proposed system is tested under various databases including the RUSS, KITTI, and Daimler-Stereo databases. The proposed ADAS processor achieves 862 GOPS/W energy efficiency and 31.4 GOPS/mm2 area efficiency, which are 1.53x and 1.75x improvements than the state-of-the-art. Also, the entire system can maximally achieve 30 frames/s throughput with 720p stereo images and achieves 98.1% of prediction accuracy.
운전자 보조 시스템은 적응식 정속 주행 시스템과 충돌 방지 기능을 위해 활발히 연구되었으며, 이는 차선 감지, 자동차 감지, 보행자 감지, 교통 표지판 인지 등의 견고한 영상 인식에 큰 영향을 받는다. 그럼에도 불구하고 자동차/보행자 행동 분석과 같은 지능형 의사 결정 알고리즘의 부재로 인해 현재의 운전자 보조 시스템은 실제 환경에서 충돌 회피 기능과 같이 더욱 진보된 기능을 지원하지 못 한다. 뿐만 아니라, 자동차 어플리케이션에는 높은 정확도의 거리 측정 기능이 필수불가결하며 이를 위해 높은 정확성을 갖는 세미-글로벌-매칭 알고리즘이 가장 널리 사용됨에도 불구하고 방대한 외부 메모리 대역폭의 한계로 인해 시스템-온-칩 개발이 어려웠다. 따라서 차량용 어플리케이션을 위한 알고리즘은 대부분 실제 사용이 가능한 전력 소비 조건을 훨씬 넘는 GPU 등을 통해서만 가속 되었다.
본 논문에서는 실현 가능한 지능형 운전자 보조 시스템 응용이 가능하도록 에너지 효율이 높은 실시간 운전자 보조 시스템 전용 시스템-온-칩과 더불어 물체의 움직임을 분석하고 예측하여 충돌 전에 위험 요소를 예측하는 심층 신경망 기반 위험요소 예측 알고리즘을 제안하며, 세미-글로벌-매칭 알고리즘의 하드웨어 제작을 제안한다. 본 논문에서 제안하는 시스템-온-칩은 330mW의 평균 전력 소모로 세미-글로벌-매칭과 물체 감지, 물체 추적, 자체 운동 보상 및 심층 신경망 기반 위험요소 예측 알고리즘을 가속한다. 또한 이 시스템-온-칩은 듀얼-모드로 제작되어 자동차의 주행 모드에서는 실시간 세미-글로벌-매칭과 더불어 지능형 운전자 보조 시스템 기능을 고성능으로 동작 가능케하며, 주차 모드에서는 블랙박스의 초저전력 동작을 가능케 한다. 해당 시스템-온-칩은 다음과 같은 특징을 갖는다. 첫째, 태스크 단위의 파이프라인 세미-글로벌-매칭 프로세서 구조로 외부 메모리 대역폭을 85.8% 줄인다. 둘째, 관심 영역 추출 프로세서를 통해 86.2%의 연산량을 줄인다. 셋째, 혼성 회로의 심층 신경망 기반 위험요소 예측 프로세서를 통해 두 가지 모드에 대해 지능성을 지원한다. 넷째, 동적 전압/주파수 스케일링을 통해 36.2%의 소비 전력을 감소한다.
본 논문에서 제안하는 시스템의 검증을 위해, 다양한 위험한 상황에 대해 50개의 연속적인 쌍안 영상을 갖는 위험요소 도심 장면 스테레오 데이터베이스를 구축하여 검증 하였으며, 이와 더불어 차량용 응용에서 널리 사용되는 KITTI와 Daimler-Stereo 데이터베이스로 검증을 하였다. 본 논문에서 제안하는 운전자 보조 시스템 프로세서는 862 GOPS/W의 에너지 효율과 31.4 GOPS/mm2의 면적 효율을 가지며, 각각은 최신의 차량용 프로세서보다 53% 및 75%의 효율 향상을 보인다. 또한, 전체 시스템은 720p 쌍안 영상에 대해 최대 30 frames/s의 쓰루풋을 가지며, 98.1%의 예측 정확도를 달성한다.
