A low-latency and low-power stereo matching accelerator monolithically integrated together with CMOS
image sensor (CIS) for mobile applications. To reduce the overall latency, focal-plane processing is
adopted by using the proposed analog census transform circuit (ACTC), and the image readout is
pipelined with the following stereo matching process. In addition, a novel focal-plane recti cation pixelarray
(FRPA) merges the rectification with the image readout without any additional processing latency.
For area-efficient pixel design, sparse rectification is proposed, and the image rectification is implemented
with only 2 additional switches in each pixel, while 98.57% of depth-map has only 0.96cm or less depth
error. A stereo matching digital processor (SMDP) is integrated with the CIS for the cost aggregation.
Simulated in 65nm CMOS process, the FRPA, the ACTC, and the SMDP achieve 11.0 ms latency with
the complete stereo matching stages, which is suitable for smooth user interface. As a result, 2-chip stereo matching system dissipates $573.9 \mu J/frame$ and achieves $8.76 \times 10^9$ disparity-evaluation/J energy efficiency.
고속, 저전력의 스테레오 매칭 가속기와 CMOS 이미지 센서를 단일칩에 집적하였다. 고속 동작을 위해 CMOS 이미지 센서 내부에서의 데이터 처리와 아날로그 census 변환을 구현하여, 이미지 센싱과 스테레오 매칭 알고리즘의 파이프라인을 가능케 하였다. 스테레오 매칭을 위한 이미지 사각화를 CMOS 이미지 센서 내부에 집적하는 방법을 구현하기 위해 새로운 구조를 제안하였다. 이 과정에서 화소의 공간효율적인 디자인을 위해 알고리즘 수정을 새로이 제안하여 $7 \mu m \times 7 \mu m$ 의 단일 픽셀에서 59.80%의 fill-factor로 픽셀을 구성하였다. 수정된 알고리즘을 사용하였을 때 생기는 오차는 60cm 거리의 손동작 인식 시스템에서 1cm 이하의 오차를 보여 목표로 하는 시스템에 적합하였다. 시뮬레이션은 65nm CMOS 공정에서 진행되었으며, 스테레오 매칭에 11.0ms의 대기 시간을 필요로 하였다. 2개의 칩으로 구현된 시스템은 $573.9 \mu J/frame$ 의 에너지를 소모하였으며, $8.76 \times 10^9$ disparity-evaluation/J의 에너지 효율을 보였다.
