Depth sensing is a rapidly growing market as the demand of depth sensing technology for hand-held device increases. Porting depth sensing cameras to mobile devices presents a great challenge due to power, size, cost, and speed constraints of hand-held devices. Stereo vision, which has its roots in human binocular vision, is arguably the most thoroughly investigated depth extraction scheme. However stereo vision has a high computational complexity, which results in high power consumption and large computation time. For small area and real-time operation, cost-efficient hardware acceleration of depth extraction is needed. In this dissertation, a fast depth-extraction system for the disparity-based depth sensing camera is proposed. The hardware has optimal cost and accuracy achieved by mathematical modeling and analysis of depth accuracy. The proposed accelerator is fully pipelined, achieves high frame rates, performs online estimation of depth with each input pixel and does not require a frame buffer. It can provide depth at 30 frames per second at 1920 x 1080 resolution. Furthermore, the proposed system has low power consumption as for the aforementioned speed and resolution it only requires 290.76 mW. The proposed system is extended to scalable depth extraction hardware accelerator for multi-baseline stereo camera systems. Multiple stereo pairs are used to observe depth at varying depth ranges. For each stereo pair, the baseline and the depth range are determined to obtain the best compromise between the hardware cost and the depth accuracy. The proposed scalable depth extraction hardware accelerator makes it an ideal choice for depth extraction systems in constrained environments.
모바일 기기들의 거리 정보 추출 기술 수요 증가로 인하여 거리 정보 추출 카메라 시장이 급속도로 성장하고 있다. 모바일 기기에 거리 정보 추출 카메라를 탑재하는 것은 전력 소모, 크기, 비용 및 속도 관점에서 큰 제약이 따르게 된다. 인간의 양안 시각 원리를 기반으로 설계 된 양안 시차 방식 카메라는 비용적인 면에서 큰 이점이 있어 많은 연구가 이루어졌다. 그러나, 양안 시차 방식은 높은 계산 복잡도를 가지며, 이는 높은 전력 소모 및 실시간 동작의 불가능을 초래한다. 소형화 및 실시작 동작을 위해서는 하드웨어 가속이 필요하며 하드웨어 가속기는 비용적인 측면에서 효율성이 중요시될 것 이다. 본 논문에서는 양안 시차 방식 카메라를 위한 고속 거리 정보 추출 시스템이 제안한다. 하드웨어는 시스템 모델링 및 거리 정보 정확도 분석을 통해 비용과 정확도 면에서 최적화 설계가 이루어졌다. 또한, 하드웨어는 파이프 라인 방식으로 설계되어 높은 프레임 속도로 입력 픽셀에 대해 거리 정보를 온라인으로 추출하며 프레임 버퍼가 사용되지 않는다. 구현된 하드웨어는 1920 x 1080 해상도의 이미지를 매 초 30 프레임으로 거리 정보를 추출하며 290.76mW의 전력을 소비한다. 제안 된 시스템은 다중 베이스 라인 양안 시차 방식 카메라 시스템을 위한 확장 가능한 거리 정보 추출 하드웨어 가속기로 확장되었다. 이를 통해 요구되는 거리 범위를 여러 개의 카메라로 다룰 수 있다. 각 양안 시차 카메라 쌍에 대해 베이스 라인과 동작 거리 범위는 하드웨어 비용과 거리 정보 정확도 측면에서 최적화를 통해 결정 된다. 제안 된 확장 가능한 거리 정보 추출 하드웨어 가속기는 모바일 기기와 같이 큰 제약이 따르는 응용분야에 효율적인 방안이 될 것으로 예상된다.
