Depth sensing has been widely used in many applications over the past several decades. However, conventional depth sensing platforms are not suitable for mobile devices due to their large size and computation complexity. In this dissertation, we propose a compact system for depth and image sensing with offset pixel apertures (OPA). Specifically, we design an enhanced depth map processing (EDMP) and an OPA-dedicated image signal processing (OISP). The EDMP significantly improves the depth quality on excessively dark or light regions, greatly mitigates false depth aggregation at object boundaries, and increases depth precision with a very small overhead. Shot-noise-modeling and two-pass cost aggregation significantly reduce depth errors with reasonable hardware costs. Also, the OISP provides primary image processing while using white pixels to further improve color quality over conventional image sensors. Both EDMP and OISP are integrated on a single-chip. Our system shares the common hardware engine through time-multiplexing, taking advantage of the temporal margin caused by the sparsity of the OPA pixels. In addition, this dissertation proposes a novel focus-diversity camera system to extend the depth range. Since the narrow DoF(depth of field) of the existing single-focus system degrades the quality of depth information, the focus-diversity camera system can be configured to merge variously focused images to complement each other. The proposed method was implemented and verified as a mobile app to extract depth by commercial smart phone for practical use.
모바일 기기에서 추출되는 깊이 정보는 다양하게 활용될 수 있다. 그러나 기존 능동 소자 기반의 방식들은 복잡도가 높고 요구되는 면적 및 전력 소모량이 크기 때문에 사용에 있어 제약 사항이 많다. 이러한 한계를 극복하기 위해 본 연구에서는 카메라 센서의 화소 위에 위치하는 오프셋 화소 조리개를 활용한 깊이 및 영상 정보 감지 장치를 제안한다. 제안된 장치는 극단적으로 어둡거나 밝은 영역에서의 깊이 품질을 개선하고, 물체 경계에서 깊이 정보의 오류를 크게 줄이며, 오프셋 화소의 분포를 활용한 시분할 방식에 의해 하드웨어의 효율성을 크게 높인다. 본 논문에서는 또한 다초점 시스템을 활용한 시스템을 추가로 제안한다. 단일렌즈 및 단초점 기반의 깊이 정보 추출 방식은 근거리 영역에서의 얕은 심도 때문에 적용 가능한 거리의 범위가 크게 제한된다. 제안된 다초점 방식은 초점을 순차적으로 바꾸고 동시에 연속적인 영상 정보를 획득함으로써 깊이 값 추출의 범위를 크게 확장 시킬 수 있다.
