Due to remarkable improvements in CMOS image sensor (CIS) technology, the image sensor market, which has been dominated by CCD, is divided by the CCD and the CIS. While the CIS has advantages like process compatibility, low power consumption, and low supply voltage over the CCD, it has weak points like low signal-to-noise, narrow dynamic range, and rolling-shutter distortion. This thesis focuses on techniques to reduce rolling-shutter distortion and widen dynamic range.
In Chapter 1, a technique to suppress the rolling-shutter distortion, coming from the unique readout mechanism of the CIS when there are fast-moving objects, is described. A mathematical analysis on rolling-shutter distortion is executed to derive an affine transformation between the distortion domain and the non-distortion domain in terms of motion vector and related sensor parameters. Based on the analysis, a post image processing scheme to compensate for the distortion is proposed. For motion vector detection, a modification of a well-known optical flow algorithm called Lucas-Kanade algorithm is utilized. Some experiments under artificial and real environment shows that the proposed motion detection algorithm provides accurate motion vectors at a reasonable computational complexity. A practical implementation of the post processing scheme including the motion vector detector is proposed which requires minimum HW resources when it is equipped on modern handheld devices.
In chapter 2, a wide dynamic range (WDR) technique for the CIS with dual photodiode- pixel structure is proposed. The WDR capability can be achieved by synthesizing two differently exposed images acquired from two different-sized photodiodes assigned to one pixel. The maximum WDR capability is achieved from the sensor, when specialized automatic exposure controls are applied to both images. Using the proposed algorithm, a sensor can adaptively adjust its exposure to widely varying illumination conditions and consequently accomplish infinite dynamic range in theory. An artificial testbench consisting of a virtual illumination target and its imaging system is introduced to verify the performance of the proposed algorithm. It is shown that a VGA-resolution CIS developed based on the proposed algorithm can support up to 119dB dynamic range.
최근 수년간 CMOS 이미지 센서 기술에서 일어난 괄목할 만한 발전으로 기존에 CCD가 주도하던 센서 시장은 CCD와 CMOS 이미지 센서가 양분하게 되었다. CMOS 이미지 센서는 일반적인 CMOS 로직 공정을 사용하기 때문에 다른 로직과의 동시 구현성, 낮은 전력 소모, 낮은 동작 전압 등의 장점을 가지는 반면에 낮은 신호잡음비(SNR), 낮은 다이내믹 레인지, 롤링셔터 메커니즘에 의해 발생하는 이미지 왜곡 등의 단점을 가진다. 본 논문에서는 롤링셔터 메커니즘에 의해 발생하는 이미지 왜곡을 보정하기 위한 해법과 다이내믹 레인지를 확장하기 위한 해법을 제시한다.
1장에서는 롤링 셔터 왜곡 보정에 관하여 다룬다. 먼저 주어진 센서 파라미터를 통해 롤링 셔터 메커니즘을 정의하고 가정된 속도 벡터를 통해 비왜곡 도메인과 왜곡 도메인의 변환 관계를 유도한다. 유도된 변환 관계를 이용하여 영상 후처리 단계에서 역변환을 통한 이미지 왜곡 보정 방법을 제시한다. 영상 후처리에 필요한 속도 벡터는 선형적이고 글로벌하다고 가정되며 연속된 두 개의 이미지를 통해 얻을 수 있다. 속도 벡터를 찾기 위하여 루카스-카나데 알고리즘을 영상 중심으로 균일하게 분포한 16개의 템플릿 윈도우와 탐색 윈도우에 적용하여 16개의 중간 모션 벡터를 얻고 이들 중 오류 여지가 있는 벡터들을 필터링 한 후 남은 벡터들에서 중간값을 취하는 방식을 사용한다. 제안된 알고리즘의 정확성을 보이기 위해 정지 영상에 인위적인 모션을 주는 경우와 실제 씨모스 이미지 센서를 통해 얻은 연속 영상에서 모션 벡터를 두 가지 실험을 수행하였다. 실제 왜곡된 연속 이미지들로부터 해당 모션 벡터를 찾고 이를 통해 얻어진 변환 관계를 역으로 적용함으로서 왜곡 없는 이미지로 보정이 합리적인 시간 내에 얻어 질 수 있음을 보인다. 또한, 제시한 방법이 큰 하드웨어 비용 추가 없이 CPU와 메모리를 포함하고 있는 휴대기기에 적용 될 수 있도록 하는 구현 예가 제시 된다.
2장에서는 넓은 다이내믹 레인지를 얻기 위하여 픽셀별로 2개의 포토 다이오드를 두고 서로 다른 노출 컨트롤을 적용하여 암부에 최적화된 고조도 이미지와 명부에 최적화된 저조도 이미지를 얻어낸 후 이 둘을 합성하는 방법에 대해 제시한다. 기존의 연구는 이중으로 영상을 얻어 낼 수 있는 아키텍쳐를 제시하는데 그쳤을 뿐 최적의 다이내믹 레인지를 얻어 낼 수 있는 노출 컨트롤 방식이나 이중 영상의 합성 방식에 대한 의견은 제시하지 않았다. 본 연구에서는 전통적인 PID 컨트롤러를 사용한 자동 노출 방식을 기반으로, 명부와 암부가 차지하는 비중을 고려하여 고조도 이미지와 저조도 이미지를 위한 자동 노출 컨트롤러의 입력들이 조도 환경에 따라 적응적으로 변하게 하는 새로운 자동 노출 알고리즘을 제안한다. 이와 함께 자동 노출 알고리즘의 수렴 후 얻어진 두 영상을 명부 암부가 차지하는 비중을 고려하여 합성하는 방법도 제안한다. 제안된 알고리즘을 검증하기 위해서 조도스케일이라고 하는 가상의 광원을 정의하고 가상의 영상 장치를 통해 영상을 얻어내는 소프트웨어 환경에서 실험을 수행하여 제안된 알고리즘에 의해 명부와 암부가 각각의 이미지에 올바르게 표현되는 것을 보인다. 제안된 자동 노출 알고리즘과 이중 포토다이오드 구조를 채용한 VGA 광대역 씨모스 이미지 센서가 실제로 구현되었고 이를 통해 최대 119dB의 다이내믹 레인지 성능을 얻을 수 있다.
