In this thesis, a wide dynamic range CMOS image sensor (CIS) system operating in a linear-logarithmic mode has been designed and implemented based on a proposed two-step charge transfer operation.
For the emerging imaging markets such as the automotive and surveillance applications, the wide dynamic range (WDR) is one of the most important performance factors in the CIS to capture a scene without any loss of information even in extreme illumination conditions. A linear-logarithmic image sensor has attracted a great deal of attention due to the advantages of single image readout and wide dynamic range performance while having a compatibility with the conventional pixel structure.
However, fixed pattern noise (FPN) sets the fundamental limit on performance of a linear-logarithmic image sensor. In a linear-logarithm image sensor, two types of the FPN are usually involved. One is the offset-FPN originated from the threshold characteristic variation and the other is the gain-FPN originated from a subthreshold slope characteristic variation of the logarithmic conversion transistor. Therefore relevant post calibration procedures are usually required for both the FPN sources to acquire high quality wide dynamic range images. To reduce the FPN, image sensors usually accompany in-pixel extra components or complex image processing steps, or even both.
In this thesis, in order to realize a low-cost and high performance wide dynamic range image sensor system, new schemes of effective offset and gain FPN correction for the linear-logarithmic image sensor are proposed along with the overall image sensor system development. The first is a two-step charge transfer operation method which is simple yet effective for the offset-FPN correction. The proposed operation has compatibility with the conventional 4-transistor APS structure and only the transfer and readout operation is altered. Therefore the proposed image sensor can be realized without the frame memory or any other complex post processing steps, with only minor additional readout circuitry. The prototype image sensor chip is designed using a 0.13 μm CIS process with a 2.25 μm pixel pitch. For the case of the proposed image sensor, much reduced offset FPN less than 0.58 % of the output level is obtained due to the proposed two step charge transfer method, compared to the FPN of 3.2% for the case of the conventional linear-logarithmic image sensor while achieving a wide dynamic range of 120 dB. The measured offset-FPN value is comparable to that of the cases in which the additional in-pixel components or complex post processing steps are used.
Secondly, the gain-FPN characteristics are analyzed and corrected. By analyzing the prototype image sensor chip, it is found that the shared pixel structure gives rise to odd-to-even row logarithmic gain deviation. Based on the analysis result, a new correction scheme for the odd-to-even row gain deviation is proposed for the first time. The proposed correction scheme for the gain deviation only uses two correction constants which can be acquired easily from the pixel array therefore can be realized with little addition in the system. The proposed method showed good gain FPN correction capability therefore, the realized image sensor along with the offset FPN correction showed much reduced total FPN of less than 0.58% for entire dynamic range. The results show that the linear-logarithmic image sensor based on the proposed offset and gain FPN calibration can be a promising candidate for the emerging market opportunities, such as the automotive or surveillance imaging, due to the performance characteristics of the wide dynamic range and high sensitivity at low illumination along with the overall system simplicity.
Throughout the thesis work, a linear-logarithmic image sensor system is designed and developed to actually realize these proposed correction schemes in a full CIS monitoring test bed. In addition to the image sensor chip design based on the proposed correction scheme, a measurement board has been also developed for monitoring the designed chip with all the system peripheral and with the image viewer programs on the monitoring control PC. The test board is designed based on the FPGA chip which is described by a Verilog HDL (hardware description language). The image viewer program is developed by using a C++ programing language to display and analyze the captured image. The designed image sensor system is capable of real time image capturing and analyzing up to 36 fps while having compatibility with different image sensor chips.
본 논문에서는 On-chip에서 간단히 고정 패턴잡음 (FPN)을 보정하는 linear-logarithmic APS 기반의 wide dynamic range CMOS 이미지 센서 시스템을 제안하고 설계하였다.
CMOS 이미지 센서는 다양한 카메라 응용분야에서 활용되고 있으며 시장은 점점 더 확대되어 가고 있다. 그 중에서도 특히 자동차 및 감시카메라 시장은 매우 빠르게 성장하는 신흥 시장으로서 관련 분야에 대한 기술 개발을 통한 시장 선점이 중요하다. 이러한 응용분야에서는 시야를 잃지 않는 특성이 중요하므로 wide dynamic range 특성이 매우 중요하다. Linear-logarithmic 이미지 센서는 wide dynamic range 특성 이외에도 일반적인 픽셀 구조와의 호환성 및 단일 영상을 통한 구현의 가능성 등의 장점으로 많은 주목을 받고 있다. 하지만 linear-logarithmic 이미지 센서는 logarithmic conversion 트랜지스터의 특성 산포에 기인하는 높은 FPN을 가지며 이는 offset 및 gain 특성의 산포로 작용한다. 따라서 일반적으로 이들을 보정하기 위하여 시스템에 프레임 메모리 또는 픽셀 내부에 추가적인 요소가 추가된다. 이는 전체 시스템의 단가를 증가시키고 전체 시스템을 복잡하게 하는 원인이 되므로 이를 간단히 해결할 수 있는 방식의 고안이 필요하다. 이에 본 논문에서는 두 가지 FPN을 각각 보정할 수 있는 방식을 제안하였으며, 최종적으로 on-chip에서 FPN 이 보정된 linear-logarithmic 이미지 센서를 구현하였다.
우선 offset-FPN을 효과적으로 보정할 수 있는 two-step charge transfer 방식이 제안되었다. 제안된 방식은 일반적인 픽셀구조를 가지며 메모리 및 픽셀 구성 요소의 추가 없이, 광전하의 전달 방식 변화 및 readout 회로의 약간의 추가만으로 offset-FPN이 보정된 linear-logarithmic 영상 신호를 얻어낼 수 있는 방식이다. 프로토타입 이미지 센서 칩이 130 nm CIS 공정을 통하여 설계되었으며, 2.25 x 2.25 μm2 크기의 픽셀이 사용되었다. 설계된 칩의 측정을 통하여 120dB의 dynamic range를 얻을 수 있었으며, 제안된 방식을 사용하여 보정 전 3.2 % 의 offset-FPN이 보정된 결과 0.58 % 이하로 줄어든 것을 확인 할 수 있었다. 이는 이전에 제안되었던 픽셀 내부에 요소를 추가하거나 프레임 메모리를 이용하는 방식과 비견되는 결과라고 할 수 있다.
다음으로 gain-FPN 특성이 분석되고 보정되었다. 프로토타입 이미지 센서 칩의 측정을 통하여, shared-pixel 구조가 홀-짝 열의 gain 특성 산포를 야기한다는 것을 최초로 밝혀내었으며, 이를 간단히 보정할 수 있는 방식이 새로이 제안되었다. 제안된 보정 방식은 전체 칩을 통하여 단지 두 개의 보정 상수만을 사용하므로 메모리의 추가가 거의 없으며, 보정 프로세스가 간단하여 전체 시스템에서 추가적인 요소가 거의 없이 구현 될 수 있다. 실제 적용 결과 전체 dynamic range에서 0.58 % 이하의 FPN을 가지는 이미지 센서를 구현할 수 있었다. 이러한 결과를 통해 제안된 offset 및 gain-FPN 보정 방식에 기반한 linear-logarithmic 이미지 센서는 일반적인 linear-logarithmic 이미지 센서의 장점들에 더하여 낮은 FPN을 가지면서도 간단한 시스템 구조를 통하여 저 가격으로 구현할 수 있는 장점을 가진다는 것을 확인하였으며, 이에 자동차 및 감시카메라 용 센서 시장에서 높은 가능성을 가질 수 있을 것이라 판단된다.
논문연구를 통해서 제안된 방식들의 실제적 구현을 위하여, linear-logarithmic 이미지 센서 시스템이 구현되었다. 이미지 센서 칩 설계에 더하여 FPGA 기반의 측정보드가 개발되었으며 이를 PC에서 모니터링하고 영상 데이터의 분석하기 위하여 image viewer가 C++ 프로그래밍을 통하여 개발되었다. 개발된 이미지센서 시스템은 36fps의 실시간 영상 획득 및 분석이 가능하며 여러 다른 이미지 센서 칩들과의 호환성을 가지므로 추후 설계된 이미지 센서 칩의 분석에도 사용될 수 있을 것이라 판단된다.
