A 264 × 272 CMOS image sensor in 0.35μm 1P4M technology with a 8.9μm pixel pitch has been proposed. Using integration ability of CMOS image sensor, four functions as motion detection, region-of-interest readout, multi-resolution readout and mixed-resolution readout are integrated in CMOS image sensor with small pixel size. Proposed sensor outputs four types of image. First, 1-bit motion image is available. By proposed motion detection scheme using inter-pixel switch, 1-bit motion image acquisition without sacrificing pixel size and fill factor is possible. Implemented pixel size is 8.9 μm × 8.9 μm and fill factor is 27%. Second, 10-bit region-of-interest (ROI) image focusing on moving object can be read out with high frame rate. ROI image can be read with 480 fps when ROI size is 128 × 128. Regional controllability is imposed on pixel and periphery circuitry for ROI image readout. ROI image can also be read with reduced resolution by proposed pixel merging scheme. This multi-resolution readout enhances signal-to-noise ratio, sensitivity and bandwidth efficiency. Third, mixed-resolution image can be read out. Reduced resolution image with fast frame rate for fast moving object is output while normal resolution image with normal frame rate for stationary background image outputs. Both images output simultaneously by dual-channel output. This is the first CMOS image sensor which is able to output mixed resolution image. Last, normal high-quality image is available as conventional CMOS image sensor, and multi-resolution readout is also available.
Since fast feature extraction without image processor is possible with reduced bandwidth, proposed sensor will be applicable to bandwidth-limited, power-limited applications like sensor network, robotics, real-time control system and so on.
본 연구에서는 CMOS 영상 센서의 장점인 집적의 용이함을 이용, 움직임 검출 기능을 집적하여 다양한 종류의 영상을 획득할 수 있는 CMOS 영상 센서를 설계하였다.
보통 빠르게 움직이는 물체를 촬영하게 되면 영상의 왜곡이 발생하므로 빠른 속도로 영상을 출력해야 한다. 하지만 고속으로 영상을 출력하게 되면, 빛을 수광부에 모으는 시간이 짧아지므로, 신호대 잡음비가 떨어질 수 있다. 또한 영상 전송을 위한 대역폭은 한정되어 있으므로 모든 영상의 전송보다는 영상 내의 원하는 부분만을 추출하여 전송하는 것이 효율적이다.
이러한 문제점들을 해결하기 위해 본 연구에서는 기존의 영상 센서처럼 고화질의 영상을 출력함과 동시에 여러 기능들을 집적한 영상 센서를 설계하였다. 본 연구에서 제안된 영상 센서는 크게 네 종류의 영상을 출력할 수 있다. 첫째로, 집적된 움직임 검출 회로를 이용하여 1-bit의 움직임 영상을 출력한다. 제안된 움직임 검출 기법은 픽셀간 스위치를 이용하여, 픽셀의 면적을 크게 증가시키지 않으며 fill factor를 감소시키지 않으므로, 고해상도로의 적용이 가능하다.
둘째로, 관심영역 영상을 출력할 수 있다. 어떠한 물체를 촬영할 때 모든 영상을 전송하기보다 관심이 있는 물체의 영역만을 전송한다면, 필요한 대역폭을 줄일 수 있으며, 고속의 영상 획득이 가능하므로 왜곡 없는 영상을 얻을 수 있다. 이를 위해 픽셀 및 주변 회로를 선택적으로 제어할 수 있도록 하였다. 관심 영역은 128 × 128 크기의 관심영역의 경우 1초당 최대 480 프레임의 속도로 출력이 가능하며, 그 크기는 외부신호로 조절이 가능하다. 또한 관심영역 영상은 가변해상도로 읽을 수 있다. 인접한 픽셀들의 전하를 픽셀 안에서 더하여 읽어냄으로써 해상도를 줄이고 신호대 잡음비를 증가시킨다. 고속의 영상 출력 시에는 제한된 시간에 일정 양의 정보를 출력해야 하므로, 빛을 수광부에 모으는 시간이 짧아질 수 있으며, 이 경우 신호대 잡음비가 낮아지게 되지만, 가변해상도 영상 획득을 통해 신호대 잡음비를 증가시키는 동시에 대역폭도 감소시키는 효과를 얻게 된다. 또한 네 개의 수광부에서 모은 전하를 하나의 노드로 전달하므로 민감도가 향상된다.
셋째로, 혼합 해상도 영상을 출력할 수 있다. 즉, 움직이는 물체는 빠른 속도로, 저해상도로 읽어내며, 정지된 배경 영상은 초당 30 프레임의 속도로, 보통의 해상도로 읽어낸다. 따라서 빠르게 움직이는 물체를 왜곡 없이 포착할 수 있는 동시에 고화질의 배경 영상이 출력된다. 제안된 센서는 이중 채널 출력단을 가지고 있으므로 두 종류의 영상을 동시에 출력 가능하며, 두 종류의 영상은 결합되어 하나의 완성된 혼합 해상도 영상을 이룬다. 영상 센서 상의 혼합 해상도 영상의 출력은 본 연구에서 처음으로 구현되었다.
마지막으로, 기존의 영상 센서와 같이 고화질의 일반 영상을 출력할 수 있다. 통상 영상 센서에 특정 기능을 집적하게 되면 픽셀의 면적이 커지고 fill factor가 작아지는 경우가 많은데, 본 연구에서는 그러한 성능의 희생 없이 여러 기능을 집적하여 고화질의 일반 영상 또한 출력이 가능하다. 그리고 일반 영상 또한 가변해상도로 읽어낼 수 있다.
본 연구에서 설계한 CMOS 영상 센서는 0.35μm 1P4M CMOS 공정을 사용하며, 공급전압은 3.3V이다. 구현된 픽셀 크기는 8.9μm × 8.9μm 이고, fill factor는 27%, 화소수는 264 × 272 이다.
