We can easily observe image quality degradations from image noise or under-expose problems in low-light conditions due to inherent structural problems of conventional cameras. To solve these problems, this paper proposes computational imaging approaches that modify camera structures and design algorithmes for the cameras. In particular, we introduce multiple images acquisitions with different characteristics using the proposed camera structures and novel 3D depth estimation to match them.
First, we propose an accurate depth estimation method based on light-field images. Unlike traditional cameras, light-field cameras sample the angular and spatial information of the incoming light on the sensor in a single photographic exposure. This produces well-aligned multi-view images, and allows refocusing by extending the depth field of the camera. However, inherent structural problems in light-field cameras result in a narrow baseline between the multi-view images, and severe image noise. Accurate depth maps were obtained from the light-field image using the proposed phase-shift and learning based multi-view stereo matching method. By applying the estimated depth map, we achieved high-quality denoised images.
Second, we present a stereo matching process using monochrome and color cameras for accurate depth estimation and high-quality color images in low-light conditions. A unique difference between monochrome and color cameras is the presence or absence of a Bayer filter. Although the Bayer filter captures color information by filtering the light spectrum according to wavelength range, it occludes a lot of incoming light, which amplifies image noise in low-light conditions. On the other hand, a monochrome camera uses all the incoming light at each pixel and does not require a demosaic process. This gives them much better quantum efficiency and provides shaper images.
We combined the advantages of these two cameras using the proposed iterative stereo matching approach. We recovered high-quality color images by transferring chrominance information about the color images into monochrome images using the estimated depth maps.
Third, we introduced a novel camera array consisting of two color and two monochrome cameras with different ISOs or exposure times, which allowed a depth map and an exposure fusion image, practical alternative to an HDR image, to be obtained in a single photographic shot. We computed the depth map using images captured from our camera array. With the estimated depth map, we aligned the images to obtain an exposure fusion image. The algorithm are based on the depth from the light-field image and the stereo matching from the monochrome and color cameras provided robust performance in low-light conditions. In addition, we demonstrated that the proposed method enables the capture of exposure fusion video, using sequential images as input. However, there is still issue on a matching error from motion blur.
Lastly, we present a coded exposure video for multi-image motion deblurring. In conventional photography, moving objects or moving cameras result in motion blur. The exposure time defines a temporal box filter that smears the moving object across the image by convolution. This box filter destroys important frequency components so that deblurring becomes a problem. The proposed solution is to capture video frames with a well-designed set of camera shutter fluttering patterns, which preserves the frequency components and makes deblurring tractable. Blurred images taken by the proposed method are deblurred by an iterative matting and deconvolution method.
노이즈, 노출 부족 등 카메라 사용자들이 흔히 관찰할 수 영상의 품질을 떨어뜨리는 현상이다. 이러한 현상은 카메라의 구조적인 문제로 발생한다. 본 논문에서는 이한 해결책으로 카메라의 구조적 변형과 새로운 알고리즘을 제시하는 계산사진학 접근법을 택한다. 특히 특성이 다른 여러 장의 영상을 획득하기 위한 카메라 구조와 이를 정합하기 위한 새로운 3차원 깊이 정보 추정을 소개한다.
첫 번째로, 단일 라이트 필드 영상을 이용하여 고품질의 3차원 정보를 복원한다. 라이트 필드 카메라는 기존 카메라와는 다르게 빛의 방향 정보를 획득할 수 있다. 즉, 단일 촬영으로 일관적으로 정렬된 다시점 영상을 얻을 수 있다. 이를 이용해 사진 촬영 후 초점을 바꾸는 것이 가능해졌고, 기존 카메라에 내제되어 있는 제한된 피사계 심도 문제를 해결할 수 있는 가능성을 열었다. 하지만, 다시점 영상간의 좁은 베이스라인과 카메라 구조상 영상의 심각한 노이즈 문제는 불가피하다. 제안된 페이즈 기반의 극세 이동 방법과 학습기반의 다시점 스테레오 매칭은 좁은 베이스라인과 심각한 노이즈가 있는 영상에서도 정확한 3차원 깊이정보를 추정한다. 이렇게 얻어진 깊이정보를 이용한 디노이징 기법을 소개한다.
두 번째로, 흑백카메라와 컬러카메라를 이용한 스테레오 매칭 방법을 통해 저조도 상황에서 정확한 3차원 깊이정보를 구하고 이를 이용해 고품질의 컬러 영상을 복원한다. 컬러카메라와 흑백카메라의 유일한 차이는 베이어 필터의 유무이다. 베이터 필터는 빛의 스팩트럼 대역을 나눠 통과시킴으로써 카메라의 단일 센서로 컬러를 추정할 수 있게 한다. 하지만 베이터 필터를 통해 빛의 투과 비율이 급격히 감소한다. 이는 저조도 환경에서 노이즈의 증가를 야기한다. 반면에 흑백카메라는 베이터 필터가 없어 빛의 투과 비율이 높아 노이즈에 강인한 특성이 있다. 제안된 방법은 이 두 카메라의 장점을 융합할 수 있는 반복적인 스테레오 매칭 기법을 제안한다. 이를 통해 얻어진 깊이정보를 이용하여 컬러카메라의 색차 정보를 흑백 영상의 색차 정보로 활용하여 고품질의 컬러 영상을 얻는 방법을 소개한다.
세 번째로, 고품질의 3차원 깊이 정보와 고 명암비 영상을 얻기 위한 카메라 배열 기술을 소개한다. 우선 일정한 간격으로 배치된 카메라간의 대응점 정합을 통해 3차원 정보를 계산한다. 이 때 각 카메라는 흑백과 컬러 카메라로 구성되어 있고 각기 다른 밝기로 영상을 획득한다. 다른 영상 특성과 밝기, 그리고 영상간 대응점 정보를 이용하여 고 명암비 영상을 대체할 노출 융합 영상을 계산한다. 제안된 카메라 배열과 알고리즘은 위의 언급한 연구결과를 토대로 야간환경에 강인하면서 고품질의 3차원 정보 및 노출 융합 영상을 제공한다. 뿐만 아니라 제안된 카메라 배열과 학습 기반의 3차원 깊이 정보 추정 방법은 손쉽게 노출 융합 비디오 촬영을 가능하게 한다. 하지만 움직임 블러에 따른 오차는 여전히 남아 있다.
마지막으로, 움직임 블러 문제를 해결하기 위한 비디오 코드화 노출 기법을 제안한다. 움직임 블러는 카메라 셔터 속도에 비해 물체가 빠르게 움직일 때 생기는 문제이다. 블러는 영상의 주파수 정보의 손실을 야기하기 때문에 정확한 원본 영상으로 복원이 어렵다. 제안된 방법은 빠르게 움직이는 물체를 매 프레임마다 다른 이진 셔터 패턴을 갖는 연속적인 영상으로 촬영하여 블러된 영상의 주파수 손실을 최소화 한다. 비디오 코드화 노출 기법으로 촬영된 영상은 반복적인 매팅과 디블러링 과정을 통해 고품질의 영상으로 복원한다.
