Ultra-thin light field camera is a light field camera made by attaching the lens array in front of the image sensor. The sub-aperture image quality is very low in ultra-thin light field camera due to the trade-off between spatial-angular resolution and non-existence of objective lens. Therefore, the restoration of sub-aperture image is necessary process to utilize the spatial information from the ultra-thin light field camera. In contrast to the previous works that requires complex computation or non-real-time, we propose a laplacian pyramid-based image fusion that can perform the enough restoration to improve the quality of the ultra-thin light field camera. We also present the ultra-thin light field camera having 24 sub-apertures, integrated with embedded computer so that can provide maximum portability. As a result, our ultra-thin light field camera system provides the restored image in real-time on embedded system. We also evaluate our restoration method with various criteria using our ultra-thin light field camera, our method shows better performance than other methods.
초박형 라이트필드 카메라 시스템은 이미지 센서 위에 렌즈 어레이를 부착하는 방식으로 만들어진다. 이러한 초박형 라이트필드 카메라는 하나의 이미지 센서를 여러 개의 sub-aperture가 나눠쓰는 방식에서 오는 공간해상도 감소와 두께를 최소화 하기 위해 대물렌즈를 제거하는 등의 이유로 개별 sub-aperture 이미지의 품질이 매우 낮은 문제가 있다. 따라서, 초박형 라이트필드 카메라로 얻어지는 라이트필드에서 공간 정보를 이용하고자 한다면 sub-aperture 이미지의 품질 향상이 필수적으로 수행되어야 한다. 기존 복원 알고리즘은 복잡한 연산을 요구하거나 실시간으로 수행될 수 없는 문제가 있으나, 본 연구에서는 라플라시안 피라미드 기반의 이미지 융합을 통해서 sub-aperture 이미지를 복원해 sub-aperture 이미지의 품질을 실시간으로 향상시키는 기술을 개발했다. 또한, 24개의 sub-aperture로 구성된 초박형 라이트필드 카메라를 임베디드 컴퓨터와 결합해 휴대성을 최대화한 라이트필드 카메라를 제작했다. 본 연구에서 개발된 이미지 복원 기술은 임베디드 시스템에서 실시간으로 사용이 가능한 것을 확인했으며, 여러 평가 지표에서 이미지의 품질이 향상되는 것과 다른 이미지 복원 기술에 비해 우수한 성능을 보여 주는 것을 확인했다.
