Spatial resolution of an image sensor has increased significantly, allowing us to capture additional information, such as spatially-varying multiple exposures. Quad-Bayer patterned sensors have become popular, enabling snapshot HDR imaging. However, the quad-Bayer pattern compromises spatial resolution for multiple exposures and colors in results. Also, the general quad-Bayer sensor controls exposures by gain rather than the actual exposure time, and thus the extension of dynamic range has been insignificant. While time-varying multiple exposures are desirable for high-quality HDR imaging, it is inapplicable to dynamic scenes in general, requiring an additional deghosting method. In this work, we propose a snapshot HDR demosaicing method, which takes time-varying multiple exposures as input and jointly solves both demosaicing and deghosting problems from the quad-Bayer patterned input. Our method consists of a feature-extraction module to handle mosaiced multiple exposures and a U-net style multiscale transformer module to register spatial displacements of multiple exposures and colors to obtain a high-quality HDR image from a quad-Bayer RAW image. We create a dataset of quad-Bayer sensor input with varying exposures and colors and train our network using our dataset. Results validate that our method outperforms baseline HDR reconstruction methods with both synthetic and real datasets.
최근 이미지 센서의 공간 해상도가 크게 향상되어 다중 노출과 같은 정보를 추가적으로 획득할 수 있게 되었다. 이와 관련하여 쿼드 베이어 패턴 센서가 대중화되어 스냅샷 HDR 이미징이 가능해졌다. 그러나 이러한 쿼드 베이어 패턴은 한정된 공간 해상도에서 다중 노출과 색상간의 타협이 필요하다. 또한 일반적인 쿼드 베이어 센서는 실제 노출 시간이 아닌 게인으로 노출을 제어하기 때문에 다이나믹 레인지의 충분한 확장이 이뤄지지 않는다. 반면 시간 기반의 다중 노출은 고품질 HDR 이미징에 바람직하지만 일반적으로 동적 장면에는 적절하지 않으므로 추가적인 디고스팅 방법이 필요하다. 본 논문에서는 시간 기반 다중 노출을 입력으로 하고 쿼드 베이어 패턴 입력의 디모자이킹 및 디고스팅 문제를 동시에 해결하는 스냅샷 HDR 디모자이킹 방법을 제안한다. 쿼드 베이어 RAW 이미지로부터 고품질 HDR 이미지를 복원하기 위해 본 네트워크를 모자이크된 다중 노출 입력을 처리하기 위한 특징 추출 모듈과 다수의 트랜스포머 블럭을 U-net 구조로 배열하여 다중 노출 및 색상의 공간 변위를 조정하는 모듈로 구성하였다. 이를 위해 다중 노출과 색상을 가진 쿼드 베이어 센서 입력의 데이터셋을 제작하고 이를 이용해 네트워크를 학습시킨다. 제안된 방법이 합성 및 실제 데이터셋 모두에서 다른 HDR 이미지 복원 방법들보다 성능이 우수함을 결과를 통해 검증한다.
