Omnidirectional images provide all-around visual information obtained from a single viewpoint, as opposed to normal field-of-view (NFoV) images having limited information of the scene. Meanwhile, having depth data along with RGB data enables us to generate colored 3D point cloud data, which is widely used for 3D reconstruction and representation. As such, generating omnidirectional RGBD data can provide much more immersive information than having a panorama image only or having NFoV RGBD data. However, this task is hard to achieve due to the highly correlated bi-modal information and has received less attention. This paper tackles a novel problem: ‘synthesizing’ 360º RGBD panorama from non-omnidirectional RGB and limited depth data. By training a deep convolutional neural network using input data obtained with arbitrary configurations of a camera and a depth sensor, the network can generate realistic 360º RGBD panorama correspondingly. As there is no performance evaluation metric for the generated RGBD panorama, I also propose a method to evaluate its perceptual quality. Experiments show that the proposed method generates visually pleasing RGBD panorama under arbitrary configurations of a camera and a depth sensor, and the proposed evaluation method matches well with human perception.
전방위 영상은 하나의 시점에서 얻을 수 있는 모든 시각적 정보를 제공하는 데 반해, 일반적인 시야각을 가지는 영상은 해당 시점에서의 제한된 정보만을 가지고 있다. 한 편, RGB 정보와 함께 깊이 (D) 정보를 가지고 있다면 3차원 재구성 혹은 3차원 표현에 널리 이용되는 색상 정보를 포함한 3차원 점군 데이터를 만들 수 있게 된다. 그러므로, 전방위 이미지나 일반적인 시야각의 RGBD 데이터를 가지고 있는 것에 비해서, 전방위 RGBD 데이터를 만들어낼 수 있다면 더욱 몰입감 있는 정보를 제공할 수 있게 된다. 그러나, 해당 문제는 영상과 깊이 정보라는 높은 상관관계를 가지면서도 서로 다른 양상을 가지는 데이터를 동시에 다뤄야 하므로 풀기 어려운 문제이며, 동시에 많이 다루어지지 않은 주제이다. 따라서, 본 논문은 전방위가 아닌 RGB 정보와 제한된 깊이 정보로부터 전방위 RGBD 데이터를 ‘생성’ 해 내는 새로운 문제를 제시한다. 임의의 구성을 가지는 카메라와 깊이 센서로부터 취득한 정보를 입력받는 합성곱 심층 신경망을 학습시킴으로써, 해당 네트워크가 입력 정보 에 해당하는 현실적인 RGBD 파노라마 정보를 생성해 낼 수 있게 된다. 이렇게 생성된 RGBD 파노라마 정보를 평가할 방식이 존재하지 않으므로, 해당 정보의 시각적 품질을 평가할 수 있는 방법을 추가적으로 제안한다. 제안하는 방법이 시각적으로 만족스러운 RGBD 파노라마를 임의의 카메라와 깊이 센서 구성으로부터 생성해 낼 수 있으며, 제안하는 평가 방법이 사람의 인식 능력과 높은 상관 관계가 있음을 실험적으로 보인다.
