Providing omnidirectional depth along with RGB information is important for numerous applications (VR/AR). However, as omnidirectional RGB-D data is not always available, synthesizing RGB-D panorama data can be useful. Therefore, prior work tried to synthesize RGB-D panorama data from limited information of RGB-D data; however, there is a problem that a small error in the generated depth map may cause unnaturalness when it is restored in 3D model. In this paper, I study a problem: Synthesizing RGB-D panorama, which can provide a complete 3D model, under the arbitrary configurations of cameras and depth sensors. Accordingly, I propose a novel bi-modal (RGB-D) panorama synthesis (BIPS) framework. In this paper, I design a generator that fuses the bi-modal information and train it with residual-aided adversarial learning (RDAL). RDAL allows to synthesize realistic indoor layout structures and interiors by jointly inferring RGB panorama, layout depth, and residual depth. In addition, the method for generating the layout depth map and the residual depth map, which is required for RDAL, is proposed. Extensive experiments show that my method synthesizes high-quality indoor RGB-D panoramas and provides realistic 3D indoor models than prior methods.
RGB 정보와 함께 전방향 깊이 정보를 이용하는 것은 수많은 애플리케이션 (VR/AR)에 중요하다. 그러나 전방향 RGB-D 데이터가 항상 제공되는 것은 아니기 때문에, RGB-D 파노라마 데이터를 생성하는 것은 유용할 수 있다. 이에 따라 이전 연구에서는 제한된 RGB-D 정보로부터 RGB-D 파노라마 이미지를 생성하려고 했지만, 생성된 깊이지도의 작은 오차가 이를 3차원으로 복원하였을때 부자연스러움을 일으킬 수 있다는 문제점이 존재하였다. 본 논문에서는 임의의 구성을 가진 카메라와 깊이 센서로부터 완전한 3D 모델을 제공할 수 있는 실내 환경 RGB-D 파노라마 생성이라는 문제를 연구한다. 이에 따라 이중 모달(RGB-D) 파노라마 생성(BIPS) 프레임워크를 제안한다. 본 논문에서는 이중 모달 정보를 통합하고 잔차 깊이 기반 적대적 학습(RDAL)을 학습하는 생성기를 설계하였다. RDAL은 RGB 파노라마, 레이아웃 깊이 및 잔차 깊이를 상호 보완적으로 추론하여 사실적인 실내 구조와 내부를 생성할 수 있다. 또한 RDAL에 필요한 레이아웃 깊이 지도와 잔차 깊이 지도를 생성하기 위한 방법을 제안하였다. 본 논문의 실험들은 제안한 방법이 고품질 실내 RGB-D 파노라마를 생성하고 기존 방식보다 사실적인 3D 실내 모델을 제공함을 보여준다.
