3D object reconstruction is becoming an essential technology in various computer vision applications such as AR / VR and 3D printing. Recently, as commodity RGB-D cameras have been widely used, there is an increasing demand for a technique to acquire 3D model easily by using these sensors. Interactive 3D reconstruction is one of the most user-friendly reconstruction methods using RGB-D camera. For interactive 3D reconstruction, it is necessary to obtain consecutive depth maps with user interaction. If the consecutive depth maps (2.5D) of an object are input, the 3D model of the object can be reconstructed by fusing them into a global volume model based on their poses. There are two main problems in the interactive 3D object reconstruction: i) the complexity of object shape may not be sufficient to reconstruct an object, and ii) occluding depths caused by interaction can be integrated into the volume model.
In this dissertation, we propose a robust interactive RGB-D object reconstruction system via fusion of multi-modal data (color and depth images) to overcome the aforementioned problems. Object information that can be obtained from a color image can be categorized into two main types as follows: silhouette, which represents the object region in the input image, and texture, which represents the inside information of the object region. First, we perform a pose estimation using both texture and depth information of an object to overcome pose drift caused by low shape variation of an object. In order to effectively use texture information, we propose an adaptive feature selection algorithm based on gradient variation. Second, we generate multi-modal visual hull shield by fusing silhouette and depth data of an object to remove dynamic occlusions caused by user interactions. To this end, we propose dual ray carving method for fusing data of different characteristics into a single object model.
3차원 물체 복원은 증강/가상 현실 및 3차원 인쇄와 같은 다양한 컴퓨터 비전 어플리케이션에서 필수 기술이다. 최근에는 범용 RGB-D 카메라가 널리 보급됨에 따라 이를 사용하여 3차원 모델을 쉽게 획득하는 기술에 대한 요구가 증가하고 있다. 인터랙티브 3차원 복원 기법은 RGB-D 카메라를 활용하여 물체를 복원하는 방법들 중 가장 사용자에 친화적인 기법들 중 하나이다. 인터랙티브 3차원 복원을 위해서는 사용자 상호작용을 통해 깊이 영상들을 얻는 것이 필요하다. 여러 장의 깊이 영상들(2.5차원)이 입력되면 깊이 영상들을 카메라 자세 정보를 기반으로 하나의 전역 볼륨 모델에 융합시켜 대상의 3차원 모델을 복원할 수 있다. 인터랙티브 3차원 복원에서는 다음과 같이 두 가지 주요한 문제가 발생한다: i) 관심 객체의 모양이 충분히 복잡하지 않아 자세 추정이 불가능할 수 있다. ii) 사용자 상호작용으로 인해 관심 물체 이외의 정보가 볼륨 모델에 융합될 수 있다.
본 박사 학위 논문에서는 앞서 언급한 문제들을 극복하기 위해 멀티 모달 데이터, 즉 컬러 및 깊이 정보의 융합을 통한 인터랙티브 RGB-D 물체 복원 시스템을 제안한다. 컬러 영상에서 얻을 수 있는 물체의 정보로는 물체의 실루엣과 텍스처가 존재한다. 먼저, 물체의 텍스처와 깊이 정보를 함께 이용하여 자세 추정을 수행함으로써 물체의 낮은 형태 변화도로 인한 자세 추정 드리프트를 극복한다. 효과적인 텍스처 정보 이용을 위해, 적응적으로 특징을 선택하여 자세 추정에 사용하는 기울기 변화에 기반한 적응형 특징 선택 기법을 제안한다. 둘째, 사용자 상호 작용으로 인한 동적 가림을 제거하기 위해 물체의 실루엣과 깊이 데이터를 융합하여 멀티모달 비주얼 헐 보호막을 생성한다. 이를 위해 서로 다른 특성의 데이터를 하나의 물체 모델로 융합시키는 이중 광선 조각 기법을 제안한다.
