서지주요정보
(A) study on interactive 3D reconstruction using RGB-D camera = RGB-D 카메라를 이용한 인터랙티브 3차원 복원에 관한 연구
서명 / 저자 (A) study on interactive 3D reconstruction using RGB-D camera = RGB-D 카메라를 이용한 인터랙티브 3차원 복원에 관한 연구 / Jisung Yoo.
저자명 Yoo, Jisung ; 유지성
발행사항 [대전 : 한국과학기술원, 2018].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8032466

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

DEE 18037

SMS전송 소장위치

도서상태

이용가능

대출가능

반납예정일

초록정보

3D object reconstruction is becoming an essential technology in various computer vision applications such as AR / VR and 3D printing. Recently, as commodity RGB-D cameras have been widely used, there is an increasing demand for a technique to acquire 3D model easily by using these sensors. Interactive 3D reconstruction is one of the most user-friendly reconstruction methods using RGB-D camera. For interactive 3D reconstruction, it is necessary to obtain consecutive depth maps with user interaction. If the consecutive depth maps (2.5D) of an object are input, the 3D model of the object can be reconstructed by fusing them into a global volume model based on their poses. There are two main problems in the interactive 3D object reconstruction: i) the complexity of object shape may not be sufficient to reconstruct an object, and ii) occluding depths caused by interaction can be integrated into the volume model. In this dissertation, we propose a robust interactive RGB-D object reconstruction system via fusion of multi-modal data (color and depth images) to overcome the aforementioned problems. Object information that can be obtained from a color image can be categorized into two main types as follows: silhouette, which represents the object region in the input image, and texture, which represents the inside information of the object region. First, we perform a pose estimation using both texture and depth information of an object to overcome pose drift caused by low shape variation of an object. In order to effectively use texture information, we propose an adaptive feature selection algorithm based on gradient variation. Second, we generate multi-modal visual hull shield by fusing silhouette and depth data of an object to remove dynamic occlusions caused by user interactions. To this end, we propose dual ray carving method for fusing data of different characteristics into a single object model.

3차원 물체 복원은 증강/가상 현실 및 3차원 인쇄와 같은 다양한 컴퓨터 비전 어플리케이션에서 필수 기술이다. 최근에는 범용 RGB-D 카메라가 널리 보급됨에 따라 이를 사용하여 3차원 모델을 쉽게 획득하는 기술에 대한 요구가 증가하고 있다. 인터랙티브 3차원 복원 기법은 RGB-D 카메라를 활용하여 물체를 복원하는 방법들 중 가장 사용자에 친화적인 기법들 중 하나이다. 인터랙티브 3차원 복원을 위해서는 사용자 상호작용을 통해 깊이 영상들을 얻는 것이 필요하다. 여러 장의 깊이 영상들(2.5차원)이 입력되면 깊이 영상들을 카메라 자세 정보를 기반으로 하나의 전역 볼륨 모델에 융합시켜 대상의 3차원 모델을 복원할 수 있다. 인터랙티브 3차원 복원에서는 다음과 같이 두 가지 주요한 문제가 발생한다: i) 관심 객체의 모양이 충분히 복잡하지 않아 자세 추정이 불가능할 수 있다. ii) 사용자 상호작용으로 인해 관심 물체 이외의 정보가 볼륨 모델에 융합될 수 있다. 본 박사 학위 논문에서는 앞서 언급한 문제들을 극복하기 위해 멀티 모달 데이터, 즉 컬러 및 깊이 정보의 융합을 통한 인터랙티브 RGB-D 물체 복원 시스템을 제안한다. 컬러 영상에서 얻을 수 있는 물체의 정보로는 물체의 실루엣과 텍스처가 존재한다. 먼저, 물체의 텍스처와 깊이 정보를 함께 이용하여 자세 추정을 수행함으로써 물체의 낮은 형태 변화도로 인한 자세 추정 드리프트를 극복한다. 효과적인 텍스처 정보 이용을 위해, 적응적으로 특징을 선택하여 자세 추정에 사용하는 기울기 변화에 기반한 적응형 특징 선택 기법을 제안한다. 둘째, 사용자 상호 작용으로 인한 동적 가림을 제거하기 위해 물체의 실루엣과 깊이 데이터를 융합하여 멀티모달 비주얼 헐 보호막을 생성한다. 이를 위해 서로 다른 특성의 데이터를 하나의 물체 모델로 융합시키는 이중 광선 조각 기법을 제안한다.

서지기타정보

서지기타정보
청구기호 {DEE 18037
형태사항 x, 88 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 유지성
지도교수의 영문표기 : Seong Dae Kim
지도교수의 한글표기 : 김성대
수록잡지명 : "Scale-invariant template matching using histogram of dominant gradients". Pattern Recognition, v.47.no.9, pp.3006--3018(2014)
학위논문 학위논문(박사) - 한국과학기술원 : 전기및전자공학부,
서지주기 References : p. 79-84
주제 3D reconstruction
user interaction
RGB-D camera
adaptive multi-modal pose estimation
dynamic occlusion
visual-hull shield
dual ray carving
3차원 복원
RGB-D 카메라
사용자 상호작용
적응적 RGB-D 자세 추정
동적 가림
비주얼 헐 보호막
이중 광선 조각
QR CODE qr code