3D modeling of an outdoor environment using images from a static camera can be used in a number of applications: 3D map generation, background modeling for visual surveillance, image relighting and manipulation. There are millions of cameras already out there which are constantly recording outdoor scenes and the number is growing every year. A general framework of photometric stereo which recovers the 3D information of an outdoor scene using images from such cameras will be useful because the algorithm can instantly be applied to millions of different cases without additional cost.
In this dissertation, we present a photometric stereo framework for 3D recovery of an outdoor scene using timelapse images. We exploit natural illumination to model the outdoor illumination environment through estimating skylight distribution that corresponds to the time and location of the image capture. The use of depth priors to the framework is investigated which can be obtained from other available resources such as satellite images or depth sensors according to the scale of the scene.
First, we present an outdoor photometric stereo method using images captured in a single day. We simulate a sky hemisphere for each image according to its GPS and timestamp, and parameterize the obtained sky hemisphere into a quadratic skylight and a Gaussian sunlight distribution. While previous methods usually model the outdoor illumination as a sum of constant ambient light and a distant point light source, our method models the natural illumination according to a popular sky model and thus provides sufficient constraints for shape reconstruction from one day images. The estimated surface normal is refined by MRF optimization. We have tested our method to recover the objects and scenes of various sizes in real-world outdoor daylight.
Second, we present an analysis on the condition of environment lighting that affects the quality of outdoor photometric stereo. The appearance of the sky hemisphere differs by the location of the sun in the sky and by the weather. The amount and the location of the clouds in the sky eventually alters the ability of the environment lighting to recover the surface normal of the scene. We examine the stability of the photometric stereo using real sky images of different weather conditions and introduce a modified sky model to estimate the skylight distribution in proper condition for outdoor photometric stereo.
Finally, we apply depth priors to our outdoor photometric stereo framework for final 3D scene recovery. The depth priors are obtained from an open source 3D map which generates the rough shape of buildings based on the satellite images with user assistance. The depth priors of the scene can be obtained using a depth sensor as well. In this case, the user assistance would not be necessary if the color camera for photometric stereo input images and the depth sensor for the range measurements are correctly aligned. We present a calibration method of a time-of-flight (ToF) sensor and a color camera pair to align the 3D measurements with the color image correctly. We show the performance of our calibration method quantitatively and qualitatively on various datasets, and validate the impact of our method by demonstrating an RGB-D shape refinement application.
고정된 카메라로 촬영한 여러 장의 사진으로부터 야외 환경의 3차원 정보를 모델링하는 기술은 다양한 응용 분야에 사용될 수 있다. 응용 가능한 분야에는 3차원 지도 생성, 시각적 감시를 위한 배경 모델링, 영상 재조명을 비롯한 영상 편집 등이 있다. 야외 풍경을 지속적으로 촬영하고 있는 고정된 카메라는 전 세계적으로 이미 수백만 대를 넘어 그 수가 매년 증가하고 있다. 야외 풍경의 3차원 정보를 복원할 수 있는 광도 스테레오 알고리즘은 추가적인 촬영 장비 없이 이미 설치된 수많은 카메라로 촬영된 영상에 곧바로 활용될 수 있다.
본 학위 논문에서는 저속 촬영한 연속 영상을 이용하여 야외 풍경의 3차원 정보를 복원하는 광도 스테레오 체계를 제시한다. 제안하는 방법은 사진이 찍힌 정확한 시간과 장소(GPS) 정보를 통하여 천구의 빛 분포를 추정하고 이를 자연 조명으로 모델링한다. 해당 장면의 규모에 따라 위성 사진이나 거리 센서를 통해 얻은 깊이 정보를 야외 광도 스테레오로 얻은 표면 정보와 합쳐 보다 세밀한 표면이 표현되는 3차원 모델을 얻어낸다.
첫번째로, 정지한 카메라로 하루 동안 야외 풍경을 찍은 사진을 이용한 야외 광도 스테레오 방법을 소개한다. 제안한 방법은 야외 조명이 주로 태양과 맑은 하늘의 빛 분포로 구성되어 있으므로 이를 일반화하여 자연 조명으로 모델링 할 수 있다는 동기에 기반한다. 사진이 찍힌 정확한 시간과 장소(GPS) 정보를 통하여 천구의 빛 분포를 추정하고, 이를 태양광과 나머지 하늘빛으로 나누어 태양광은 가우시안 분포로, 나머지 하늘빛은 이차분포로 가정하여 매개 변수로 표현한다. 기존의 야외 광도 스테레오 관련 연구들은 야외 조명을 점 조명과 상수값의 주변광으로 모델링하는데 반해 제안하는 방법은 컴퓨터 그래픽스 분야에서 이미 검증된 하늘빛 모델을 이용하여 자연 조명으로 모델링한다. 장면을 복원하는 최적화 문제를 해결하는데 있어서 자연 조명이 제공하는 조건이 더 풍부하기 때문에 기존의 방법들이 여러 개월 동안 촬영한 수백 장의 영상을 사용하는데 비하여 제안하는 방법은 단 하루 동안 촬영한 스무 장 이하의 영상을 이용하여 더 나은 복원 결과를 보인다.
두번째로, 야외 광도 스테레오에 효과적인 조명 환경의 조건에 대하여 분석한다. 하늘의 빛 분포는 태양의 위치와 날씨에 따라 달라지는데, 특히 구름의 양과 위치에 따라 장면의 표면 벡터를 복원하는 조명의 조건이 변화한다. 날씨에 따른 광도 스테레오의 성능 변화를 살펴보고, 야외 광도 스테레오를 위해 적합한 조명 조건을 가지는 하늘빛 분포를 추정하기 위해 개선된 하늘빛 추정 모델을 소개한다.
마지막으로, 깊이 정보를 최종 3차원 복원 모델 생성에 적용한다. 야외 장면에 대한 깊이 정보는 제한적인 지역에 한하여 공개되는 3차원 지도를 통하여 얻을 수 있는데, 이는 주로 위성 사진을 기반으로 사용자의 도움을 받아 제작되어 주요 건물들이 기본적인 입체 도형 정도로 표현된다. 건물보다 더 작은 규모를 가지는 조각상 정도의 장면의 경우 거리 센서를 사용하여 깊이 정보를 얻을 수 있다. 거리 센서를 이용하면 사용자의 도움은 불필요한 대신 광도 스테레오를 위한 컬러 카메라와 깊이 정보를 위한 거리 센서의 캘리브레이션이 필수적이다. 본 논문에서는 비행시각법 (time-of-flight, ToF) 센서와 컬러 카메라를 함께 이용할 때 얻는 RGB-D 데이터를 정확하게 정렬할 수 있는 캘리브레이션 방법을 제안한다. 제안하는 방법론은 ToF 센서의 오차 특성을 분석하고 이를 효과적으로 보정한다. 특히 카메라와 ToF 센서의 보정에 용이한 새로운 캘리브레이션 패턴을 제안하고, 온라인 상으로 캘리브레이션 소스코드를 공개하여 관련 연구자들이 쉽게 활용하도록 제공하였다.
