Image-based rendering is an approach to generate an image viewed with arbitrary camera parameters using scene information extracted from a set of reference images. The rendering speed of this approach depends only on image size instead of scene complexity, and complex hand-made geometric models are not required. Hence, image-based rendering is appropriate to generate realistic images in interactive applications.
In this thesis, we propose a new approach to image-based rendering that uses a set of optical flows as scene information. We develop an analysis technique that produces matching chains from sequences of stereo matching and extracts optical flows from the matching chains without any special equipments such as range cameras. We also derive validity conditions of optical flows and show that the obtained flows satisfy those conditions.
This means that we can generate visually correct images from the optical flows even with specular reflection and object occlusion. Since environment geometry is inferred from the optical flows, we are able to generate more accurate images with this additional geometric information. We accelerate the rendering procedure by processing optical flows in back-to-front order and culling flows using the filtering search technique. It is also possible to compose an image rendered from optical flows with an image generated by a conventional rendering technique through a simple Z-buffer algorithm.
Since the rendering time is significantly influenced by the number of optical flows, we propose a compact representation of optical flows that reduces the number of optical flows while encoding the same scene information. In this new representation, an optical flow is constructed for a pixel interval in which pixels have the same intensity. We are able to render more than ten images per second by using the new representation.
영상 기반 렌더링은 참조영상의 집합으로부터 환경정보를 추출하고, 다시 이를 이용하여 주어진 환경을 임의의 위치에서 본 영상을 생성하는 방법이다. 이 방법을 이용하는 경우, 영상의 생성속도가 환경의 복잡도가 아닌 영상의 크기에만 좌우되며, 환경에 대한 기하정보를 필요로하지 않게 된다. 따라서 영상 기반 렌더링은 대화형 응용분야에서 실시간에 사실적인 영상을 생성하는데 적합하다.
본 논문에서는 환경정보로서 광류의 집합을 이용하는 새로운 영상 기반 렌더링 기법을 제안하였다. 일련의 스테레오 매칭으로부터 환경내의 같은 물체에 대응되는 화소들을 찾아 매칭사슬을 구성하였으며, 다시 각각의 매칭사슬에서 광류를 분석하였다. 또한, 각각의 광류에 대한 타당성 조건을 유도하였으며, 본 논문에서 제안된 방법으로 생성된 모든 광류가 이 조건을 만족함을 보였다. 따라서, 거울면 반사에 의한 물체표면의 색성변화나 시점의 이동에 따른 물체간 가시성 변화가 있는 경우에도 광류의 집합으로부터 항상 시각적으로 올바른 영상을 생성할 수 있다.
광류집합으로부터 환경에 대한 기하정보가 주어지므로, 이를 이용하여 카메라가 임의의 위치에 놓이는 경우에도 정확한 영상을 생성할 수 있다. 본 논문에서는 전체 광류들을 카메라에서 먼 것에서부터 가까운 것의 순서로 처리하고, 필터링 탐색기법을 이용하여 전체 광류 중 생성되는 영상에 영향을 미치는 광류만을 효과적으로 선택함으로써 영상생성 속도를 향상시켰다. 또한, 생성된 영상을 깊이비교를 통해 다른 일반적인 컴퓨터 그래픽스 영상생성 기법으로 만들어진 영상과 합성할 수 있다.
영상생성 속도는 전체 광류의 갯수에 크게 좌우되기 때문에, 본 논문에서는 환경정보를 유지하면서 광류의 갯수를 줄일 수 있는 효과적인 광류 표현방법을 제안하였다. 새로운 표현방법에서는 하나의 광류는 영상내에서 같은 색상을 가지는 화소의 구간에 대응된다. 새롭게 제안된 표현방법을 사용하여 광류를 표현하는 경우, 초당 10장 이상의 영상이 생성될 수 있다.
