An efficient representation method of disparity map is proposed, which is optimized for high quality view interpolation and stereo image compression. The representation method is based on image gradient and disparity of stereo images. To obtain high image quality of the view interpolated images from the stereo images, we formulate the error introduced from view interpolation using stereo images and disparity map. In consideration of the derived error function, a new representation method is suggested by minimizing the error under restriction of given number of nodes. First, the disparity map is estimated using the simple block matching method, and the reliable region on which nodes will be placed is obtained using cross correspondence of the disparity values and matching error. Initial nodes are then placed according to the derived error function. Second, successive approximation is conducted by inserting a node per iteration followed by Delaunay triangulation until the number of nodes reaches the target number. The disparity map and error function are recalculated only for the changed triangles after inserting a node. Third, erroneous node points that may cause artifacts in the interpolated images are detected and removed. In addition, special manipulation on the boundary region is performed by inserting additional nodes. Finally, view interpolation is performed.
본 논문에서는 중간 영상 생성 및 스테레오 영상 압축에 적합한 양안 시차의 효율적인 도시 방법을 제시하였다. 일반적인 스테레오 영상 복호기에서 양안 시차 영상의 압축에 의한 손실과 이에 따른 중간 영상 및 예측 영상의 오류와의 관계를 양안 시차의 오류 및 입력 영상의 수평적 변화값을 이용하여 수식적으로 표현하였다. 입력 스테레오 영상에서 수평적인 증감값이 클수록 좀더 결과 영상에 더 많은 기여를 함을 알 수 있었으며, 이러한 관계식을 통해 양안 시차를 효율적으로 압축하고 중간 영상을 만들어내는 방법을 제시하였다.
주어진 노드의 숫자에 대해서 제안한 왜곡 함수를 가능한한 작게 만들도록 하는 점진적인 근사 방법을 제안하였고 이를 실제 스테레오 영상에 적용하여 중간 영상 생성 및 스테레오 영상 압축에 적용하였다. 먼저 주어진 스테레오 영상에서 블록 기반 정합 방법을 이용하여 양안 시차 영상을 얻고, 신뢰도를 이용하여 얻은 양안 시차 값들의 신뢰성을 표시하는 맵을 구한다. 신뢰할수 있는 영역에 초기 노드 위치를 선정한 다음 들로네(Delaunay) 삼각화를 통하여 주어진 노드를 이용하여 양안 시차 영상을 근사화 한 뒤, 각 분할된 삼각형에서 왜곡 함수를 이용하여 오차합을 구한다. 가장 오차합이 큰 삼각형을 선택한 뒤 그 삼각형에서 가장 큰 왜곡함수값을 갖는 위치에 노드를 추가한다. 이와 같은 노드의 추가 과정을 주어진 노드의 수 만큼 반복한다. 마지막으로 발생할수 있는 에러를 제거해 주는 후처리 과정을 거친 뒤 중간 영상 생성 및 스테레오 영상 압축을 수행한다.
제안된 방법을 이용하여 중간 영상 생성 및 스테레오 영상 압축 복호기에 적용한 결과, 주어진 노드의 수와 압축했을 때의 정보량을 기준으로 볼 때 기존의 여러 다른 양안 시차 영상의 표현 방법들에 비해 더 나은 잡음대 신호(PSNR)를 갖는 결과 영상을 얻었다.
