We propose noble ideas and formulations based on nonlinear partial differential equations (PDEs) in image segmentation and image restoration. Two algorithms which have different perspectives on taking initial contours are proposed in image segmentation. The first is to place initial contours arbitrarily for the purpose of capturing multiple junctions and holes of object in image. The second is to place those close to boundaries of objects for the purpose of fine segmentation. In the image restoration, we propose a nonlinear PDE for regularizing a tensor which contains first derivative information of image such as strength of edges and parallel direction to the gradient of image. It improves the quality of result in many low level topics in computer vision, which need the first derivative information of image.
In the first segmentation algorithm, noble forces based on active contours models are proposed for capturing objects in the image. Contemplating the common functionality of forces in previous active contours models, we propose the geometric attraction-driven flow (GADF), the binary edge function, and the binary balloon forces to detect objects in difficult cases such as varying illumination and complex shapes. The orientation of GADF is orthogonally aligned with the boundary of object and has the opposite direction across the boundary. It prevents the leakage on the weak edge. To reduce the interference from other forces, we design the binary edge function using the property of orientation in GADF. We also design the binary balloon force based on the four-color theorem. Combining with initial dual level set functions, the proposed model captures holes in objects and multiple junctions from different colors. The result does not depend on positions of initial contours.
In the second segmentation algorithm, we propose fine segmentation in order to extract objects in an image without loss of detailed shapes. The image has simple background colors or simple object colors. The GADF and edge-regions are combined to detect boundaries of objects in a sub-pixel resolution. The main strategy to segment the boundaries is to construct initial curves close to objects by using edge-regions and then to make a curve evolution in GADF. Since the initial curves are close to objects regardless of shapes, highly non-convex shapes are naturally detected and dependence on initial curves in boundary-based segmentation algorithms is removed. Moreover, weak boundaries are captured because the orientation of GADF is obtained regardless of the strength of boundaries. According to the purpose of segmentation which is fine extraction of objects or measurement of sizes of objects, we propose a local region competition (LRC) algorithm. This noble algorithm detects perceptible boundaries which can be used to extract objects from the image without visual loss of detailed shapes. The LRC and edge-regions make distinctive difference from the first segmentation algorithm. We have successfully accomplished the fine segmentation of objects from images taken in the studio and aphids from images of soybean leaves.
In the image restoration, we propose a nonlinear PDE for regularizing a tensor which contains first derivative information of image such as strength of edges and parallel direction to the gradient of image. Unlike typical diffusivity which consists of derivatives of tensor data, we propose the diffusivity which consists of tensor data itself. It makes directional smoothing for the tensor along the edges which are not in the tensor, but in the image. The proposed PDE provides the regularized tensor which adapts to the derivative of image along the time scale. We also prove the uniqueness and existence of the proposed PDE. Since we have the regularized tensor which properly represents first derivative information of image, the tensor is useful to improve the quality of image denoising, image enhancement, corner detection, ramp preserving denoising, image inpainting, and image magnification.
본 학위 논문에서는 편미분방정식 기반의 영상 분할과 복원에서 사용되는 중요한 개념들을 제안한다. 곡선의 진행을 기반한 영상 분할에서 초기 곡선의 위치를 택하는 관점이 다른 두개의 알고리듬을 제안한다. 첫번째 알고리듬은 일반적으로 영상 내부의 물체의 경계를 대부분 찾으려는 목적을 가지고 있으므로 초기 곡선의 위치를 가장 일반적인 형태로 택하며 두번째 알고리듬은 세밀한 영상분할을 위해서 초기 곡선의 위치를 물체 경계에 가까이 잡는다. 영상 복원 방법에서는 영상의 미분의 정보를 가지고 있는 tensor를 regularization하는 비선형 편미분 방정식을 제안한다. 이것은 영상의 미분 정보가 사용되는 컴퓨터 비젼 분야에 큰 발전을 가져다 준다.
첫번째 영상 분할 방법에서 본 학위논문은 기존의 active contours model을 철저히 분석하고 공통의 성질을 찾아내어 일반적인 곡선 진행을 위한 active contour model을 제시한다. 공통의 성질로 부터 곡선의 진행을 생성하는 바람직한 힘의 형태들을 모델링한다. 이러한 힘들을 geometric attraction-driven flow (GADF), binary edge function, 그리고 binary balloon force라고 명명한다. GADF는 normalized vector field로서 그 방향은 영상 내부의 edge들을 edge에 수직인 방향으로 가리키고 있다. 힘들사이의 간섭을 줄이기 위하여 binary edge function을 GADF의 방향 성질을 사용하여 구성하고, Binary balloon force는 initial dual level set function과 4색정리를 사용하여 구성한다. 제안된 힘들은 곡선 진행을 생성하는 비선형 방정식에 사용되면서 물체 경계사이의 multiple juction과 hole들을 찾아내는데 중요한 역할을 한다. 제안한 영상 분할 방법은 영상의 잡티(noise)에 대하여 강건하며 물체 경계가 분명한 곳(strong edge)과 그렇지 못한 곳(weak edge)을 모두 찾아 내는 역량을 가지고 있다. 게다가 초기 곡선의 위치에 상관없이 같은 결과를 생성한다.
두번째 영상 분할 방법에서는 물체 추출을 목표로 하는 영상 분할 방법을 제시한다. 물체의 edge들을 포함하는 edge-region을 구축한 후에 이것을 바탕으로 물체 주위에 근접한 초기 곡선을 형성한다. GADF를 사용하여 물체의 중심 경계를 찾아낼 수 있지만 이렇게 찾아진 경계는 물체 추출을 위한 정보로서 부적절 하다. 본 학위논문은 통계적인 방법을 이용하는 지역적 영역 경쟁(local region competition)을 제안하여 물체 추출시 모양이나 형태의 변화를 줄일 수 있는 경계(perceptible boundary)를 찾아낸다. 또한 edge-region을 구축할때 edge들 사이의 정보를 영상 분할 목적에 부합되게 분석함으로서 다른 형태의 영상 분할이 가능하다. 대표적인 예로써 콩잎에 있는 진드기를 찾아내는 예제를 제시한다.
영상 복원 분야에서는 영상의 미분의 정보를 가지고 있는 tensor를 regularization하는 비선형 편미분 방정식을 제안한다. Tensor data를 regularization하는 기존의 방법은 diffusivity를 구하기 위하여 tensor data의 미분을 사용하여 편비선형 미분 방정식을 구성하였으나 본 학위 논문에서는 이와는 다르게 tensor data 자체를 사용하는 diffusivity를 제안한다. 제안한 방법은 기존의 방법이 가지고 있는 장점인 비등방 확산 성질을 그대로 가진다. 게다가 기존의 방법은 tensor 성분 사이의 edge 정보를 이용하므로써 tensor를 regularization 한 것이므로 영상의 미분의 정보와는 관련성이 없게 되지만 제안한 편미분 방정식으로 부터 얻어지는 regularized tensor는 영상의 edge 정보를 이용하므로써 영상과 잘 부합되는 미분의 정보를 가진다. 이것은 영상의 미분 정보가 중요하게 사용되는 컴퓨터 비젼 분야에 큰 발전을 가져다 준다. 본 학위 논문에서는 제안한 방법을 영상 잡티 제거(image denoising), 영상 화질 강화(image enhancement), 모서리 추출(corner detection), 기울기를 보존하는 영상 잡티 제거(ramp preserving image denoising), 영상 부분 복원(image inpainting), 그리고 영상 확대(image magnification)에 직접 적용함으로서 그 우수성을 제시한다.
