The detection of objects using shape information is an important problem in the computer vision field because such detection would be robust against variations in the illumination, color, and texture of images. In this dissertation, we propose a novel object detection algorithm using a single sketch. The proposed algorithm extracts circular arcs from image edges to describe shape information. As a building block of shape patterns, circular arcs are advantageous for efficient encoding, effective expression, and feasible reconstruction from damages.
We designed a practical arc extraction algorithm using split-and-merge strategy. The arc extension robustly reconstructs the extracted curves that have been damaged or distorted by clutters and artifacts. It is possible to build arbitrary shape patterns using fewer circular arcs than line segments. Compared to random fragments and curves, circular arcs can be efficiently described and compared. Broken and poorly extracted circular arcs are fixed and refined within affordable computation cost.
In addition to heuristic circular arc extraction algorithm, a biologically plausible circular arc extraction model was presented as a neural oscillator network with modified association field. The core of the proposed method is to overcome the limitation of conventional association field in detecting circular arcs by adding delicate inhibition and co-linearity constraint. An oscillatory network with the modified association field connectivity groups edge pixels on a circular arc by synchronized neural activity. The proposed network reliably detects circular arcs against partial missing of edge pixels. In addition, it can detect straight lines or salient curves by minor modifications.
A simple but powerful shape description method in terms of circular arcs was proposed. The end point arc descriptor captures the spatial relation between end points of a circular arc segment. Two types of arc features were defined by combining the point descriptors; the unary arc descriptor expresses the shape of a single circular arc, and the binary arc descriptor captures the geometric relation between two neighboring circular arcs. The proposed shape descriptors are also applicable to straight lines and curves with restricted variation of curvature, as well as strict circular arcs. They are scale-invariant, rotation-invariant, and robust to local deformations. Distance ratio and overlap ratio were added to improve the binary circular arc descriptor; they help to reject false-positives in the object detection stage.
A similarity measure of shape between two circular arcs was derived in terms of the minimum deformation energy. We compare circular arc in the object sketch to those in the test images to find the matching pairs of similar shape. End points of a circular arc in the test image are adjusted to find the optimal matching, which maximizes the similarity between two circular arcs. The end-point adjustment handled the poorly extracted circular arcs, and improved the shape matching performance to the level of the practical object detection task.
We detected the global shape patterns by integrating the result of shape matching between circular arcs. Hough voting estimates the approximate location and size of the target object, which is verified by considering full part-to-part relation using graph matching algorithm, or probabilistic relaxation. Our extension of conventional graph matching, or adaptive graph matching, increases the stability and accuracy of the object detection task.
The Object detection experiments with real image data demonstrated the competitiveness of the proposed method. We showed that circular arcs outperform line segments in the object detection task, and proved the stability and high discrimination of the end point descriptor by comparing the performance our shape feature with that of previous works. The effectiveness of the modified graph matching algorithm was shown as well. Our object detection method showed better average performance than the state-of-the-art in sketch-based object detectors. In this dissertation, we demonstrated the possibility of circular arc as a unit for shape information processing.
모양 정보를 이용한 물체의 인식은 밝기 색상 및 텍스처 등의 변화에 둔감한 영상처리를 가능하게 하며, 따라서 컴퓨터 비전 분야에서 중요한 문제로 인식되어왔다. 본 논문에서는 원호를 조합하여 임의의 모양 패턴을 표현함으로써 영상의 모양 정보를 처리하는 기법을 제안하였다. 구체적으로는, 영상의 윤곽선으로부터 원호와 직선 성분을 검출하고, 검출된 성분들의 끝점사이의 상호 위치와 방향 관계를 표현한 모양 서술 기법이 제시되었다. 분할-병합 전략을 사용한 실용적인 원호 및 직선 검출 알고리즘을 구현하였으며, 원호 확장을 통해 훼손된거나 변형된 물체의 경계선 정보들을 복원하였다. 원호 기반의 모양 표현 방식은 직선에 기반한 모양 표현에 비해 더 적은 수로 훨씬 복잡한 모양을 정밀하게 표현할 수 있으며, 복잡한 임의의 곡선을 모양 구성성분으로 쓰는 방식에 비해 원호의 근사, 비교, 복원 등의 처리작업을 더 효율적으로 수행할 수 있다는 장점이 있다.
본 논문에서는 원호의 모양을 표현하는 간단하면서도 강력한 특징 추출기법을 제안하였다. 제안된 모양 특징은 원호의 끝점들간의 상대적 위치 및 방향정보를 추출한다. 원호의 모양정보를 얻기 위해 단일 원호의 모양을 표현하는 일차 특징과 이웃한 두 원호간의 위치관계를 반영하는 이차 특징의 두가지 모양 서술 기법이 제안되었다. 제안된 모양 특징은 회전, 이동, 크기 변화에 의해 영향받지 않으며, 원호 뿐만 아니라 다양한 형태의 곡선 조각들의 모양 서술에도 적용 가능하다. 제안된 끝점 기반 모양 특징에 원호간의 거리, 겹침 등에 대한 비율을 추가로 고려하여 더욱 향상된 오인식 거부 성능을 얻을 수 있었다.
수학적 알고리즘에 기반한 원호 추출 방식 뿐만 아니라, 생물학적 정보처리 기전에 근거한 진동자 신경망 (neural oscillator network) 기반의 원호 인식 모델이 제안되었다. 제안된 모델은 기존의 association field 모델이 원호보다는 긴 임의의 곡선에 반응하는 한계를 극복하여 정밀하게 균일한 곡률을 갖는 원호를 탐지할 수 있으며, 적절한 변형을 통해 직선이나, 임의의 곡선을 검출할 수 있다.
제공된 객체 모델의 스케치에서 추출된 원호 조각과 테스트 이미지의 스케치에서 추출된 원호 조각들 사이의 모양의 유사성은 각 원호의 모양 특징간의 비교를 통해 이루어지는데, 정밀한 비교를 위해 영상 변형 에너지 모델에 기반한 유사도 측정 방법이 제안되었다. 모델 스케치의 원호는 자신과 유사한 일차 및 이차 모양 특징을 갖는 대응 원호를 테스트 영상의 스케치에서 찾는다. 이 과정에서 테스트 영상에서 추출된 원호의 끝점 조정이 이루어지며 원호 추출 과정에서의 오류가 복구된다.
물체모델과 태스트 영상에서의 원호의 비교 및 대응 정보를 조합하여 물체 검출을 수행한다. 허프 변환 기법을 통해 목표물의 위치와 크기, 방향에 대해 일차적으로 추정하고, 추정된 목표물의 후보는 그래프 정합 기법을 통해 정밀하게 검증된다. 성능 향상을 위해 부분간의 엄격한 위치 관계를 완화한 개선된 확률 릴렉세이션 기법을 개발하였다. 또한, 그래프 정합연산 중에 추출된 원호를 재조정하는 적응 그래프 정합 기법을 구현함으로써 물체 인식의 안정성을 높일 수 있었다.
제안된 물체 인식 시스템의 성능은 실재 영상을 이용한 물체 인식 및 검출 실험을 통해 검증되었다. 원호를 이용한 모양 패턴의 정합 기법이 직선을 이용한 정합 방식보다 더 우수한 성능을 보이고, 모양 특징 추출 기법, 유사도 측정, 그래프 정합 단계에서 제안된 개선 기법들에 의해 인식 성능이 향상되는것을 확인할 수 있었다. 물체에 윤곽선 정보에 기반한 최신 검출 기법들과의 비교에서도 제안된 방법은 유사하거나 더 우수한 성능을 보여 경쟁력을 증명하였으며, 특히 병, 컵 등 단단한 물체의 인식 및 검출에 강한 것으로 드러났다. 결론적으로, 본 연구를 통해 그동안 제한적으로 시도되어 왔던 원호의 추출을 통한 모양 정보 처리의 경쟁력을 많은 변화와 왜곡이 존재하는 실제 영상에서 물체 인식과 검출에 적용 가능할 정도로 향상시켰으며, 임의의 모양을 표현하는 구성 단위로서의 원호의 가능성을 확인하였다.
