This thesis presents new methods for object-based image retrieval and extraction using color, texture, and spatial information. Object-based image representation plays an important role for new generation of digital video due to the explosive growth of multimedia data. Extracting semantically meaningful objects from an image of natural scene is still a formidable task for many multimedia applications such as content-based image retrieval, digital library, and interactive television. Furthermore, new video coding standards provide the user with flexibility for object-based access and manipulation of video data, while the production of these contents is out of the scope of the standards. Thus, the success of any object-based approach depends largely on the extraction of the object regions.
To solve these problems, firstly, this thesis presents an efficient indexing/matching algorithm that is independent of the changes in the illuminant color and the geometric conditions for three-dimensional objects with multiple colors. The color contents of an object can be represented by the chromaticities corresponding to the distinct color regions in an image. However, the change in illumination color would result in a deformation of the chromaticity distribution so that it degrades the performance of color recognition. In order to discount the dependency due to illumination color, we define a color constant descriptor called a chromatic invariant which is stable to the changes in illumination and geometrical conditions.
For the object-based interactive broadcasting, we develop an algorithm for the region-based object extraction and image retrieval system. When an object of interest is given as a query image, this algorithm retrieves the images containing the object of interest and extracts the object regions from the retrieved images automatically. Extracting local features reliably, which is necessary for the effective representation of the local regions is generally more difficult than the global feature extraction. To localize object regions, this thesis develops a weighted histogram back-projection method. And we present a region adjacency matrix that provides the spatial relationship of object regions in order to improve the performance of color-based object extraction. The present algorithms can be applied to many multimedia applications such as a video editing/authoring tool, an object-based video encoder, and an interactive video.
This thesis investigates the problem of the illuminant-insensitive object extraction and image retrieval for multi-colored objects. A new approach to the region-based object extraction is presented using chromatic invariant, texture, and the spatial information of the object regions. Though the chromatic invariant is a global feature, we utilize the property of the chromatic invariant for local color matching in a complex natural scene. This research aims the extraction of object regions instead of retrieving the relevant images. The queried object may appear in the database images with various scales, orientations, and especially under diverse illumination conditions. Spatial relations among neighboring regions, represented by the region adjacency matrix, increase the accuracy of the object extraction. Experimental results show that the present algorithm yields an excellent extraction rate even if the illumination color vary substantially in images with complex backgrounds.
Finally, we have applied all the devloped algorithms to an object-based video authoring tool (VisionACT™) for content-based interactive multimedia service.
본 논문은 관심물체의 색,결,공간정보를 이용하여 객체기반 영상검색과 추출을 위한 새로운 방법을 제시하였다. 최근, 객체기반 영상표현은 멀티미디어 데이터의 급격한 증가에 기인한 새로운 디지털 비디오 세대에 중요한 역할을 담당하게 되었다. 자연영상으로부터 의미 있는 물체를 추출하는 것은 내용기반 영상검색, 디지털 라이브러리, 대화형 텔레비전 등의 멀티미디어 응용분야에서 아직 해결해야 할 문제로 남아 있다. 더욱이, 새로운 비디오코딩 표준은 사용자에게 비디오 데이터의 객체단위 접근과 조작의 유연성을 부여하고자 하나 그러한 컨텐츠의 제작은 표준의 범위에 포함되지 않는다. 그러므로 객체기반 접근방법의 성공여부는 객체영역의 추출에 의하여 결정된다.
이러한 문제점을 해결하기 위한 첫번째 단계로 본 논문은 3차원 다색 객체에 대하여 조명색과 기하학적 조건의 변화에 영향을 받지 않는 효율적인 색인/정합 알고리듬을 제시하였다. 객체의 색 컨텐트는 영상의 주요한 대응 색 영역의 색도로서 표현 할 수 있다. 그러나 조명색의 변화는 색도 분포를 변형시켜 색을 사용한 물체인식의 성능을 저하시키게 된다. 이와 같은 조명색에 의한 영향을 제거 하기 위하여 조명과 기하학적 조건 변화에 안정적인 색도 불변량이라 불리는 색 항상 표시자를 정의 하였다.
다음 단계로 객체기반 대화형 방송을 위한 색, 결, 영역의 공간정보를 이용한 영역기반 객체추출과 영상검색 시스템을 제안하였다. 관심객체가 질의영상으로 주어진 경우 제안된 알고리듬은 관심객체를 포함하는 영상을 검색하고 검색된 영상으로부터 객체 영역을 자동적으로 추출하게 된다. 영역기반 접근방법은 국소적 영역의 효과적인 추출과 표현이 요구 되므로 전역적 접근방법에 비하여 일반적으로 난이한 기술로 인식 되고 있다. 국소적인 위치 검출 문제를 해결하기 위하여 인간 시감 특성을 이용한 가중 히스토그램 역 투사 방법을 제시 하였으며 이를 통해 객체영역 위치의 정확도를 향상 시켰다. 또한 색 정보 기반의 객체추출의 성능을 보완하기 위하여 물체영역의 공간 상관관계를 이용한 영역 인접성 행열을 제안 하였다. 제안된 알고리듬은 비디오 편집/저작 도구, 객체기반 비디오 부호기, 그리고 대화형 비디오 등 다양한 멀티미디어 응용분야에 적용할 수 있다.
제안된 색도 불변량과 영역기반 객체추출을 결합하여 조명변화에 안정적인 객체기반 영상검색 및 객체추출 문제에 대하여 고찰 하였다. 색도 불변량은 영상의 전역적 특징치로 정의 되지만 그 특성을 이용하여 복잡한 자연 영상에 대한 국소적 색 정합에 적용하였다. 본 연구의 목적은 일반적으로 사용되는 객체의 위치 검출 이나 유사영상의 검색 뿐만 아니라 객체의 크기, 회전, 조명변화 등 다양한 영상조건에서 객체영역을 추출 하는 것이다. 제안된 알고리듬은 다양한 영상조건에서 유용성을 실험적으로 검증하였으며 대화형 멀티미디어 서비스를 위한 객체기반 비디오 저작도구에 적용되어 새로운 객체추출 프레임웍으로 사용 되었다.
