MPEG-7 descriptors are known as standard descriptors for the content-based indexing and retrieval. Extracting visual features in compressed domain could lead to fast generation of MPEG-7 database as well as fast retrieval.
In this paper, we propose fast feature extraction methods that can be applied to MPEG-7 visual descriptor from DCT compressed image, which is popularly used in image standard format. Particularly, in the proposed method, the fast extraction of color descriptors is achieved by combination of down-sampling and direct calculation of spatial information in DCT domain. Further, we propose modified edge histogram for fast extraction.
To evaluate the proposed methods, experiments were performed with MPEG-7 XM and reference image database. The results show that the proposed methods achieve the reduction of feature extraction time with same performance as the conventional methods in image domain. Therefore, it is believed that the proposed methods can be applied to fast feature extraction with large size of database, thereby achieving fast retrieval.
최근에 멀티미디어 기술의 발전과 인터넷 서비스의 보급으로 멀티미디어 정보의 양이 급격하게 증가하고 있다. 따라서 비디오나 이미지와 같은 멀티미디어 정보를 처리할 수 있는 진화된 기술이 필요하게 되었다. 특히 이미지나 비디오는 그 정보의 양이 크기 때문에, 효과적인 전송 및 저장을 위해서 고성능의 압축 기술 및 처리 기술이 요구된다. 실제로 JPEG이나 MPEG과 같은 압축 표준은 이미 대중화되었고, 이러한 압축 표준 방식의 멀티미디어 정보에서 압축된 비트 스트림 영역에서의 처리에 많은 연구가 수행되고 있다.
ISO/IEC JTC1/SC29/WG11 에서는 멀티미디어 데이터의 효율적인 검색 및 이용을 위해서 MPEG-7을 표준화하고 있다. 최근에, 멀티미디어를 효율적으로 검색하기 위한 시스템들이 제안되고 있으며, 컨텐츠 자체가 가지고 있는 특징들인 색상, 에지, 질감, 움직임 등의 정보를 이용한 컨텐츠 기반 검색에 대한 필요성이 제시되었다. MPEG-7은 멀티미디어 시스템에서 효율적인 컨텐츠 기반의 인덱싱과 내용 추출 방법을 제공한다. 멀티미디어 데이터의 전송과 저장의 효율성을 높이기 위한 압축을 지원하는 표준인 JPEG과 MPEG-1, 2, 4이 널리 쓰이는 것과 같이, MPEG-7은 멀티미디어 데이터 베이스와 연관성이 있는 인터넷이나 양방향 텔레비전등의 많은 영역에서 응용이 가능할 것으로 기대되고 있다 [1, 2].
MPEG-7은 이미지 혹은 비디오의 비주얼 특징을 추출 및 표현을 위해 비주얼 서술자를 Part-3에서 정의하고 있다. 총 32개의 서술자가 제안되었고, 현재 버전 1.0 에서 27개의 서술자에 대한 추출 방법이 표준화되었고, 현재 버전 2.0에서 5개의 서술자가 제안되어 검토되고 있다.
이러한 표준 비주얼 서술자들은 대부분 공간 영역 정보를 그 입력으로 요구한다. 압축된 이미지나 비디오가 입력 되었을 경우에, 비주얼 서술자의 추출 속도가 증가된다. 본 논문에서, 압축된 이미지로부터 비주얼 서술자를 직접적으로 추출할 수 있는 방법을 제안한다.
본 논문에서는 가장 대중적인 컬러 서술자와 질감 서술자의 고속 추출 방법을 제안한다. 컬러 서술자 중에, 컬러 레이아웃 서술자와 주요 컬러 서술자는 그 특징 추출 과정에서 각각 평균 연산과 대략적 연산을 포함하고 있기 때문에, DC 이미지를 이용한 추출 방법이 유용하다. 반면 히스토그램 기반의 컬러 서술자인 컬러 구조 히스토그램 서술자와 계층적 컬러 히스토그램 서술자는 추출 속도와 정확도가 trade-off의 관계를 나타내었다. 본 논문에서는 추출 속도를 향상시키면서 정확도를 상대적으로 유지하는 방법을 제안하였고, 실험을 통해 확인하였다.
반면 에지 히스토그램 서술자는 DCT 역변환을 수행하지 않고, 직접적으로 이미지 블록을 생성하고, 에지를 추출하는 방법으로 수정된 에지 히스토그램 서술자를 제안하였다.
본 논문에서 제안된 방식은 기존의 표준 서술자의 응용 범위를 넓히게 하고, 구현 및 연산을 쉽도록 만든다. 즉, 인터넷과 같은 많은 이미지를 보유하고 있는 데이터 베이스로부터 특징 추출이나, 고속의 비디오 분석 등에 사용될 것으로 기대된다.
추가 연구로는, 비교적 추출 속도가 느린 균일 질감 서술자와 오브젝트 기반의 특징을 나타내는 모양 서술자들, 그리고 움직임을 표현하는 움직임 서술자에 대한 고속 추출 방법을 연구하려고 한다.
