Most of multimedia transcoding techniques, especially video transcoding, focus on spatial reduction by down-sampling according to the physical size of a display, temporal reduction of video frame frequency by frame dropping according to network condition and visual quality reduction by dropping signal-to-noise ratio with coarse quantization on DCT coefficients. User's interest in contents has not been considered into account when being transcoded.
In this thesis, we present a semantic transcoding method that extracts a region of interest(ROI) in image or video contents. The ROI extraction is done by partial decoding in MPEG-2 video bitstream domain. We also incorporate this ROI extraction scheme into an adaptation engine in MPEG-21 Digital Item Adaptation framework.
For the ROI extraction in MPEG-2 video bitstreams, we design a ROI extraction scheme that extracts an ROI for any given position in a video frame in the bitstream domain. By using a partial decoding in the ROI extraction, we avoid large computational overhead by full decoding and re-encoding for transmission and storage. Also, by performing ROI extraction in the bitstream domain, degradation of visual quality does not occur otherwise it occurs for full decoding and re-encoding. The experiment result shows that the proposed ROI extraction scheme with partial decoding reduces computational time taken for ROI extraction by 34 percents by preserving the original encoded visual quality of the MPEG-2 encoded video.
멀티미디어 콘텐츠의 트랜스코딩은 디스플레이 사이즈, 컴퓨팅 자원, 네트워크 대역폭이나 QoS 같은 네트워크 자원 등 사용자 터미널 수용 능력의 관점에서 수행되어왔다. 콘텐츠 리사이징 이나 프레임 드로핑 등의 '일반적인 방법 외에, 사용자의 선호도에 기반하여 멀티미디어 콘텐츠에서 사용자의 관심 영역(Region Of Interest)을 중심으로 트랜스코딩 하는 의미적인 코딩(semantic transcoding)이 필요하다. MPEG-21 환경에선 사용자의 관심 영역을 표현한 의미 정보가 XDI(context Digital Item)형식으로 서버에 전달되고 리소스 적응엔진을 통해 적응 변환된 콘텐츠는 다시 사용자에게 전달 된다.
본 논문에서는 MPEG-21 멀티미디어 프레임워크에 기반한 응용 프로그램에서 사용자의 관심영역에 따른 의미적 트랜스 코딩을 가능하게 하는 ROI 추출방법을 제안하였다. MPEG-21 DIA 프레임워크에서의 적응 변환은 사용자의 요청에 따라 실시간으로 이루어져야 하므로 무엇보다도 적응 변환 엔진이 짧은 시간 내에 수행되어야 한다. ROI 추출 모듈은 MPEG-2 decoder에서의 partial decoding을 기본으로 하고 있다. Partial decoding을 사용한 ROI 추출 모듈은 기존의 full decoding과 비교하여 34%의 시간 절감 효과를 가져오며 연산량이 적어 빠른 시간 내에 ROI 적응 변환을 가능하게 하였다. 구현한 ROI 추출 모듈은 MPEG-21 디지털 아이템 적응변환 테스트 베드인 MPEG-21 terminal의 적응변환 엔진의 일부로 사용된다.
