Video adaptation allows universal video access over user's heterogeneous environments. The challenging key issue is to find the optimal adaptation operations to meet resource constraints given by the heterogeneous environments, while at the same time maximizing the user’s quality of experience. In this thesis, we concentrate on optimal transcoding decision techniques for video adaptation. There exist multidimensional scaling operations for video rate transcoding, such as spatial, temporal, and SNR resolution scaling operations. To efficiently allocate bits for video transcoding in heterogeneous environments, the multidimensional quality factors need to be exploited. Therefore, the transcoding decision problem can be formulized as a quality optimization problem to determine the best combination of the multidimensional transcoding operations satisfying the given resource constraints. In this thesis we propose two systematic schemes to deal with the quality optimization problem.
In distortion model-based transcoding decision scheme, we mainly present the concrete distortion model for the multidimensional video transcoding. In case of multidimensional video transcoding, it should be noted that there are inter-dependencies among the transcoding operations. Because one transcoding operation can affect the distortion due to the other operations, we consider putting the inter-dependencies into our concrete distortion model through an extensive statistical analysis. We also develop computational methods to easily calculate the distortion (MSE) by using only the information extracted directly from the input bitstream through the minimum decoding process in DCT domain. In experiments, we compare the actually measured distortion with the estimated distortion by our proposed model.
In semantic classification-based decision scheme, on the other hand, we investigate the impact of subjective perception and semantic information on the video transcoding choices. Specifically, we propose a new practical methodology for the video transcoding decision based on semantic classification. The idea presented in this scheme is that videos with the same semantic concept may possess similar decision strategies for video transcoding. To realize this idea, we develop a subjective assessment methodology for video transcoding quality. In experiment, we carry out the subjective tests for various video clips classified by their semantic concepts. We then analyze subjective preferences and corresponding confidence values to observe some consistent characteristics of multidimensional quality tradeoffs according to semantic class. As a case study to demonstrate the feasibility of our proposed scheme, we design a practical video transcoding system using data hiding technique and conduct an experiment with language education videos. Even though this classification-based scheme needs high costing pre-analysis for subjective assessment, it is proper for real-time decision because of simple decision process. Finally, we present a generic application of video adaptation using data hiding technique. Hiding some useful information for video adaptation can help adaptation engine to do effective transcoding. Experimental results show that the proposed method based on data hiding gives effectiveness to video adaptation with reasonable subjective quality.
멀티미디어의 폭발적인 증가와 이질적인 (heterogeneous) 소비환경의 도래에 따라 사용자에게 불편함 없이 언제 어디서나 멀티미디어 콘텐츠를 접근 (universal multimedia access)하게 할 수 있는 기술적 필요성이 대두되고 있다. 즉, 최근에 멀티미디어 소비 환경이 다양해짐으로써 사용자에게 멀티미디어 컨텐츠의 Quality of Service (QoS) 제공이 필수적인 요소로 부각되고 있다. 따라서 컨텐츠 제공자는 최종 사용자가 주어진 환경 자원에 가장 적합한 최대한의 품질을 가지는 멀티미디어 컨텐츠의 소비가 가능하도록 지원해야 할 필요가 있다. 이러한 기술들 중에서 중요한 위치를 차지하고 있으며, 사용자의 주어진 환경 자원에 맞추어 비디오를 변환 시키는 비디오 적응 (video adaptation) 기법의 개발이 요구된다.
본 논문에서는 다차원의 품질 요소를 가지는 비디오 적응을 위한 판단 문제를 다룬다. 본 연구의 주목적은 효율적인 비디오 적응을 위해 공간적, 시간적 그리고 SNR 해상도를 변환시키는 다차원 트랜스코딩 연산들을 사용함에 있어 최적의 조합을 결정하기 위한 것이다. 비디오 적응에서 다차원 품질의 tradeoff를 제어하기 위한 최적화 문제를 풀기 위해 두 가지 체계적인 방법을 제안한다. 하나는 왜곡 (distortion) 모델 기반 트랜스코딩 판단 방법과 다른 하나는 비디오가 가지는 의미(semantic)에 따른 분류에 기반한 트랜스코딩 판단 방법이다.
왜곡 모델 기반 트랜스코딩 판단 방법에서, 우리는 공간적, 시간적 그리고 SNR 해상도 스케일링 연산들의 조합을 사용하는 다차원 비디오 트랜스코딩을 위한 왜곡 모델링에 대해 논한다. 다차원 왜곡 모델화의 목적은 실제의 트랜스코딩 과정을 수행하지 않고 MPEG 비트스트림 (bitstream) 공간에서 왜곡들을 추정하기 위함이다. 제안된 모델화 방법의 강점은 코딩 된 비디오 소스에 대한 통계적 분석을 통해 트랜스코딩 연산 상호간의 의존성을 왜곡 모델에 고려함으 로써 왜곡 추정의 성능을 높인 점이라 할 수 있다. 실험에서 왜곡 모델에 의한 왜곡이 실제 계산된 MSE를 추정함을 보이고 이를 이용한 다차원 비트 할당 결과들을 보인다. 또한 제안된 상호 의존성을 고려한 왜곡 모델은 이차원의 경우(예로, SNR-시간 공간)로도 직접 적용 될 수 있다.
의미적 분류에 기반한 트랜스코딩 판단 방법에서는, 다차원 트랜스코딩 판단의 간편성과 실용적인 목적을 위하여 의미적 개념에 따른 비디오의 분류를 이용한다. 사전에 다양한 트랜스코딩 버전들에 대한 주관적 테스트를 통해, 같은 의미를 갖는 비디오 집단에 대한 일관적인 다차원 품질의 tradeoff 특성을 분석한다. 특히, 우리는 분석의 결과로서 주관적 선호도 (subjective preference), 트랜스코딩 판단 궤적 (transcoding decision trajectory), 그리고 신뢰 값을 보인다. 이렇게 분석된 하나의 의미적 개념을 갖는 비디오 집단에 대한 일관적인 특징들을 트랜스코딩 판단 시에 적용한다. 제안된 방법론을 적용하기 위한 사례 연구로서 우리는 실용적인 비디오 트랜스코딩 시스템의 설계를 예시한다.
마지막으로, 비디오 적응의 시스템적인 지원을 위한 메타데이터 은닉 (metadata hiding) 기법을 제안한다. 특히, 우리는 비디오가 가지는 의미적 정보들을 비디오 비트스트림에 직접적으로 은닉함으로써 비디오 적응을 위한 판단 시에 효율적으로 사용될 수 있음을 실험을 통해 보인다.
제안한 왜곡 모델 기반 판단 기법의 장점으로는 어떠한 사전 분석의 과정도 필요가 없으므로 트랜스코딩 시스템 설계 및 제작에 있어서 간편성이 있고, 또한 응용 프로그램에 대한 독립성으로 인하여 어떠한 종류의 비디오 서비스 응용프로그램에도 바로 이용이 가능하다. 하지만 이 기법의 단점으로는 가능한 모든 트랜스코딩 후보들을 위한 왜곡들을 모두 추정하는 다차원 왜곡 모델화에 기반한 트랜스코딩 판단은 여전히 실시간 판단을 위해 복잡성을 가진다. 이와 반대로, 제안된 의미적 분류에 기반한 판단 기법의 장점으로는 비디오 분류에 따른 일괄적인 트랜스코딩 판단 전략의 적용으로 인한 간단한 판단 과정에 기인하여 실시간 판단 시스템에 적합하다는 것이다. 또한, 이 방법은 트랜스코딩 판단에 주관적 테스트 결과들을 이용함으로써 MSE 추정에 기반한 왜곡 모델 방법보다 최종 사용자 관점에서 최적이라 할 수 있다. 하지만, 이 방법은 주관적 테스트에 따른 비싼 사전 분석 과정과 의미적 카테고리의 선택에 있어서 특정 응용프로그램에 제한적이라는 단점을 가진다. 결과적으로, 비디오 트랜스코 딩 시스템 설계에 있어서 두 제안된 기법들 간의 장단점들을 신중히 고려할 필요가 있을 것이다.
향후 연구 과제로서, 제안된 방법들을 스케일러블 비디오 코딩 (scalable video coding) 기법으로의 확장이 필요할 것이다. 2장에서 우리는 MC-DCT 코딩 기법에 의해 코딩 된 비디오를 위한 왜곡 모델을 다루었다. 이러한 왜곡 모델링이 다차원 적응성을 자체적으로 내포하는 스케일러블 비디오를 위한 왜곡 모델링에 대한 연구로 확장하는데 기초 연구가 될 것으로 생각된다. 또한 3장에서 제안된 의미적 분류에 기반한 판단 기법을 스케일러블 비디오를 위한 최적의 품질을 갖는 인코딩 경로를 찾기 위해 적용될 수도 있을 것이다. 무엇보다, 인코딩된 스케일러블 비디오 비트스트림의 추출을 통한 최적의 비디오를 생성하기 위해서 제안된 트랜스코딩 판단 궤적을 적용하기 위한 연구가 진행 될 수 있다. 또 하나의 흥미로운 향후 과제로서, 진정한 콘텐츠 인지 비디오 적응 (content-aware video adaptation)을 위해 의미적 품질 (semantic quality) 측정에 대한 조사가 필요하다. 3장에서 수행된 비디오 트랜스코딩 선택에 있어서 의미적 정보가 미치는 영향에 대한 우리의 연구는 향후 의미적 품질 연구에 있어서 초석이 될 수 있을 것이다. 사실, 의미적 품질은 사용자의 다양한 주관을 포함하고 비디오가 사용되는 응용프로그램에 의존적이기 때문에, 의미적 품질 자체를 정량적으로 정의하기는 매우 어려운 문제이다. 비디오 적응을 위한 적응 판단 과정에서 정량적인 의미적 단서들이 연계되어 어떻게 진정한 최적의 적응을 수행해야 하는지에 대한 문제를 고려해야 할 것이다.
