Heterogeneous delivery networks and consumption devices present a huge obstacle in universal media access. To maximize consumer experience and ensure Quality of Service(QoS), it is essential to adapt multimedia content to terminal and network capabilities and conditions, as well as user preferences in the delivery path to end consumers. Many techniques exist for adapting videos to satisfy heterogeneous resource conditions or user preferences. However, selections of appropriate adaptations among various feasible choices are often ad hoc.
First, to provide a systematic solution for choosing optimal adaptation, we present a general conceptual framework that models video entity, adaptation, resource, utility, and relations among them by using utility function. The framework extends the conventional rate-distortion model in terms of flexibility and generality. It allows formulation of various adaptation problems as resource-constrained utility maximization.
The framework is efficiently applied to a practical case which is dynamic bit rate adaptation of MPEG-4 video streams by employing combination of frame dropping and DCT coefficient dropping. In this specific case, we present explicit modeling of the adaptation, resource, utility and their relations amon them.
Second, a simple method to estimate the distortion caused by the DCT coefficient dropping for rate adaptation is presented. The proposed method is based on the investigation of statistical and empirical properties of the distortion. The behavior of the error propagation over frame sequences is studied and then modeled in a monotonically decreased manner. It is expected that the method can be employed to effectively allocate the distortion among frames in coefficient-drop transcoding applications.
Third, since the real-time generation of utility function is not feasible because of computational complexity, we propose a content-based statistical approach to facilitate prediction of a utility function for real-time transcoding of live videos. It formulates the prediction as a classification and regression problem-each incoming video clip is classified into one of distinctive categories and then local regression is used to accurately predict the utility value.
Finally, we present a description tool, which has been accepted as a part of the MPEG-21 Digital Item Adaptation(DIA) tools, to support utility-based adaptation for terminal and network quality of service(QoS) along with a brief overview of the concepts behind these tools in terms of adaptation decision-taking.
이종의 네트워크와 소비 단말은 범용 멀티미디어 접근(UMA)의 큰 장애이다. 소비 경험(consumption experience)을 최대화하고 QoS를 보장하기 위해서는, 최종 사용자에 이르는 전송 경로의 네트워크와 단말의 성능과 특성 및 사용자 선호도에 맞게 멀티미디어 콘텐츠를 적응하는 것이 필요하다. 기존에 이러한 비디오 적응을 위한 기법들이 제시되었지만 가능한 다양한 적응중에서 적합한 적응을 선택하기 위한 연구는 미미하다.
본 논문에서는 첫째, 비디오 적응단위(entity), 적응(adaptation), 자원(resource), 유틸리티(utility) 및 이들간의 관계를 유틸리티 함수로 모형화하여 체계적인 최적의 적응동작 선택을 제공하는 최적 적응 프레임워크를 제시한다. 본 프레임워크는 기존의 율-왜곡(R-D) 모델을 유연하고 일반화된 형태로 확장한 것으로, 다양한 적응 문제를 제한된 자원에서의 유틸리티 극대화(resource-constrained utility maximization)의 문제로 정형화 한다. 본 프레임워크를 FD(Frame Dropping)와 CD(DCT Coefficient Dropping)를 결합하여 MPEG-4비디오의 율 적응을 하는 실제적인 예에 적용하여 그 타당성과 유용성을 보였다.
둘째, CD 성능 개선을 위하여 CD에 의한 왜곡을 추정(estimation)하는 효율적인 방법을 제시한다. 제안된 추정 기법은 CD 왜곡의 통계적 및 실험적인 특성 분석을 바탕으로 연속된 프레임에 걸친 전파 왜곡을 단조 감소 형태로 모형화 한다. 제안된 기법은 CD왜곡을 프레임들간에 효과적으로 할당 가능하도록 한다.
셋째, 유틸리티 함수의 실시간 생성은 많은 계산량을 요하기 때문에 라이브(live)비디오의 적응에 적용이 어려우며, 이를 해결하기 위한 방법으로 실시간 유틸리티 함수 예측(prediction)기법을 제시한다. 제안된 기법은 유틸리티 함수 예측을 분류(classification)와 회귀(regression)의 문제로 정형화 한다. 즉 각 비디오 세그먼트는 하나의 범주로 분류한 다음 선형 회귀를 통하여 높은 예측의 정확도를 얻을 수 있도록 한다.
마지막으로, 터미널 및 네트워크의 QoS를 지원하기 위한 기법으로 MPEG-2 DIA(Digital Item Adaptation) 채택된 본 논문의 유틸리티 기반의 서술 툴(description tool)을 제시한다. 적응 선택 (adaptation decision-taking)을 위한 관련 표준 기술들을 기술한다.
