With the multi-angle video contents available at a user terminal, the user can select his/her preferred alternate views among the given multiple video streams captured at different view angles for a same event. This enhanced experience often entails a streaming problem in real-time over the network such as the Internet with bandwidth change in time. In order to cope with this problem, multi-angle video contents are encoded at different bitrates and the appropriate video streams are then selected or transcoded for delivery to meet such a bandwidth constraint. Therefore, the selection and transcoding operations become essential processing steps to adapt to such a time-varying bandwidth of the network. In this dissertation, we propose an optimal adaptation framework for streaming multiple video streams by jointly formulating the selection and transcoding problems into a unified optimization problem. An optimal set of multiple video streams is selected or transcoded in the sense that the perceptual quality is maximized by solving the unified optimization problem for given bandwidth and transcoding cost constraints. The proposed adaptation scheme is effective for the decision of selection and transcoding operations on multiple video streams. We present plenty of the experimental results to show the effectiveness of the proposed method.
초고속 네트워크 서비스는 일상 생활에 보편화와 함께 멀티미디어 스트리밍은 초고속 네트워크 서비스 환경에서 인터넷 킬러 어플리케이션 중 하나가 되었다. 대개의 비디오 스트리밍 어플리케이션은 단일의 비디오 스트리밍을 다룬다. 하지만 더 실제적인 비디오 콘텐츠를 제공하기 위해 다른 각도의 여러 카메라로부터 얻어진 다중의 비디오로 저작되기도 한다. 이러한 다중의 비디오를 이용하여 사용자는 같은 콘텐츠로부터 사용자 터미널에서 다른 각도의 화면을 시청할 수 있다. 이러한 어플리케이션의 예로 축구, 농구, 미식 축구와 같은 스포츠 경기를 들 수 있다. 예를 들어, 골 이벤트 장면의 경우 시청자는 골대를 중심으로 다양한 각도 중 하나를 골라 원하는 각도의 형태로 시청할 수 있다. 이러한 단일의 비디오 콘텐츠 상에서 다중의 비디오 스트림 서비스를 제공하기 위해 시청자의 스토리지에서는 모든 비디오 스트림을 저장할 수 있어야 하며 원하는 시청 형태 요구에 따라 여러 각도의 비디오 스트림 렌더링이 가능해야 한다. 이러한 다중 비디오 스트림을 가변적인 네트워크를 통해 다양한 멀티미디어 터미널 상에 서비스하기 위해, 각각의 비디오 객체는 다른 비트율을 갖는 하나 이상의 비디오 스트림으로 구성되어야 하고 이들 중 가변적인 네트워크 대역폭에 맞게 적절한 객체의 버전을 선택 하거나 트랜스코딩하여 적절한 비디오 스트림의 집합을 전송하게 된다.
본 학위 논문에서는 가변적 네트워크 대역폭 상에서 다중 비디오 스트리밍의 전달을 위한 최적화 적응 프래임워크를 제안한다. 제안된 적응 프래임워크는 각각의 우선 순위와 다양한 비트율을 갖는 하나 이상의 스케일러블 레벨을 지원하는 비디오의 선택 및 비디오 객체의 트랜스코딩을 동시에 고려한다. 제안된 적응 프래임워크는 시간에 따라 변하는 네트워크 대역폭과 최고의 화질을 갖는 버전에서 비디오 객체를 트랜스코딩 하는데 걸리는 최대 시간을 의미하는 최대 트랜스코딩 코스트를 두 가지 제한을 만족하며 선택되거나 트랜스코딩되는 다중 객체의 PSNR 과 우선 순위의 곱으로 표현되는 각 객체의 인지적 화질을 최대화하는 최적화 문제로 표현된다. 제안된 최적화 문제는 Multiple Choice Knapsack Problem(MCKP) 알고리즘으로 표현될 수 있으며 각 객체의 버전 선택 및 트랜스코딩을 동시에 결정하는데 있어 일정한 수식으로 표현하기 어려운 비디오 객체의 비선형 R-D 커브를 근사화하고 비선형 R-D 커브의 오목한 성질을 이용하여 각 객체가 최고의 값을 갖도록 분리계획법 (Separable Programming Method)를 적용한다. 제안된 적응 프래임워크는 여러 객체의 버전을 미리 준비한 상태에서 선택하도록 하는 기존의 방법에 비해 사용자의 선호도의 적용 결과가 효과적으로 반영될 수 있으며 기존의 방법에 비해 높은 대역폭 활용도를 보인다. 이에 따라 각 비디오 객체에 기존의 연구에 비해 비트율 할당이 균형적이며 전체적인 인지적 화질 또한 높음을 보인다.
또한 제안된 최적화 적응 알고리즘을 기반으로 스케일러빌리티를 지원하는MPEG-4 Scalable Video Coding (SVC)에 적용하였다. 제안된 최적화 적응 알고리즘은 최고의 화질을 갖는 MPEG-4 SVC 비트스트림에서 사용자의 환경에 최적의 서브비트스트림을 자동으로 선택하도록 하는 최적화 알고리즘으로 SVC 비트스트림에서 지원하는 공간, 시간, 화질의 스케일러빌리티 레벨에 따른 화질을 측정하기 위해 객관적, 주관적 평가 방법을 사용했으며 단순히 비트율에 맞춰 서브비트스트림을 고르는 방법과 달리 화질 인지도의 결과가 더 좋음을 보인다.