In this dissertation, a full scalability supported video coding for ubiquitous video consumption is proposed. SVC targets at giving temporal, spatial, and SNR scalabilities to the encoded bitstream. In addition to these basic scalabilities, video has other scalabilities in the point of semantics. Thus, by enabling semantic scalability could help the consumption of video in ubiquitous environment. But supporting scalability decreases the coding efficiency, and the main reason in the decrease of coding efficiency is layered coding structure to support spatial scalability in SVC. Therefore, it needs to enlarge the dimension of scalability with minimal decrease of coding efficiency.
In this thesis, a way how to use semantic scalability with basic scalabilities to extend the granularity and dynamic range of bitrate variation and enhance subjective quality is exploited, thereby full scalability is enabled in SVC. Supports of three semantic scalabilities such as Region of Interest (ROI), video summery, subjective quality in SVC are developed. Ways to describe multiple ROIs by FMO (Flexible Macroblock Ordering) are proposed. And constrained motion estimation, handling of fractional sample interpolation and upsampling for interlayer intra prediction in the ROI boundary are also proposed to support ROI scalability for independent ROI decoding. And to extract ROI bitstream from the whole video bitstream, an extraction procedure and related metadata for the procedure are also proposed.
And to reduce the decrease of the coding efficiency by layered coding structure, improved interlayer motion prediction is also proposed. For inter-layer motion prediction, the use of refined motion data in the Fine Granular Scalability (FGS) layer is proposed instead of the conventional use of motion data in the base quality layer to reduce the inter-layer redundancy efficiently.
The proposed methods are implemented in JSVM. The support of semantic scalabilities in SVC is verified by experiments. And experimental results shows that the dynamic range and granularity of bitrate variation using full scalabilities are enhanced compared with that of using basic scalabilities to control SVC bitrate.
And the experiments of the proposed interlayer motion prediction show that the proposed method enhances coding efficiency without increasing the computational complexity of the decoder.
ISO/IEC MPEG 와 ITU-T VCEG 의 JVT 에서는 MCTF(Motion Compensated Temporal Filtering) 와 H.264 를 확장한 SVC(Scalable Video Coding)을 표준화하고 있다. 현재 표준화 되고 있는 SVC 는 공간, 시간, 품질상의 스케일러빌러티을 가진 비트스트림을 제공하고 있다. SVC 의 목적은 공간적, 시간적, 품질적 특성의 확장성을 제공하는 비트스트림을 생성하여, 거시적으로는 다양한 이종의 네트워크 환경 및 단말에 대해 QoS(Quality of Service)가 보장되는 비디오 스트리밍 서비스를 사용자에게 제공하는 것이고, 미시적으로는 가변적인 네트워크 특성에서 적응성이 높은 비디오 서비스를 제공함으로써 유비쿼터스 환경에서의 비디오 소비를 가능하도록 하는 것이다. 이러한 기본적인 스케일러빌리티뿐만 아니라 비디오는 의미기반의 스케일러빌러티를 가지고 있다. SVC 에서 기본적인 스케일러빌리티뿐만 아니라 의미기반의 스케일러빌리트를 제공할 수 있다면 유비쿼터스 환경에서 좀더 적응성이 높은 비디오 서비스의 제공이 가능할 것이다. 그러나 이러한 스케일러빌리티의 제공은 부호화효율을 낮추는 부작용이 있다.
본 논문에서는 SVC 에 의미기반의 공간 스케일리빌리티인 ROI scalability 를 지원하여 비트율의 변화폭(dynamic range)및 변화정도(granularity)를 확장할 수 있는 방법에 대해 제안하여, SVC 에서 의미기반 스케일러빌러티를 포함한 풀스케일러빌러티(full scalability)를 지원하는 영상 부호화 방법을 제안한다.
하나 이상의 ROI 를 정의하고, 각 ROI 에 대해 SVC 가 제공하는 스케일러빌티를 가지면서 독립적으로 복호화가 가능한 방법을 제안한다. 먼저 H.264 의 FMO(Flexible Macroblock Ordering)를 적용하여 다중 ROI 를 정의하고 syntax 상에서 표현하는 방법을 제안한다. 그리고 이를 기반으로 ROI 만을 포함하는 비트스트림의 추출을 위한 signaling 방법과 추출방법을 제안한다.
또한, 제안한 FMO 기반의 ROI 가 독립적으로 복호화 되기 위해 필요로 하는 요구사항과 문제점을 분석하여, 움직임 추정시 움직임 벡터의 검색 영역에 대한 제약, ROI 경계의 깨짐 현상 방지를 위한 ROI 경계 부분에서의 처리 방법을 제안한다.
또한 본 논문에서는 스케일러빌리티를 제공함으로써 발생하는 부호화율의 저하를 감소시킬 수 있는 방법을 제안한다. SVC 는 공간 및 SNR 스케일러빌리티를 지원하기 위해 레이어 기반 부호화(layered coding) 방법을 채택하고 있다는데, 레이어간 영상 정보의 중복성은 SVC 의 부호화 효율을 떨어뜨리는 데 중요한 원인이다. 이를 해결하기위해 SVC 에서 채택한 레이어간 움직임 예측방법을 개선한 FGS 움직임 정보를 통한 레이어간 움직임 예측방법을 제안한다.
제안한 방법은 JSVM 5.0 에 구현되었으며, 실험을 통해 SVC 에서의 ROI 부호화/복호화, ROI bitstream 의 추출을 검증하였다. 제안하는 SVC 기반 ROI scalability 가 가능한 부호화 방법이 부호화 효율측면에서 다른 방법에 비해 나은 결과를 보임을 실험을 통해 증명하였다. 또한 ROI scalability 의 지원이 비디오의 전송시 제어할 수 있는 비트율 및 품질의 변화폭을 확장하여 기존의 SVC 에 비해 나은 비트스트림 적응전송이 가능함을 보였다.
또한 제안한 FGS 움직임 정보를 이용한 레이어간 움직임 예측을 통해 레이어간 중복정보가 감소하고, 이에 따라 부호화율이 향상됨을 확인하였다.
