The video streaming service is widely used thanks to the development of network environment. The scalable video coding is the coding scheme that supports the spatial, temporal, and quality scalability under being standardization by JVT. As using SVC bitstream, it is possible to serve dynamically adapted video streaming by extracting SVC bitstream with changed scalability according to current network condition. It is very important to find how the extractor extracts the necessary data from the SVC bitstream extracts in real-time.
In this paper, we propose the real-time SVC bitstream extractor for dynamic adaptation in video streaming under dynamically changing network environment. First, we check the constraints for proposing extractor. And then, we propose the structure of real-time SVC bitstream extractor which consists of two parts: bitstream analyzer and bitstream extractor. And we propose the algorithm for extraction process of proposed extractor. Lastly, we propose the extraction methods of the bitstream with varied scalability for spatial, temporal, and quality scalability.
We implemented the proposed extractor by using JSVM 2.0. To check validity of the proposed extraction method and extractor, we test the performance of proposed extractor by comparing the required bitrate with bitrate of extracted bitstream. From the experiments, we could verify that the proposed real-time SVC bitstream extractor extracts the bitstream with changed scalability according to varying the input parameters of the proposed extractor
네트워크의 발달과 비디오 코딩 기술의 개발로 광대역 네트워크를 통한 실시간 비디오 스트리밍 서비스가 널리 사용되고 있다. 하지만, 비디오 컨텐츠 소비를 위해 PC 와 노트북에서부터 PDA, 휴대폰에 이르기까지 아주 다양한 장비가 사용됨에 따라 스트리밍 서비스에서 충족해야 하는 조건이 다양해 졌다. 또한 스트리밍을 위해 사용하는 네트워크의 특성은 대역폭이 실시간으로 부하량에 따라 가변적이다.
따라서 이와 같은 환경을 만족시키면서 최적의 스트리밍 서비스를 제공할 수 있게 하기 위해서 현재 표준화가 진행중인 MPEG-4 Scalable Video Coding(SVC) 를 사용할 수 있다. MPEG-4 SVC 는 공간적, 시간적, 품질적 확장성을 가지는 비디오 비트스트림을 만들기 위한 코딩 기술로써, 필요에 따라 원하는 데이터 만큼을 원본 비트스트림으로부터 추출할 수 있다.
한편 SVC 비트스트림을 이용하여 다양한 네트워크 환경과 가변적인 네트워크 환경에 적합한 비디오 스트리밍 서비스를 제공하기 위해서는 무엇보다 실시간으로 SVC 비트스트림을 적절히 추출하는 방법에 대한 연구가 필요하다 하겠다.
본 논문에서는 이종 네트워크 환경에서 적응 변환 비디오 스트리밍 서비스를 위한 실시간 SVC 비트스트림 추출에 관한 연구를 수행하였다. 이를 위해 해결해야 하는 고려할 점에 대해 먼저 살펴보고, 이를 근거로 실시간 SVC 비트스트림 추출기의 모델을 제안하고, 제안된 추출기의 동작 알고리즘을 제안하였다. 또한 원본 SVC 비트스트림으로부터 공간적 확장성이 변경된 비트스트림 추출 방법과 시간적 확장성이 변경된 비트스트림 추출 방법 그리고 품질적 확정성이 변경된 비트스트림 추출 방법에 대해 제안하였다.
기본적으로 제안된 추출기의 입력 파라메터는 해상도, 프레임율, 요구되는 비트율, 그리고 CGS_Flag 를 사용한다. 제안된 추출기에서 실시간 추출 동작을 위해 처리하는 데이터의 기본 단위는 GOP 이다. GOP 는 SVC 비트스트림의 확장성을 완전히 제공하는 최소의 데이터 단위이다.
한편 제안된 추출기는 비트스트림 분석기와 비트스트림 추출기로 크게 나눌 수 있다. 추출기가 실시간으로 동작하기 위해 필요로 하는 데이터를 사전에 추출하고 이를 보관하는 역할을 비트스트림 분석기가 담당하도록 한다.
실제 추출 기능은 비트스트림 추출기가 담당하도록 한다. 비트스트림 추출기는 크게 3 가지 부분으로 나눠져 있다. 먼저, 입력 파라메터 값과 비트스트림 정보를 이용하여 적절한 비트스트림 추출 지점을 계산하는 추출지점결정 모듈이 있다. 이 모듈의 결과 값은 추출 모듈로 전달된다. 다음으로, 입력 소스 비트스트림을 GOP 단위의 데이터로 분리하는 비트스트림분리 모듈이 있다. 이 모듈의 결과로 나온 GOP 단위로 잘려진 비트스트림 데이터는 추출 모듈의 입력으로 주어진다. 끝으로 추출 모듈에서는 다른 두 모듈로부터 전달받은 데이터를 사용하여 직접적으로 추출 과정이 수행하여 추출된 비트스트림을 생산하는 모듈이다. 이때 실시간으로 변경되는 입력 파라메터에 의해 가변적인 확장성을 가지는 추출된 비트스트림이 부적절한 데이터를 포함하지 않게 하기 위해서, 다음 절에서 공간적, 시간적, 품질적 확장성을 가진 비트스트림을 추출하기 위한 적절한 방법을 설명하도록 하겠다.
공간적 확장성이 변경된 비트스트림을 추출하는 방법은 IDR NAL 을 이용하여, IDR NAL 이 위치하는 부분에서 추출 정책을 변경하여 공간적 확장성이 변경된 비트스트림을 추출하게 된다. 시간적 확장성이 변경된 비트스트림을 추출하기 위해서는 입력 비트스트림의 최대 프레임율과 GOP 당 포함하고 있는 프레임 수를 고려하여, 추출기에서 실시간으로 처리하는 데이터 단위를 GOP 단위가 아닌 GOP 의 정수배 단위로 하여야 한다. 끝으로 품질적 확장성의 변화를 가지는 비트스트림을 추출하는 함에 있어서 CGS 레이어의 데이터를 가진 비트스트림을 추출하기 위해 입력 파라메터인 CGS_Flag 값을 사용하여, 추출 결정 지점 모듈에서 CGS_Flag 값이 가리키는 CGS layer 가 추출되도록 적절히 CGS_Flag 값을 참고하여 추출 지점을 결정하도록 한다.
끝으로 본 논문에서 제안된 추출기 모델은 JSVM 2.0 을 통해 구현되었다. 가변적이고 이질적인 네트워크 환경을 가정하여 테스트를 수행하기 위해서 테스트 베드를 만들었다. 이 테스트 베드를 이용하여, 추출기의 입력 파라메터를 실시간으로 변경하면서 제안된 추출기가 올바르게 동작하는지를 실험하였다. 실험의 결과에서 해상도와 프레임율이 비록 변화될 지라도 추출된 비트스트림의 비트율이 입력파라메터 값인 요구되는 비트율과 거의 일치함을 확인함에 따라 제안된 추출기와 추출 방법의 유효성을 확인하였다.
다음 연구로는 현재 제안한 추출기에 비디오 QoS 를 고려하는 모듈을 추가하여 사용자가 최대한 원하는 특성을 가지는 비트스트림을 추출하는 추출기에 대한 연구를 수행하고자 한다.
