We propose a novel method of joint source-channel coding for adaptively determining data transmis-sion parameters such as packet size and code rate of forward error correction (FEC) coding. The objective of the joint source-channel coding is to obtain the maximum video quality in dynamic channel conditions. To this end, we propose following two types of models.
First, In the process of joint source-channel coding, it is essential to calculate the accurate effective loss rate because it is an important parameter of the distortion model. We calculate the effective loss rate by considering over-deadline packets as well as the failure of the FEC recovery. We analyze the delay caused by FEC coding and the packet size variation. In the analysis, we consider the delayed sending of video packets caused by parity packets and the encoder and decoder buffers. If we display each frame just after source decoding to reduce the end-to-end delay, the time interval of display frames fluctuates because the latency caused by FEC coding and packet loss are not constant. According to this fluctuation, human feels annoying artifacts. To minimize the fluctuation of the display frame`s interval, we must use some buffers in both encoder and decoder sides. Even though the FEC encoding/decoding and transmission are performed as packet-based, because the end-to-end delay human feels is based on the video frame-based, in this study, we focus on and analysis the frame-based delay. Our delay analysis can finely estimate the delay pattern of all video packets; and then we establish an accurate model for the effective loss rate.
Second, after obtaining the effective loss rate, we must estimate the video distortion for the data transmission parameters. For estimating the video distortion, we propose a simplified model of the threshold set of the residual video packet loss rate (RVPLR). The RVPLR is the rate of residual loss of video packets after channel decoding, and the threshold set is defined as the set of discrete RVPLRs in which the FEC code rate has to be changed in order to maintain minimum distortion as channel packet loss increases or decreases. Since the closed form of our model is very simple and has a small number of scene dependent model parameters, a video sender using the model can be easily implemented. For training the scene dependent model parameters in real-time, we propose a test-run method which includes several techniques we propose to reduce the processing time. This method accelerates the test-run while keeping its accuracy for training the scene dependent model parameters. By using the proposed model and test-run, the video sender can always find the optimal code rate on-the-fly whenever there is a change in the packet loss status in the channel.
Experimental results show that the proposed model and test-run can efficiently determine the near-optimal code rate in joint source-channel coding.
In addition, for the mobile devices that cannot perform any test-run, we propose another model for determining the optimal code rate. The optimal bitrate allocation based on source coding and channel-induced distortion models is complex and requires a process of model parameter training yielding a heavy computational load. To overcome these modeling problems, we introduce a new criterion and make a model for that criterion. The criterion is a playable bit amount that is defined as the bit amount that is not affected by loss and well decoded. Because the video quality increases (or decreases) as the playable bit amount increases (or decreases), we can find the quality near-optimal code rate by using the model. The proposed model is very practical because it does not require the complex model parameter training. The experimental results show that the proposed model can find the optimal code rate with a low computational load.
본 논문은 시변하는 채널환경에 대해 항상 최적의 화질을 얻기 위한 소스-채널 부호화 (joint source-channel coding) 즉, FEC 부호화의 부호율 (code rate) 결정 기법을 제안하였다. 이를 위해 다음의 두 가지 연구를 수행하였다.
첫째, 최상의 화질을 얻기 위한 부호율 결정의 기준이 되는 distortion 모델에 있어서, 이 모델의 중요한 입력 파라미터인 데이터 손실율 (loss rate)을, 기존의 단순한 채널 손실율 뿐만 아니라 delay constraint를 추가로 고려하여 계산하는 방법을 제안하였다. 이러한 데이터 손실율을 실효 손실율 (effective loss rate)이라 하는데, 본 논문에서는 프레임 기반의 maximum end-to-end delay를 기반으로 FEC 부호화와 송수신단의 버퍼링 효과로 인해 발생하는 각 packet의 전송 deadline과 복원 deadline을 분석하여 실효 손실율을 모델링 하였다. 실험을 통하여, 제안된 계산방법이 다양한 채널 상황과 delay constraint에 상관없이 항상 정확한 effective loss rate를 구할 수 있음을 보였다.
둘째, 이러한 effective loss rate에 대해 항상 최적의 화질을 얻기위한 code rate 결정법을 제안하였다. 종래의 distortion 모델에 기반한 방법은 입력영상의 특성에 따라 값이 변하는 모델 파라미터를 사용했는데, 이런 파라미터들은 입력영상의 장면이 바뀔때마다 주기적으로 training 되어야 한다. 이 training은 시스템에 많은 부하를 야기하기 때문에, 본 논문에서는 이러한 장면에 의존하는 모델 파라미터를 줄이기 위한 residual packet loss rate set 기반의 distortion 모델을 제안하였다. Residual packet loss rate set 이란, 부호율을 변경해야 할 손실율의 경계점의 집합으로서, 본 논문은 한 개의 모델 파라미터만을 사용하는 모델을 제안하였다. 이 모델 파라미터의 저 복잡도와 고 정확도의 예측 기법을 함께 제안하여 실제 시스템에 쉽게 구현될 수 있도록 하였다.
추가로, 시스템에 많은 부하를 야기하는 training을 사용하지 않기위해, 본 논문에서는 이러한 장면에 의존하는 모델 파라미터를 사용하지 않는 새로운 모델을 제안하였다. 이를 playable bitrate라 하는데, playable bitrate 란, Intra, Intra 같은 코딩 타입에 따라 데이터 손실율에 영향을 받지 않을 비트량의 기댓값을 의미한다. 이 playable bitrate는 간단한 모델링으로 distortion 모델에 못지않은 code rate 결정 능력을 보이면서 적은 계산량을 갖는게 특징이다. 따라서 이 playable bitrate를 통해 화질 최적화된 code rate를 효과적으로 결정할 수 있다.
