Multimedia applications such as video streaming, video-phone, video-conference are becoming the key services in the Internet and mobile networks. These networks, however, are very prone to packet loss or bit error, in addition to their time-varying characteristics in available channel rate and delay. So they can hardly support the necessary QoS (quality of service) for a video source to transmit its traffic without loss or violation of delay-constraints during a session. The typical method to control QoS in transporting video over time-varying channels is to use a QoS control scheme at the application-layer, which has two challenging issues; end-to-end flow control and error control.
In this dissertation, we present a practical yet novel approach to respond to the above issues. Specifically we focus on a new adaptive video coding rate control scheme in a time-varying available bandwidth channel for an end-to-end flow control problem, and a code rate allocation scheme to a source-channel coding in a time-varying packet loss channel for an error control problem in application-layer QoS control.
First, we propose a practical and accurate R-Q (rate-quantization) model and D-Q (distortion-quantization) model per picture frame with moderate complexity and relatively low processing delay for video rate control. These are to estimate the generated bits and distortions accurately in DCT(discrete cosine transform)-based coding such as H.263. The proposed R-Q model is based on a linear relationship between non-zero level count of the DCT coefficients and the generated bits, while the proposed D-Q model comes from the observation that the squared quantization parameter over distortion can be very accurately approximated by a quadratic function of quantization parameter. We verify that the proposed models estimate the real coding results very accurately, and can be effectively applied to video coding rate control.
Second, we propose a new adaptive video rate control scheme that makes the perceived picture quality of the reconstructed video as uniform as possible for time-varying bandwidth channels. The proposed method exploits the visual perception that human eyes are less sensitive to quantization noise in a rapid-motion video and to frame-skipping in a slow-motion video. This scheme dynamically skips the frames or adjusts the quantization parameters in a frame-basis according to an FCM (frame control mode) addressing how to encode a frame. We also define a new quantitative distortion measure to select the frame control mode and to evaluate the perceived picture quality influenced by the amount of motion for the skipped frames and $Q_P$ (quantization parameter)-adjusted frames.
We demonstrate that the proposed adaptive rate control scheme can provide better-perceived picture quality both in an actual display and under the defined performance measure based on the visual perception of human eyes.
Third, we present a practical method of adaptive rate allocation to a source- channel coding for the Internet video vulnerable to time-varying packet loss and wireless video prone to time-varying bit error. It is based on the observation that the residual video packet loss probabilities at the optimal code rates for different packet loss probabilities are nearly constant and closely clustered to their average value. By exploiting this observation, we propose a simple and practical scheme to adaptively decide the near-optimal code rate, which estimates the average residual video packet loss probability by an off-line preprocessing before transmitting video packets, and then use the estimated value to find the code rate on-the-fly that gives maximum average end-to-end PSNR when there is a change in packet loss probability in the channel. We demonstrate that the proposed method achieves near-optimal code rate decision in a joint source-channel coding.
최근 xDSL기술과 광통신 기술의 발전으로 액세스망과 백본망의 대역폭이 급격하게 증가함에 따라 비디오 스트리밍, 영상전화, 영상회의 등과 같은 영상통신 서비스들이 인터넷 또는 무선이동망을 통해 널리 제공되고 있다. 그러나 이러한 네트워크들은 패킷 손실이나 비트오류에 매우 민감하며, 가용채널대역폭, 패킷손실률, 비트오류율, 종단간 지연등 채널 특성이 시간에 따라 변화하는 특징을 가진다. 따라서 이러한 네트워크들은 패킷 손실(또는 비트오류)이나 지연제한 조건을 위배하지 않고 영상트래픽을 전달하기 위한 서비스 품질을 제공하지 않는다. 일반적으로 시변채널을 통해 영상을 전달할 때 어느 정도 필요한 서비스 품질을 확보하기 위해서는 응용계층에서 서비스 품질을 제어하는 기법을 사용하는데, 크게 종단간 흐름 제어와 오류 제어 기법으로 구성된다.
본 논문에서는 흐름 제어와 오류 제어 문제에 관한 실용적인 접근방법에 초점을 맞추는데, 전자에 대해서는 시간에 따라 가용채널대역폭이 변화하는 네트워크 환경에서 사용될 수 있는 새로운 적응적 영상부호율 제어 기법을 다루고, 후자에 대해서는 소스-채널 결합부호화 기법을 사용하여 적응적으로 부호율을 결정함으로써 최적의 화질에 가까운 성능을 얻을 수 있는 실용적인 오류 제어 방법에 대해 다룬다. 본 논문에서 수행한 주요 연구내용을 정리하면 다음과 같다.
첫째, 영상부호율 제어에 사용될 실용적이고 정확한 비트율 예측 모델과 왜곡 예측 모델을 제안한다. 제안된 모델은 R-Q 모델과 D-Q 모델로 구성되는데, 전자는 DCT 계수의 영이 아닌 계수의 개수와 비트량간의 선형 비례 관계를 이용하였고, 후자는 양자화 변수의 제곱치를 왜곡량으로 나눈 값이 양자화 변수의 이차 함수로 거의 정확하게 근사화되는 사실을 이용하였다. 제안된 모델은 약 한 프레임 정도의 처리 지연이 발생하며 추가의 계산량이 필요하지만 기존의 경험적 모델들보다 더 정확한 예측 성능을 나타내며 병렬처리를 통해 더 적은 처리 지연으로 모델링이 가능하다.
둘째, 가용채널대역폭이 시간에 따라 변화하는 환경에서 재생된 화질을 가능한한 일정하게 유지하는 새로운 적응적 영상부호율 제어 방법을 제안한다. 제안된 방법은 물체의 움직임이 빠른 경우 인간의 눈이 양자화 왜곡을 잘 인식하지 못하며, 움직임이 느린 경우에는 프레임을 건너뛰어도 눈에 별로 거슬리지 않는다는 시각 특성을 이용한다. 이에 따라 제안된 방법은 해당 프레임에 대한 비트 예산이 설정된 목표 왜곡량을 만족시키지 못하는 경우 해당 영상 프레임의 부호화 방식을 결정하는 프레임 부호화 모드(FCM)에 따라, 프레임을 부호화하지 않고 건너뛰던지 양자화 변수를 변화시켜 부호화한다. 이를 위해 앞에서 제안한 R-Q 모델과 D-Q 모델을 사용하여 비트량과 왜곡량을 예측하며, 프레임 부호화 모드를 결정하고 주관적 성능을 평가하기 위해 왜곡에 대한 새로운 정량적 측도를 정의한다. 제안된 방법이 같은 조건에서 움직임의 양에 따른 인간의 시각특성을 고려하지 않은 기존의 방법보다 새로이 정의한 정량적 왜곡측도 측면과 주관적 시험 화질 측면에서 더 나은 성능을 제공함을 실험을 통해 검증하였다.
셋째, 시간에 따라 채널에서의 패킷손실 확률이 변화하고, 총 채널대역폭은 고정되거나 불연속적으로 변화하는(piecewise constant) 환경에서, 패킷손실로 인한 재생화질의 저하를 방지하기 위해 채널 상태에 따라 적응적으로 코드율(code rate)을 변화시키는 소스-채널 결합부호화를 위해 소스부호화와 채널부호화에 각각 할당할 코드율을 적응적으로 결정하는 방법을 제안한다. 서로 다른 패킷손실 확률에 대해 평균 재생화질을 최대화시키는 최적 코드율에서의 잔여패킷손실 확률이 일정하다는 관찰을 분석하고 검증하며, 영상을 전송하기 전에 오프라인으로 계산된 평균 잔여패킷손실 확률값을 이용하여, 패킷손실 확률이 시간에 따라 변화하는 채널에서 간단한 방식으로 최적에 가까운 코드율을 결정한다. 또한 비트오류가 문제되는 무선이동 환경에 대해서도 동일한 관찰 결과가 적용됨을 확인하였으며, 모의 실험을 통해 제안된 방법이 효과적으로 최적에 가까운 코드율을 결정해 내는 것을 확인하였다.
