The main technical issue of real-time video communication is clearly the quality adaptation method, which is required to provide acceptable level of decoded video quality and the end-to-end delay guarantee. There are two time-varying factors to affect the performance of video transmission systems. The one is the time-varying effective channel rate. The other is the time-varying statistics of source traffic. It is due to the changes in the scene contents over long period of time. Thus, it is needed to consider both time-varying factors in encoding and transmission control process to guarantee the end-to-end delay and acceptable level of perceived quality.
In this dissertation, we propose an explicit rate decision algorithm at the bottleneck switch and an adaptive video frame rate control method to adapt to the time-varying channel rate. Also, we propose a source traffic prediction method and a preventive channel rate decision algorithm to consider the time-varying statistics of source traffic in dynamic bandwidth allocation environment.
First, a model of video transmission systems over explicit rate networks is presented and analyzed under the end-to-end delay constraint. It is shown that decoder buffer underflow is the major element to be prevented and that it should be done by controlling explicit rate feedback from the bottleneck switch. An upper bound of explicit rate is derived for single feedback connection which guarantees the end-to-end delay. It is obtained by using the state of leaky-buckets of high-priority connections and video service buffer occupancy. The same explicit rate decision mechanism can be applied to multiple feedback connections with different delay constraints by separating each connection according to the service policy.
Secondly, an adaptive video frame rate control method, called AFCON, is proposed that video encoders use in conjunction with explicit rate based congestion control in the network. An encoder buffer constraint which guarantees the end-to-end delay of video frames is derived under the assumption of bounded network transmission delay. AFCON is based on the constraint and consists of channel rate prediction, frame discarding, and frame skipping. Frame discarding prevents the delay violation of coded frames due to the prediction error of the channel rate. Frame skipping adapts the encoder output rate to the channel rate while avoiding abrupt quality degradation during the congestion period. From the simulation results, it is shown that AFCON can adapt to the time-varying rate channel with less degradation in temporal resolution and PSNR compared to the conventional approach.
Thirdly, a source traffic prediction method is proposed, which is based on the rate-distortion relation of source video. It can detect changes in source traffic level and scene changes before encoding video frames by using the encoding information such as spatial variance of video frames and the number of intra-coded macroblocks. It has advantages over conventional methods in that early and accurate prediction of source traffic is possible. Simulation results show that the proposed method achieves a better prediction and requires a smaller buffer in RCBR service than the conventional method.
Finally, a preventive channel rate decision algorithm, called PCRD, is proposed for real-time video transmission. The transmission rate bound is derived from the buffer constraints of the encoder and the decoder based on the predicted bit-rate of video frames. The problem of short renegotiation interval can be solved by the PCRD with less renegotiation(PCRD-LR). It ignores renegotiation request with shorter renegotiation interval than the reference interval if the ignorance does not affect the continuous operation of video transmission systems. From simulation results, PCRD/PCRD-LR are shown to have low renegotiation cost and high channel utilization without delay violating frames.
실시간 영상 통신을 위한 주된 기술적 논제는 전송 채널로의 비디오의 화질 적응 방식에 관한 것이며, 적정 수준의 복호된 비디오 화질과 종단간 지연을 제공해야 한다. 비디오 전송 시스템에서 성능을 좌우하는 요인은 크게 시변하는 유효 채널률과 시변하는 영상원의 트래픽 특성이다. 따라서, 종단간 지연과 적정 수준의 화질을 보장하기 위해서는 비디오 부호화 및 전송 제어시 이 시변하는 요인들이 고려해야 한다.
본 학위논문에서는 피드백 기반 폭주 제어 네트웍내의 병목 스위치에서의 명시율 결정 방식과 시변하는 채널율에 적응하기 위한 비디오 화면율 제어 방식을 제안한다. 또한, 동적 대역 할당 환경에서 시변하는 영상원의 트래픽 특성을 고려하기 위한 영상 트래픽 예측 방식과 예방형 채널률 결정 방식을 제안한다.
첫째, 명시율 네트웍상의 비디오 전송 시스템의 모델을 제안하고, 종단간 지연 제약하에서 이를 분석하였다. 그 결과 복호기 버퍼 고갈이 화질 제어를 위한 주된 제어 대상이며, 병목 스위치로부터의 명시율 피드백을 제어함으로써 제어가 가능함을 보였다. 종단간 지연 보장을 위한 명시율의 상한값이 단일 피드백 연결에 대해 유도되었으며, 높은 우선순위 연결들의 리키-버킷 상태와 병목 스위치내의 비디오 서비스 버퍼 레벨을 이용하여 계산된다. 다른 지연 제약들을 갖는 다중 피드백 연결들에 대해서도 각 연결을 서비스 정책에 따라 격리하여 서비스 함으로써 동일한 명시율 상한 결정 방식을 적용할 수 있다.
둘째, 명시율 기반 폭주 제어 네트웍에서 적응형 비디오 화면율 제어 방식(AFCON)을 제안하였다. 제한된 네트웍 전송 지연의 가정하에서 비디오 프레임의 종단간 지연을 보장할 수 있는 부호기 버퍼 제약 조건을 유도하였다. AFCON은 이 조건을 기반으로 채널률 예측, 프레임 삭제, 프레임 건너뜀 방식들로 구성되어 있다. 프레임 삭제는 채널률 예측 에러에 기인한 부호화된 프레임들의 지연 위반을 예방한다. 프레임 건너뜀은 폭주시 급격한 화질 저하를 방지하면서 채널률에 부호기 출력률을 적응시킨다. 모의실험을 통해서 시변하는 채널률에 적응시 AFCON이 기존 방식들에 비해서 시간방향 해상도와 PSNR의 저하가 적음을 확인하였다.
셋째, 영상원의 비트-왜곡 관계에 기반한 영상 트래픽 예측 방법을 제안하였다. 이 방법은 영상을 부호화하기 전에 비디오 프레임의 공간방향 분산과 화면내 부호화 매크로블럭 수와 같은 부호화 정보를 이용하여 영상 트래픽 레벨의 변화를 감지할 수 있다. 기존의 방법들에 비해 본 방식은 빠르고 정확한 영상 트래픽 예측이 가능하다는 장점이 있다. 모의실험을 통해 제안 방식이 기존 방식들에 비해 RCBR 서비스 환경에서 예측이 정확하고 적은 버퍼를 필요로 함을 확인하였다
마지막으로 실시간 비디오 전송을 위한 예방형 채널률 결정 방식(PCRD)을 제안하였다. 비디오 프레임들의 예측된 부호화 비트에 기반하여 부호기와 복호기의 버퍼 제약 조건으로부터 가능한 전송률의 범위가 얻어진다. 짧은 재협상 구간에 기인한 재협상 비용 증가 문제를 해결하기 위해 적은 재협상이 가능한 예방형 채널률 결정 방식 (PCRD-LR)을 제안하였다. PCRD-LR 방식은 전송률 결정 모듈의 채널률 재협상 요청이 최근 재협상 시점으로부터 기준 시간 이상 경과하지 않았고, 비디오 전송 시스템의 연속적인 동작에 영향을 주지 않는다면 재협상 요청을 무시한다. 모의실험을 통해 PCRD/PCRD-LR 방식을 이용하면 적은 재협상 비용으로도 지연 위반 프레임 없이 높은 채널 이용률 달성이 가능함을 보였다.
