In this study a joint rate control scheme is first proposed for a hybrid codec system to encode stereos-copic video, which is based on an optimization framework. The proposed rate control scheme jointly works on the left (MPEG-2) and right (H.264/AVC) encoders for stereoscopic video input by controlling the output bit rates of both encoders in the sense that the sum of the two decoded video qualities is maximized and the quality difference is maintained around a desired level for a given target bit budget at the same time. In optimization, a gradient-based quadratic rate-quantization model and a gradient-based linear distortion-quantization model are proposed and adopted for intra-picture coding. For predictive-picture coding, a qua-dratic rate-quantization model with the MAD in addition to a linear distortion-quantization model with the MAD is considered for finding an optimal solution in the optimization framework. A joint rate control for bidirectional-picture based on a distortion-quantization model is proposed. Novel bit allocation schemes for GOPs, intra-pictures, and predictive-pictures are also discussed. To reduce computational complexity in estimating model parameters and MAD values, predictions based on the exponentially weighted moving average are applied. In addition, MAD prediction for H.264/AVC based on the actual MAD values of MPEG-2 is proposed. From the experimental results, the proposed joint rate control scheme outperforms the independent rate control. For I-frame only coding, the joint rate control scheme achieves about 0.7 dB gain in PSNR, 51.62% reduction in the mean PSNR difference, and 66.75% reduction in the MSE of PSNR difference. For IPPP coding, the proposed joint rate control scheme shows about 0.54 dB gain in PSNR, 78.59% reduction in the mean PSRN difference, and 91.11% decrease in the MSE of PSNR difference. In addition, the abrupt changes in PSNR values of I-frames over GOPs are alleviated by the proposed I-frame joint rate control scheme. For IBBP coding, the visual quality of the reconstructed stereoscopic sequences improves about average 0.32 dB. The proposed joint rate control scheme also attains about 64.94% decreases in the mean quality difference and 79.01% reduction in the MSE of quality difference, respectively. These experimental results imply that the joint rate control scheme effectively regulates the output bitstreams of the hybrid encoders based on MPEG-2 and H.264/AVC in the sense that the visual quality of the reconstructed stereoscopic images is maximized for the constraints of a given target bit budget and a given desired quality difference level in an optimization framework. This research on joint rate control is further extended to rate control for asymmetric video coding based on optimization, assuming that viewers perceive higher quality of stereoscopic views when the quality of the auxiliary view is above 32 dB while symmetric video coding with the same visual qualities is preferred for the lower quality of the auxiliary view than 32 dB. Optimal quantization stepsizes for both encoders are computed using Karush-Kuhn-Tucker optimality conditions in asymmetric coding. Experimental results demonstrate that the proposed joint rate control scheme considering asymmetric video coding achieves higher perceived visual quality by 2.24 dB while accurately meeting given target bitrates.
최근 3차원 영상 콘텐츠와 디스플레이의 증가에 따라 지상파 방송사들은 스테레오스코픽 3차원 텔레비전(3DTV) 방송 송출을 시작하였다. 하지만 현재 지상파 방송사들이 비디오 전송을 위하여 사용하고 있는 ATSC 방송규격의 약 18Mbps 대역폭 제한 내에서는 고화질의 스테레오스코픽 영상을 전송하는 데 한계가 있다. 따라서 보다 고화질의 3D 영상 방송 서비스를 제공하는 동시에, 기존 2DTV 시청자를 위한 호환성을 유지하기 위하여 좌영상은 현재 지상파 방송에서 채택하고 있는 MPEG-2 기반, 그리고 우영상은 보다 압축 효율이 높은 H.264/AVC 기반의 비디오 압축 및 전송 시스템이 고려되고 있다. 본 연구에서는 이러한 지상파 3DTV 방송 조건 하에서 이종 부호화기로부터 산출되는 비트스트림의 양을 대역폭 제한에 맞게 조절하는 합동 비트율 제어 방법을 제안하였다. 제안하는 합동 비트율 제어 방법에서는 H.264/AVC의 비트율 제어 방법인 이차 율-양자화 모델(quadratic rate-quantization model)을 MPEG-2 부호화 과정 내에 적용하여 압축된 두 비디오 비트스트림의 합이 대역폭 조건을 충족시키면서 화질왜곡을 최소화하는 최적화 기반 3차원 비디오 비트율 제어 프레임워크를 설계하였고, 이 최적화 문제에서 최적 양자화 계수를 계산함으로써 좌, 우영상의 비트율을 조절한다. 또한 시청자의 시각적 피로도가 양안 영상의 화질 차이와 관계가 있다는 가정 하에 좌영상과 우영상의 화질의 차이를 일정하게 유지되도록 하는 제약식을 최적화 문제에 추가하여 양자화계수를 계산하였다. I-프레임 비트율 제어를 위하여 Gradient 기반 왜곡-양자화 모델과 Gradient 기반 율-양자화 모델을 제안하였고, 왜곡-양자화 모델 기반 B 프레임 비트율 제어 방법 및 MPEG-2의 실제 프레임 평균절대오차(mean absolute difference: MAD)을 이용한 H.264/AVC의 MAD 예측 방법을 제안하였다. 실험결과 제안한 스테레오스코픽 3DTV를 위한 합동 비트율 제어 알고리듬은 목표 비트율을 맞추는 동시에, 기존 독립적인 MPEG-2 및 H.264/AVC의 비트율 제어 방법에 비하여 (1) All I-프레임 코딩의 경우 좌/우 영상의 평균 화질 합의 0.7 dB 증가, 평균 PSNR 차의 51.62% 감소, PSNR 차의 평균제곱오차(mean squared error: MSE)의 66.75% 감소 효과를 보였다. 또한 (2) IPPP GOP 코딩의 경우 좌/우 영상의 평균 화질 합의 0.54 dB 증가, 평균 PSNR 차의 78.59% 감소, PSNR 차의 MSE의 91.11% 감소 효과를 보였으며, (3) IBBP GOP 코딩의 경우 좌/우 영상의 평균 화질 합의 0.32 dB 증가, 평균 PSNR 차의 64.94% 감소, PSNR 차의 MSE는 79.01% 감소하는 성능을 보였다. 따라서 본 연구에서 제안하는 합동 비트율 제어 방법으로써 효과적으로 스테레오스코픽 비디오의 화질합을 최대화 하는 동시에 비트 예산 조건과 일정한 화질차 유지 조건을 효과적으로 달성할 수 있음을 알 수 있다. 본 연구에서는 또한 대칭 비디오 코딩에서의 비트율 제어 연구를 최적화 기반 비대칭 비디오 코딩에서의 비트율 제어 연구 문제로 확장하여 Karush-Kuhn-Tucker 조건을 이용한 3차원 스테레오스코픽 비대칭 비디오 코딩을 위한 최적화 기반 비트율 제어 연구를 제안하였다. 실험 결과 본 연구에서 제안한 비대칭 스테레오스코픽 비디오 코딩을 위한 비트율 제어 방법은 목표 비트율을 정확히 만족하는 동시에 기존 독립적 비트율 제어 방법보다 약 2.24 dB의 인지 화질 성능 향상 효과가 있음을 확인하였다.
