In H.264/AVC coders, optimal mode decision for each coding unit can be achieved based on the estimation of the rate-distortion (R-D) cost for each candidate mode. The rate-distortion cost considers both the bit rate and the video quality degradation of all possible modes. In this thesis, I focus on the bit rate estimation scheme that reduces the computational complexity of the output rate estimation of CABAC. CABAC is chosen due to its compression ratio advantage over CAVLC. We first establish a rate model for CABAC using probabilistic behavior of the arithmetic coding engine. The complex calculation of the arithmetic coding engine is replaced by a table lookup for rate estimation. With some techniques simplifying the context selection algorithm applied, the proposed rate estimator reduces about 30% of the computational complexity of the R-D optimized mode decision. The entire encoder is thereby accelerated by 17 $\sim$ 25% with almost no degradation in the R-D performance. For further speed improvements, we modify the rate estimator to implement it as hardware. The speed of the hardware depends only on the number of contexts used in a coding unit while the speed of conventional CABAC hardware implementations depends on the number of bins provided as input. Experimental results show that the proposed rate estimator can accelerate the estimation hardware by about 5 to 18 times, depending on the parameter QP and video sequence.
H.264/AVC 부호화기에서 각 부호화 단위의 최적화된 모드 결정을 하기 위한 방법으로 율-왜곡 최적화 알고리즘이 많이 사용된다. 이 알고리즘에서는 율-왜곡 비용함수를 정의하고 각각의 후보 모드에 대해 이 비용함수의 값을 구한 후에 가장 작은 함수값을 가지는 모드를 최종 모드로 결정한다. 율-왜곡 비용함수는 비트율과 영상 품질이 하락하는 정도를 동시에 고려하여 비교할 수 있는 기준을 제공하는데, 두 요소를 각각 구하는 데에는 많은 연산량이 필요하다. 본 논문에서는 이 중 비트율을 추정함으로써 율-왜곡 함수를 간단하게 구하게 하는 데에 착안한다. 이 과정에서 H.264/AVC의 두 엔트로피 코딩 알고리즘인 CAVLC, CABAC 중 CABAC을 기준으로 추정 알고리즘을 제시하는데, 그 이유는 CABAC이 CAVLC에 비해 높은 압축율을 가지기 때문에 고성능 부호화기에서 많이 쓰이기 때문이다. CABAC의 근간이 되는 산술부호화기의 확률적 특성을 이용하여 CABAC의 비트율 모델을 만들고, 비트율 추정 과정에서 산술부호화기를 대신할 비트율 추정기를 제안한다. 여기에 CABAC의 문맥 선택 과정도 단순화하여 적용하였을 때, 제안된 비트율 추정기는 율-왜곡 비용함수 계산 시간의 약 30%를 감소시킨다. 이 영향으로 전체 인코더는 약 17 $\sim$ 25% 가량 빨라지는데, 이 과정에서 율-왜곡 특성은 기존의 알고리즘과 거의 동일하게 유지된다.
본 논문에서는 또한 비트율 추정기를 더욱 빠르게 구동시키기 위하여 하드웨어로 구현하는 경우 또한 고려하여 추정 알고리즘을 변형하는 방법을 소개한다. 이 변형으로 인해, 비트율 추정기를 하드웨어로 구현하였을 때 그 속도는 부호화 단위에서 사용되는 문맥의 수에 비례한다. 부호화 단위의 빈(bin) 수에 속도가 비례하는 기존의 CABAC 하드웨어와 비교해 보았을 때 제안된 비트율 추정기는 QP와 비디오 입력의 특성에 따라 약 5 $\sim$ 18배의 속도 이득을 얻을 수 있다.
