In this paper, we proposed a rate-distortion (R-D) optimization-based intra encoder for better R-D performance. To reduce the computational complexity of R-D optimization-based mode decision, we proposed two schemes; an early block type decision method and a rate estimation method for context-based adaptive variable length coding (CAVLC). Using the first method, we decided early the best block size for R-D optimization-based mode decision among luma 4×4, 8×8 and 16×16 block. The proposed method is used for R-D cost of a subblock (8×16 block) instead of that of macroblock (MB) with the proposed encoding order for the intra prediction of 4×4 and 8×8 block. The luma components of total R-D cost are only used for the mode decision without chroma components. The chroma components have small potion of total R-D cost of MB due to subsampling (4:2:0) and relatively small variance between chroma pixels. This method achieved the reduction of computational complexity with average 0.04dB PSNR degradation and rate increase of less than 1% compared with the full search method. The second method is based on replacing the CAVLC table for three key parameters, $\textit{Coefficient\_token}$, $\textit{Total\_zeros}$, and $\textit{Run\_before}$ into simple arithmetic expressions. Experimental results show that the proposed scheme reduced the encoding time by about 50% for full high definition and achieves almost the same PSNR at about 0.1% bit-rate increment compared with the JM reference software.
H.264/AVC에서 최적화된 모드 결정을 하기 위한 방법으로 율-왜곡 최적화 알고리즘이 사용된다. 최근의 INTRA만으로 구현된 부호화기가 많이 나오고 있으나 점차 커지는 해 상도와 화질의 요구로 실시간 동작을 만족시키기 위해 간단한 모드 결정 방법을 사용하고 있다. 율-왜곡 최적화 알고리즘은 엔트로피 코더로 부터의 비트율과 원본과 복원된 블럭간의 왜곡을 필요로 하는데 두 가지를 모두 얻기가 복잡해서 현재 이를 이용한 INTRA 부호화기를 하는 것이 중요한 문제가 되고 있다. 본 논문에서는 율-왜곡 최적화 알고리즘을 적용한 INTRA 부호화기의 구현하는 방법에 대한 방법을 소개한다. INTRA의 여러가지 블럭크기 중에 어떤 블럭이 결정될지 미리 결정하는 이른 블럭 결정 방법과 엔트로피 코더의 복잡함을 줄이기 위한 비트율 예측방법이다. 이른 블럭 결정 방법은 모드 결정을 위해 필요로한 큰 블럭의 율-왜곡 비용을 구하는 것이 아니라 그 안의 작은 블럭에서 구하는 것으로 대체하는 것이다. 이는 인접한 블럭끼리의 율-왜곡 비용이 유사할 것이라는 공간적 상관도를 이용한 방법이다. 그래서 이를 바탕으로 추가적인 하드웨어 자원의 필요없이 간단하게 블럭크기를 결정하는 방법이다. 그리고 율 예측 방법은 엔트로피 코더로 CAVLC와 CABAC 두가지가 있는데 INTRA의 많은 모드수에 적합한 CAVLC의 율 예측 방법을 제안하였다. 이는 CAVLC에서 이용되는 3가지 테이블에 대해서 2가지 테이블에 대해서는 통계적 결과를 이용한 전체 테이블중 일부만의 규칙성을 이용하여 간단한 식으로 만들었고 나머지 테이블은 least square fitting 방법을 통해서 간단한 수식으로 관계를 이끌었다. 이를 이용해 율-왜곡 최적화가 적용된 INTRA 부호화기를 제안하였다.
