H.264|MPEG-4 Part 10 Advanced Video Coding (AVC) is a recently standardized video coding standard jointly developed by ITU-T SG16 Q.6 and ISO/IEC JTC1 SC29 WG11 (MPEG: Moving Picture Expert Group). The AVC has greatly improved coding efficiency compared to its preceding video coding standards such as MPEG-1/2 Video, MPEG-4 Part 2 Visual, H.261 and H.263 etc. The AVC adopts several coding tools to enhance the coding efficiency at the expense of large computational complexity, one of which is intra prediction in spatial domain. The intra prediction in AVC incorporates directional spatial prediction for 4$\times$4, 8$\times$8, and 16$\times$16 blocks in each macroblock (MB) to be coded. Especially, the 4$\times$4 and 8$\times$8 blocks in an MB have rate-distortion optimization (RDO) based 9 directional prediction modes while 16$\times$16 blocks have 4 modes.
For intra prediction, the Baseline profile of AVC with 4$\times$4 and 16$\times$16 intra prediction requires 592 times the computation of RDO based costs to search the best spatial prediction mode for each MB, and the High profile of AVC with additional 8$\times$8 intra prediction requires 736 times for it. This makes it difficult the AVC software encoders for real-time applications due to large amounts of computation required for the intra prediction. Moreover the intra prediction tool is not only used for I-Slices, but also for P- and B-Slices, which further increases computational complexity.
In this thesis, we propose a fast intra prediction scheme with 4$\times$4 intra prediction skip and early termination of intra mode decision for AVC: (1) The proposed intra prediction skipping method is to decide whether or not to perform the intra prediction in P- and B-Slices for which the decision on intra prediction skip is made based on motion information of the current block and the probabilities of the most probable modes of intra prediction in its neighboring blocks; (2) the proposed fast intra mode decision method is to predict the best intra prediction mode in a context adaptive way based on the determined prediction mode information of neighboring blocks when being performed for 4$\times$4 and 8$\times$8 blocks.
For the decision on intra prediction skip, the probabilities of intra prediction to be performed is experimentally measured based on the magnitudes of motion vectors, quantization parameters and spatial resolutions. For the macroblocks that have more than 95% of probability that inter prediction is performed, the 4$\times$4 intra prediction is skipped in P- and B-Slices. When the intra prediction is performed, the proposed method of a fast intra prediction mode decision is applied. For the fast intra mode decision, a conditional probability table of the best intra prediction modes for 4$\times$4 blocks is computed given the predetermined neighboring block modes of intra prediction. On the other hand, the conditional probability table of the best intra prediction modes for 8$\times$8 blocks is computed based on the pre-determined modes of 16$\times$16 intra prediction for each MB. The experimental results show that the proposed scheme yields up to 37.35% and 25. 86% of the computational complexity reduction in total encoding time test sequences of CIF size and HD size with negligible amounts of PSNR drops and bit rate increments, respectively.
H.264|MPEG-4 Part 10 Advanced Video Coding (AVC)은 MPEG (Moving Picture Expert Group)과 VCEG(Video Coding Expert Group)의 JVT (Joint Video Team)에 의해 표준화가 완료된 가장 최신의 영상 압축 기술 표준으로 고화질 고효율 압축을 가능하게 한다. 특히 화면 간 프레임에서 화면 내 예측을 수행하여 블록의 시간적 중복성이 아닌 공간적 중복성이 존재할 때에 이를 효율적으로 제거하여 압축 효율을 높이는 기술이 적용되었다. 하지만 여러 실험 결과로 고찰해 볼 때에 실제 화면 간 프레임에서 최종 모드가 화면 내 예측 블록으로의 선택되는 비율은 카메라나 객체의 움직임이 많은 일부 영상을 제외하고는 극히 낮은 특성을 보인다. 최종 블록 모드를 율-왜곡 비용을 통해 산출하는 H.264|MPEG-4 Part 10 AVC 부호화기에서 화면 내 예측에 필요한 비용 계산 횟수는 일반적으로 592회에 이르며 고해상도 영상을 고려한 FRExt에선 736회에 이른다. 이러한 비효율적인 구조를 개선하기 위해 본 논문에서는 우선 화면 내 예측으로 최종 결정 확률이 극히 낮은 매크로블록을 미리 검출하는 알고리듬을 소개한다. 다양한 영상, QP 및 해상도에 따른 움직임 벡터 크기와 화면 내 예측 블록으로의 발생 확률을 함수 관계로 조명한 후 약 97%의 화면 간 예측 발생 확률을 보이는 범위의 움직임 벡터 크기를 갖는 매크로블록에 대해선 화면 내 예측을 생략한다. 만약 화면 내 예측이 필요한 것으로 판단되는 경우에는 화면 내 예측 자체를 고속화하게 된다. 8$\times$8 화면 내 예측의 경우에는 16$\times$16 화면 내 예측과의 최종 모드의 선택에 있어 방향적 유사성을 활용한 고속 화면 내 예측과 8$\times$8 현재 블록과 그 주위 블록들의 기 결정 화면 내 예측 모드들을 연관성을 이용한 화면 내 예측 조기 종영을 통한 고속화를 구현하여 부호화 성능을 비교한다. 4$\times$4 화면 내 예측의 경우에는 예측 블록의 크기 차이로 인하여 16$\times$16 화면 내 예측과의 최종 모드 선택에 있어 방향적 유사성이 크지 않아 주위 4$\times$4 블록과의 결정 모드 관계에 따른 고속화만을 수행한다. 두 방법 모두에서 조건부 확률 개념이 사용되며, 조건부 확률 표는 매 화면 내 프레임에서 생성된다. 이는 변화하는 영상의 특성을 적절히 반영하기 위함이며, 이를 통해 진행되는 영상에 가장 적합한 조건부 확률 표가 생성된다.
구체적으로는 16$\times$16 화면 내 예측과 현재 매크로블록 간의 최종 모드의 유사성을 활용한 고속 화면 내 예측 방법은 상기 관계를 조건부 확률 표로 매 화면 내 프레임에서 생성하여 동일 GOP내의 화면 간 프레임의 화면 내 예측에 활용하게 된다. 발생 확률이 낮은 모드들을 제외한 화면 내 예측을 통해 고속화를 실현하며 실험을 통해 율-왜곡 성능 저하를 최소화하는 임계값이 정해지게 된다.
매크로블록 내에서 주위 블록과의 화면 내 예측 결정 모드 유사성을 이용하여 화면 내 예측을 조기 종영하는 방법은 주위 블록의 결정 모드와 현재 블록의 결정 모드 관계를 조건부 확률로 표현한 표를 이용하여 가장 결정 확률이 높은 모드들 만으로의 화면 내 예측을 수행하여 화면 내 예측이 불필요하다고 판단될 시 이를 조기 종영하는 방법을 사용하여 가장 최적의 방법을 결정한다. 원래의 화면 내 예측 결과에 비해 율-왜곡 비용값이 증가하여 잘못된 예측을 할 수 있는 확률을 줄이기 위한 매개변수를 도출 및 적용하여 율-왜곡 성능 저하를 최소화한다.
실험 결과에 따르면 8$\times$8과 4$\times$4 화면 내 예측 모든 경우에 대해 주위 블록과의 연관성을 이용한 방법이 더 뛰어난 부호화 시간 단축 효과를 가져왔으며 이에 따른 율-왜곡 성능 저하는 16$\times$16과의 결정 모드 유사성을 이용한 방법에 비해 떨어지지 않음을 실험을 통해 확인하였다. CIF 영상의 경우 최대 37.35%, HD 영상의 경우 35.84%의 부호화 시간 단축을 가져왔으며 이에 따른 비트율 증가 및 화질의 열화는 무시할 수 있는 수준임을 확인하였다.
