As known, the tile-based parallel processing is essential for HEVC hardware codecs to handle very large-resolution (4K/8K-UHD) video where the ILF processing across tile boundaries is important to maintain coding efficiency and visual perception quality. In this dissertation, we propose a very efficient control scheme for ILF across tile boundaries in multi-core based HEVC hardware decoders. For the CTUs adjacent to tile boundaries, the proposed method determines the effective sample areas that can be processed without data dependency in each decoder core while a multiple number of tiles are being parallel-processed. Thus, each decoder core can continue to process the next CTU without waiting for neighboring CTUs in other tiles to be completed for ILF processing. The proposed method does not require additional filters for ILF across tile boundaries because it only uses existing ones in each decoder core. For efficiency verification, the proposed ILF control scheme is implemented with a quad-core HEVC decoder for 4K-UHD video on a prototyping FPGA board. The experimental results show that the quad-core HEVC decoder can obtain ILF speedups proportional to the number of cores when controlled by the proposed method and the overhead caused by the proposed method is almost negligible. Furthermore, the proposed control scheme is also tested with a general multi-PE HEVC decoder model for various tile divisions. The experimental results show that the overall decoder speedups close to the number of PEs are obtained by employing the proposed control scheme for ILF across tile boundaries.
MPEG-H Part2와 ITU Recommendation H.265로 각각 명명된 HEVC (High Efficiency Video Coding)는 ISO/IEC MPEG 그룹과 ITU-T VCEG 그룹이 공동으로 구성한 Joint Collaborative Team on Video Coding (JCT-VC)를 통해 약 3년간의 표준화기간을 거쳐 2013년 1월에 국제표준으로 승인되었다. 주관적 화질 관점에서 기존 H.264/AVC 대비 약 2배의 압축효율 향상을 달성한 HEVC는 4K/8K-UHD 해상도와 높은 프레임 율을 갖는 초고화질 비디오 서비스에 폭넓게 활용될 것으로 전망된다.
HEVC는 많은 양의 비디오 데이터를 다수의 쓰레드 (thread) 또는 하드웨어에서 병렬로 처리할 수 있도록 하기 위해와 타일 (Tile)과 WPP (Wavefront Parallel Processing)를 지원한다. 이 기술들은 기존 H.264/AVC 기반의 코덱 구현에서 제한적으로 사용되었던 병렬처리 기법들의 단점을 보완한 것으로, 각각 서로 다른 방식으로 화면을 분할처리 한다. 이들 중, 타일은 WPP에 비해 병렬처리로 인한 압축효율 저하를 수반하는 반면 분할 화면간의 데이터 독립성이 보장되며 관심영역 (Region of-Interest, RoI)의 화질을 차별적으로 높일 수 있는 장점을 갖는다. 따라서, 타일은 향후 초고화질 비디오의 병렬처리를 위해 다양하게 응용될 것으로 예상된다. 그러나, 유일하게도 인-루프 필터 처리는 서로 다른 타일의 픽셀들간 데이터 의존성으로 인해 타일 기반의 병렬처리 효율성을 방해하는 요소로 작용하며, 이를 효율적으로 해결하기 위한 연구의 필요성이 대두되었다. 기존의연구들에서 지적된 것처럼, 여러 개의 디코더 코어가 각각의 타일에 할당되어 병렬처리를 하는 경우 타일 경계의 인-루프 필터링은 추가적인 인-루프 필터 하드웨어와 외부 메모리 대역폭, 그리고 이를 제어하기 위한 복잡한 회로를 필요로 한다. 또는, 디코더 코어들간의 빈번한 동기화로 인해 유휴시간이 증가하여 전체 디코더 성능이 크게 저하될 수 있다.
이러한 문제를 해결하기 위해, 본 연구에서는 다중-코어 기반의 4K/8K-UHD HEVC 하드웨어 디코더에서 타일 경계를 효율적으로 인-루프 필터링을 처리하기 위한 방법이 제시되었다. 제안된 방법은 첫째, 추가적인 인-루프 필터 하드웨어를 사용하지 않고 각 디코더 코어에 이미 존재하는 인-루프 필터를 사용하여 타일 경계를 처리한다. 둘째, 타일 경계처리를 위해 요구되는 외부 메모리 대역폭을 절반으로 줄여준다. 셋째, 디코더 코어들간의 빈번한 동기화를 필요로 하지 않는다. 뿐만 아니라, 제안된 방법은 각 디코더 코어에 내장되는 것이 아니라 이들을 중앙에서 제어하는 별도의 하드웨어 모듈로 설계되기 때문에 전체 디코더 동작 주파수에 영향을 미치지 않는다. 본 연구의 핵심 아이디어는 다중-코어 디코더에서 다음의 처리과정을 가능케 한다. 먼저 타일 경계에 위치한 블록들의 처리상태를 알 수 있는 인덱스를 정의하여 제어 모듈에서 관리하고, 각 디코더 코어가 타일 경계 블록을 처리하는 중에 이웃 블록들의 처리상태 체크를 요청하도록 한다. 그러면 제어 모듈은 요청한 현재 블록과 다른 타일에 존재하면서 데이터 의존성이 있는 이웃 경계 블록의 처리상태를 체크하여, 현재 블록과 함께 인-루프 필터링 처리가 가능한 픽셀 영역을 판단하여 전달한다. 그 후, 처리상태 체크를 요청했던 디코더 코어가 결정된 영역에 대해 인-루프-필터링 처리를 수행하고 나서 현재 블록의 처리상태 갱신을 요청하면 제어 모듈은 갱신된 상태를 저장한다. 다수의 코어에서 산발적으로 입력되는 요청에 효율적으로 대응하기 위해 앞서 언급된 과정은 선점 스케줄링 방식으로 처리되며, 데드락 (deadlock)으로 인한 멈춤 현상을 방지하기 위해 동시요청에 대해서는 순차처리 한다.
제안된 방식의 기능적 무결성과 처리 효율성을 검증하기 위해, Verilog-HDL을 사용하여 최대 네 개 또는 여덟 개의 디코더 코어를 지원하는 제어 모듈을 설계하고 이를 FPGA 기반의 프로토타이핑 보드 상에서 쿼드-코어 (quad-core) HEVC 하드웨어 디코더와 함께 구현하였다. 각각 4, 16, 32개의 타일을 갖는 여러 4K-UHD HEVC 시퀀스들을 실험한 결과, 구현된 제어 모듈은 디코더 코어 수에 비례하는 인-루프 필터링 처리성능 향상을 가능케 하며, 타일 수의 증가에 따른 처리 오버헤드 증가는 미미한 것으로 나타났다. 또한, 제안된 방식을 타일 경계 인-루프 필터링을 위한 다른 방식들뿐만 아니라 WPP 방식과 함께 비교하였으며 전체 디코더 성능향상, 추가 하드웨어 자원의 사용여부, 요구되는 추가 외부 메모리 대역폭, 전체 디코더 하드웨어에서 각각의 방식이 차지하는 비율이 검토되었다. 그 결과 설계한 제어 모듈이 전체 디코더에서 차지하는 비율은 약 0.05% 이며, 전체 디코더 성능향상은 약 3.74배로 하드웨어 추가가 없는 경우 또는 3.2%의 하드웨어 추가가 필요한 경우에 비해 우월하였으며, 요구되는 외부 메모리 대역폭은 프레임당 평균 839.06 Kbyte로 가장 작게 나타났다. 뿐만 아니라, 최대 16개의 processing element (PE)를 내장한 일반적인 HEVC 디코더 모델링하여3 GHz, 1 GHz, 400 MHz로 각각 동작시키면서 제안된 방식으로 제어하도록 실험하였다. 그 결과PE의 수에 비례하는 디코더 가속이 가능하였으며 임의로 분배된 최대 숫자의 타일을 디코딩 하는 경우에도 16개의 PE로 약 15.17배 증가된 디코딩 성능을 얻을 수 있었다.
