As the more multimedia applications are migrating from PC to the portable devices, the applications based on 2D image processing on portable devices will become important. When implementing them on portable devices, there are two critical constraints that must be considered together; the required performance and the power consumption. Especially, the power consumption is important factor in portable environments. For decoding, software solution is possible using current advanced embedded processors, but the power consumption becomes still high. For encoding, software-only solution is impossible due to its heavy computational complexity. Therefore, and hardware acceleration, especially for motion estimation (ME) and motion compensation (MC) is essential.
In this research, hardware motion compensation (MC) accelerator is proposed to relieve the power consumption constraints for real-time video decoding in portable systems. It consists of two embedded frame buffers and the datapath for pixel processing. By embedding DRAMs as the frame buffers, the power consumption on data I/O transactions were dramatically reduced, and it also achieves good system performance with low clock frequency, 20MHz due to the wide I/O internal bus. In addition, the architecture of the frame buffer is optimized in terms of low power consumption, and various low power techniques such as distributed nine-tiled block mapping (DNTBM), sub-wordline scheme with partial activation control (PAC) has been adopted. By the above schemes, up to 31% of power reduction has been achieved compared with an ideal 1-bank memory structure. The prototype chip has been fabricated using 0.18㎛ embedded memory logic (EML) technology. 1.125Mbit DRAM and logic for pixel processing is integrated to support MPEG-4@L1 bitstream, and the overall block consumes about 16mW.
In addition to MC accelerator, a low power ME accelerator is proposed. It is based on the hierarchical algorithm, and its internal memory requirements, I/O bandwidth and the computational complexity is further reduced with negligible performance degradation for the lower power, low cost solutions.
To reduce the power consumption in the datapath, new processing element (PE) scheme, Adaptive Bit-resolution Control scheme (ABRC) is proposed. It dynamically adjusts active bit-resolution according to the characteristics of operands to reduce the power consumption without sacrificing the performance in terms of PSNR. As a result, up to 28% of power reduction was obtained when the SAD (Sum-of-Absolute) calculation is performed. By proposing the Virtually Compressed format for the search area pixels, the required memory capacity is reduced to more than 50% of the conventional scheme. In addition, the computational complexity and the corresponding memory I/O can be reduced about 15% by successfully utilizing VC format. The prototype chip which targets MPEG-4 SP@L3 encoding has been fabricated using 0.16μ DRAM process. It consumes about 25mW@81MHz, and its operations were successfully demonstrated at system level by using MotionExpress demonstration System.
멀티미디어 어플리케이션, 특히 비디오 응용분야가 기존의 PC 환경에서 점차 휴대기기 상으로 옮겨감에 따라 휴대기기 상에서 비디오 처리에 대한 요구가 증가하고 있다. 이를 위해서는 요구되는 성능을 만족시키면서 휴대기기의 특성상 저전력 특성을 요구한다. 현재 널리 사용되는 임베디드 프로세서를 이용한 소프트웨어 솔루션으로는 고사양의 경우 요구 성능을 만족시키지 못하며 그 소비전력도 매우 크므로 저소비전력 특성을 가지는 하드웨어의 구현을 통한 가속이 필수적이다. 특히, 비디오 처리 알고리즘 내에서 많은 계산량과 메모리 엑세스를 요구하는 움직임 추정부 및 움직임 보상부의 하드웨어 구현은 상기 두 조건을 만족시키기 위해 필수적이다.
본 연구에서는 이를 위해, 먼저 저전력 움직임 보상부의 구조를 제안하고 이를 EML 공정을 사용하여 구현하였다. 제안된 움직임 보상부 하드웨어는 임베디드 디램 형태의 프레임 버퍼 및 픽셀 처리를 위한 병렬구조의 데이터패스로 구성되어 있다. 프레임 버퍼를 디램으로 구성하여 데이터패스와 함께 하나의 칩 위에 집적하여 데이터 I/O에 필요한 전력소모를 크게 감소시켰으며, 프레임버퍼의 구조를 자주 사용되는 메모리 엑세스 방식에 맞게 최적화 하여 데이터 엑세스를 위한 소비전력을 기존의 방식에 비해 최대 31%까지 줄였다. 이를 위해 본 연구에서는 프레임 버퍼를 분산메모리 맵핑방식, (Distributed Nine-Tiled Block mapping), 부분 활성화 및 I/O 구조 (Partial Activation and I/O) 방식을 적용하여 구현하였다. 제안된 구조를 바탕으로 MPEG-4 SP@L1 비디오 디코더를 위한 프로토타입을 0.18㎛ EML 공정을 이용하여 구현하였으며 전체 구조는 16mW의 낮은 소비전력을 가진다.
한편 본연구에서는 영상의 인코딩을 위한 저전력, 소면적의 움직임 추정부의 구조를 제안하고 이를 칩으로 제작하였으며 데몬스트레이션을 위한 시스템을 제작하여 보드시스템 단계에서 그 동작을 검증하였다. 제안된 움직임 추정부는 계층적 추정 알고리즘 (Hierarchical Search Alorithm) 방식을 근간으로 하여 최적화된 추정방식에 근접한 화질을 보이면서, 회로 단계 및 알고리즘 단계에서 새로운 방식을 제안하여 최소한의 화질 열화를 가지면서 요구되는 계산량 및 내부 메모리의 크기는 기존의 계층적 추정 알고리즘들에 비해 각각 15%, 60%가 감소되었다.
저소비전력 특성을 위해 먼저 움직임 추정 처리를 위한 데이터패스 내의 기본처리단위 (Processing Element)에 동적 비트 해상도 조정 방식 (Adaptive Bit Resolution Control Scheme)을 제안하고 적용하였다. 제안된 방식은 계산의 정확도를 감소시키지 않으면서도 사용하는 하드웨어의 양을 계산에 맞게 조정하는 방식으로, 이를 통해 SAD (Sum of Absolute Difference) 기반의 처리를 수행하는 기존의 PE에 비해 최대 28%정도의 전력감소효과를 가져왔다. 한편 로컬 메모리에 가상 압축 저장방식 (Virtually Compressed Representation) 방식을 적용하여, 계층적 추정 알고리즘 방식에서 일반적으로 요구하는 내부 메모리 크기에 비해 40%만의 메모리를 요구하며, 전체적으로 15%의 계산량 감소를 가져오면서도 화질의 열화는 0.2dB 이내로 주어진다. 제안된 구조를 바탕으로 MPEG-4 SP@L3 비디오 인코딩을 위한 움직임 추정부 가속기를 0.16㎛ DRAM 프로세스를 이용하여 제작하였으며, 이를 동작검증을 위한 데모 시스템을 제작하여 시스템 단계에서 그 동작을 검증하였다.
