3D graphics hardware has been developed enormously for various multimedia devices and game consoles in recent years. The 3D graphics hardware has changed from a fixed-pipeline hardware to a programmable hardware, which expresses almost infinite 3D effect. But true reality is not being provided to users due to insufficient computing power and the lack of depth perception in 2D display. The technologies of 3D display, a probable next generation display, realize stereoscopy and make viewers feel realistic 3D effect. However, current 3D displays visualize only preprocessed static pictures and video data and not support interactive and real-time applications like 3D games or GUI, because a complex image processing is required to synthesize 3D images from two view images (a left view image and a right view image) and a disparity map; the disparity map is calculated from the depth of 3D objects.
This paper presents a SXGA (1280x1024) 3D display processor with a programmable 3D graphics rendering engine which can synthesize 3D images in real-time; 36frames/s. The processor consists of two engines, a 3D graphics rendering engine and a 3D image synthesis engine. The 3D graphics rendering engine contains a pixel shader which is a programmable hardware. It supports a high-end standard Pixel Shader 3.0 and a latest mobile standard OpenGL ES 2.0. The 3D image synthesis engine optimizes the memory accesses, which increases the synthesis rate to interactive rate. The synergetic coupling of the 3D image synthesis engine and the rendering engine enables users to experience the true reality in real-time interactive 3D applications like 3D games and GUI. The target display of this research is a 9-view slanted lenticular display. The die contains 1.74M gates and occupies 5mm x 5mm in 0.18 micro CMOS and dissipates 379mW at 1.8V.
본 논문의 프로세서는 크게 3D 그래픽스 렌더링 엔진(RE)과 3D 디스플레이를 위한 합성 엔진(SE)으로 구성되어 있다. 3D 그래픽스 렌더링 엔진은 Pixel Shader 3.0과 OpenGL ES 2.0 instruction set을 지원하고, 이를 통해 무한한 효과를 표현할 수 있는 image를 생성할 수 있다. 생성된 image와 depth map을 통해 view interpolation과 multiplexing 과정을 거쳐 3D 디스플레이에 뿌려줄 영상을 SE에서 생성하게 된다.
RE 내부에 있는 pixel shader는 pixel 처리 능력을 극대화 하기 위해 32 bit floating-point 의 연산자의 vector로 이루어진 128bit SIMD 구조로 설계 되어 있으며 latency를 감추기 위해 4-threaded 구조로 설계되었다. Data-Path는 크게 Multiplier-Adder Array Unit (MAU)과 Adder Unit (AU), 그리고 Special Function Unit (SFU)와 Texture Unit (TU)으로 구성되어 있다. SFU는 로그함수나 지수함수와 같은 초월함수를 연산한다. 초월함수의 경우 사용되는 빈도수가 적지만 복잡한 반복 연산 때문에 latency가 길며, 사용되는 경우 매 pixel마다 초월함수 연산이 필요하기 때문에 하드웨어적으로 구현될 필요가 있다. 이를 위해 초월함수를 하드웨어적으로 구현한 부분이 SFU이다. TU의 경우, 외부메모리와의 접속량을 줄이기 위해 캐쉬를 사용하였으며 trilinear filter까지 지원한다.
SE는 내부에 동일하고 독립적으로 동작하는 세 개의 sub-pixel unit으로 구성되어 있으며, 각 sub-pixel unit은 최종 이미지의 각 sub-pixel을 완성시키는 역할을 한다. 각 sub-pixel unit은 총 5단의 파이프라인으로 구성되어 있으며 모든 연산은 fixed-point로 연산된다. Sub-pixel unit 내부에는 floating-point 연산을 하는 부분이 두 군데 있지만, 이 부분의 precision-error를 낮추고 fixed-point로 변환시킴으로써 power와 chip size에서 이득을 볼 수 있다. SE는 disparity가 수평으로만 적용되는 점을 이용하여 기존의 image by image로 view interpolation이 되던 것을 line by line으로 바꿔줌으로써 외부 메모리와의 접속량을 기존 접속량의 26.7%까지 낮췄다. 이를 통해 실시간으로 3D image를 합성할 수 있는 구조를 설계할 수 있었다. 또한 기존에는 view interpolation과 multiplexing이 나뉘어 있었으나, 이 부분을 하나로 합쳐 view interpolation 직후에 곧바로 multiplexing을 함으로써 중간에 intermediate view image를 전혀 저장하지 않음으로써 내부 메모리 크기를 49.5%까지 낮출 수 있었다. 이 과정에서 floating-point의 나누기 연산이 필요한 disparity 연산을 transformation시켜 fixed-point multiplication 연산으로 바꿔줌으로써 performance를 향상시킬 수 있었다.
전체 프로세서는 1.8V TSMC 0.18㎛ 공정에서 약 170만 게이트의 사이즈로 합성이 되었고, 5mm x 5mm의 칩으로 구현이 되었다. 동작주파수는 50MHz, 파워는 379mW가 소모되었고, 이 동작 주파수에서 RE의 경우는 400Mtexel/s, SE의 경우는 36fps의 성능이 나왔다.
