The visual performance, in terms of resolution, of a single near-eye display (NED), is often restricted by the pixel density of the display panel. In a NED configuration, displays are often magnified optically to provide a wide field of view (FOV) and to create an image at a certain ideal depth. The magnification of the image, thus, causes the pixels of the display panel to be more visible. On the other hand, displays with a physically dense pixel pitch would otherwise lead to high driving power and therefore put further burden on the device supply. There are plenty of attempts to solve this issue in the research literature, but those solutions would however cause adverse effects on other factors such as device form factor, eyebox size, FOV, etc.
In this dissertation, an advanced foveated imaging system (FIS) is proposed with the use of two identical displays and a compound tilting device. The concept of foveation is built on the fact that the Human Visual System (HVS) has limited performance due to the natural distribution of receptors on the retina. With the knowledge on the HVS, the FIS is designed in such a way that the high-resolution foveal region with an angle of about $32^\circ$ is relayed onto the low-resolution peripheral view with a total FOV of $104 ^\circ$. The foveal image of the proposed FIS is optically enhanced by 4.3 times and reaches 52cpd.
In any foveated system, an eye-tracking system is necessary to provide information on the focus of the eye so that the foveal image can be translated to the corresponding position. Thus, in the existing foveated system, often additional tilting mechanism like a motor for full directional tilting or phase modulating for restricted tilting are employed. However, motor actuation would lead the system to a bulky form and phase modulation of light normally operates in only two ways (i.e left/right or up/down).
In the proposed FIS, the fabricated tilting mirror holds the role in both image resolution enhancement and a steering device. In other words, it can directly integrate with an eye-tracking device in the future without the need of an external actuator. On a separate analysis, the current version of the fabricated steering mirror is a cylindrical device with a diameter of 50mm and a thickness of 15mm. It is experimentally measured to have a tilting range of +/- $10^\circ$ in multiple axes with its actuation governed by push-pull electromagnets. On top of that, the device response time is comparable at 16.6ms. With this, the system latency of the proposed FIS is estimated to be around 50ms.
This system design aimed to mimic the perception of a human eye to provide a realistic viewing in a NED has challenged the conventional trade-off issue between resolution and FOV. Besides, high resolution is supported at low driving costs and thus efficient battery power maintenance.
근안용 디스플레이(Near Eye Display, NED)에서의 해상도는 보통 디스플레이 패널 자체의 픽셀 밀도에 의해 제한된다. 넓은 시야각을 제공함과 동시에 가상의 이미지를 특정 위치에 표현하는 것이 주 목적인 NED의 광학계 구성상, 디스플레이는 광학적으로 확대된다. 이 때, 확대된 픽셀 구조는 시청자에게 계단 현상과 같은 시각적인 불편함을 주게 되어 상대적으로 저해상도로 인지된다는 문제가 있다. 이를 해결하기 위해 픽셀 자체의 물리적인 크기를 축소시키고 밀도를 향상시키는 데에는 기술적인 한계가 존재하며, 그것이 가능해지더라도 증가된 픽셀 밀도에 따라 필요한 메모리 용량이나 전력 소모가 기하급수적으로 증가하게 되어 NED의 본래 목적에 맞지 않게 된다. 따라서, 현재까지 디스플레이 픽셀 크기와 상관없이 해상도를 향상시키기 위한 다양한 시도가 연구되어 왔지만, 해상도 향상의 반대급부로 시야각 손실, 축소된 시청 가능 영역, 또는 지나치게 커진 시스템 크기 등의 문제를 안고 있었다.
본 연구에서는, NED의 해상도 저하 문제를 해결하기 위해 두 개의 동일한 디스플레이와 고속 틸팅 미러(Tilting Mirror)로 구성된 포비티드 이미징 시스템(Foveated Imaging System, FIS)을 제안한다. 포비티드 이미징 기술은 인간의 시각 시스템(Human Visual System, HVS)이 망막에 존재하는 수용체의 분포에 따라 제한된 성능을 갖고 있다는 사실에 기반한다. 인간의 시각은 직접 응시하고 있는 중심 시역을 고해상도로 인지하며, 그 외의 주변부를 상대적으로 저해상도로 인지한다. 이를 이용하기 위해, FIS 는 중심으로부터 $32^\circ$ 만큼의 시야각을 갖는 중심 시역에 고해상도 이미지를 제공하고, 그 외의 영역을 저해상도 이미지로 표현하여 총 $104^\circ$의 시야각을 제공한다. 이 때, 중심 시역에 제공된 이미지는 본래의 이미지보다 4.3배 향상된 52cpd의 해상도를 갖는다.
포비티드 시스템에서는 고해상도의 이미지를 사용자가 응시하는 영역에 일치시켜 제공하기 위해 시선 추적(Eye-tracking) 시스템이 필수적이다. 따라서, 현재까지 연구된 포비티드 시스템들은 추가적인 모터나 위상 변조 시스템을 적용하여 이미지를 이동시키는 방법을 제안했다. 하지만 모터의 경우 전체 시스템의 크기가 커지는 문제가 있었으며, 위상 변조 방식의 경우 이미지 위치 이동이 1차원적으로만 이루어진다는 한계가 있었다.
제안하는 FIS에서는 이미지의 해상도 향상과 위치 이동, 두 가지의 역할을 동시에 수행 가능한 고속 틸팅 미러를 자체적으로 제작하였다. 즉, 추가적인 장치 없이 시선 추적 기기와 결합 가능하며 포비티드 이미징을 구현할 수 있는 시스템을 개발하였다. 본 연구에서 제작한 틸팅 미러는 50mm의 직경을 갖는 원형 디바이스이며 두께는 15mm이다. 실험적으로 측정한 결과, 틸팅 미러의 각도 범위는 약 +/- $10^\circ$이며, 전자기력에 의해 최소 2개 이상의 축으로 구동된다. 또한, 틸팅 미러의 응답시간은 16.6ms 으로, 제안하는 FIS의 총 응답시간은 약 50ms 이다.
본 연구에서 개발한 시스템은 인간의 시각 인지 능력에 착안하여 기존 NED가 지닌 해상도와 시야각 간의 트레이드오프(Trade-off) 문제를 극복하고, 고해상도와 넓은 시야각을 제공할 수 있다. 또한, 이러한 고해상도 이미지는 추가적인 전력 소모없이 기존의 NED 환경과 동일한 조건에서 제공 가능하기 때문에 전력면에서도 효율적인 방법이라고 볼 수 있다.