Augmented Reality (AR) is a kind of computer graphics technology that adds virtual objects to real objects or real environments such that they appear as if they actually exist. Augmented Reality (AR) is regarded as an important future technology because it can make our life more convenient and can be applied to various fields such as games, education, medical care, and shopping. A typical AR device type is a head-mounted display (HMD), that is worn on the head in the form of goggles. Compared to other types of AR devices, head-mounted displays have been studied more because they block the ambient light and give users an excellent sense of immersion. In addition, since the users can use their hands freely, they offer the advantage of being able to interact with virtual objects.
Traditional head-mounted displays generally realize stereoscopic images with binocular parallax. When images observed from different angles are presented on each eye, brain fuses the left and right images. Through this process, the viewer can feel three-dimensional effect. However, if users watch stereoscopic images of a binocular parallax method, they may feel discomfort such as dizziness or eye fatigue. This is caused by the mismatch of the vergence distance and the accommodation distance, and this phenomenon is known as VAC conflict. Many studies have been conducted to solve the VAC conflict through the use of holographic displays, volumetric displays, multi-focal displays, vari-focal displays and light field displays. Among them, the light field display is particularly attracting attention as a way to solve the VAC. Compared to holographic displays, it has good compatibility with OLED displays, and as such it is possible to express full-color images and it requires less computation time to acquire images. In addition, because hardware complexity is low and the optical configuration is compact compared to volumetric displays or multi-focal displays, it is more suitable for application to a head-mounted display (HMD). However, the light field display system has a critical problem of a limitation on the expressible depth range. A central depth plane (CDP) is formed by the focal length of the lens array and the distance between the lens array and the micro-display. The virtual objects can be expressed only within the depth-of-field (DOF), which is formed behind and in front of the CDP. Therefore, there is a disadvantage that a focal plane is formed at a specific location according to the focal length of the lens array, and the image is clearly visible only in a specific depth range.
In this paper, a method of extending the DOF range by rapidly switching two focal planes using a focus tunable lens array is proposed. In the first frame of the video, the object located within the DOF of the first focal plane is rendered, and the corresponding voltage is applied. In the second frame, the object located within the DOF of the second focal plane is rendered, and the corresponding voltage is applied. By quickly switching the two voltages and the images, all images are located within the DOF. Through this method, the expressible depth range can be extended. For this augmented reality light field head-mounted display with extended depth range, a focus tunable micro lens array based on electro-wetting was designed, fabricated, and applied to an AR system to produce a glasses-type head mounted display. The structure, aperture and focal length of the focus tunable lens array were designed optimally in consideration of various factors such as focal plane variation, resolution, eye-box, field of view (FOV), and depth of field (DOF). Based on the design, the focus tunable lens array was fabricated. Various issues that affect the quality of the AR image and the reliability of the lens array in the process of manufacturing a lens array were explained. Four issues were introduced: a lens oscillation phenomenon due to alternative current (AC) operation, distortion of the lens due to the roughness of the chamber surface, a smoke phenomenon caused by breakdown of the insulation layer, and light diffusion due to the reflection between the liquid lens array and solid lens array. Furthermore, methods to resolve these issues were introduced. After fabricating the lens array composed of 160 lenses with an aperture of 0.9mm, the optical characteristics of the focus tunable lens array were evaluated. Measurement showed it has a focal length of 25mm to 3.8mm, a focal plane variation of 2.8mm, the optical aberration of 0.258λ~0.023λ, and a response time of 12.5ms. Based on the optical design, a prototype of a light field HMD was produced by arranging optical components such as a micro-display, focus tunable lens array, eye piece lens, and beam splitter. The characteristics of the light field HMD were evaluated. Resolutions of the image located 30cm and 100cm away from the viewer were measured as 17.49ppd and 8.7ppd, respectively. A field-of-view of 28.1°×21.2°, and an eye-box of 6mm were measured. The DOF was measured according to voltage, and the DOF range was formed from 20cm to 30cm at 40V, 30cm to 60cm at 45V, 50cm to 80cm at 50V, and 60cm to 100cm at 55V. Since the DOF range is formed in a specific region depending on applied voltage, when displaying two virtual objects that is located at different depths, an object within the DOF can be expressed well, but another object outside the DOF cannot be expressed. Therefore, through a time-multiplexing method that quickly switching the two step voltages of 45V and 55V, the DOF range was extended from 30cm to 100cm so that two virtual objects at different depths could be clearly expressed at the same time.
증강현실은 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 증강현실 기술은 우리의 삶을 보다 더 편리하고 윤택하게 하는 미래 기술로 게임, 교육, 쇼핑 등을 포함해 전방위로 적용될 수 있다. 이러한 증강현실을 구현할 수 있는 대표적인 증강현실 디바이스 형태로는 머리에 착용하는 고글 형태의 헤드 마운트 디스플레이가 있다. 다른 종류의 증강현실 디바이스에 비해 헤드 마운트 디스플레이는 주변 빛을 차단하고 눈앞의 모든 시야를 가득 채운 공간에서 사물을 접할 수 있어 뛰어난 몰입감을 느낄 수 있다. 또한 양 손을 자유롭게 사용할 수 있어 가상의 객체와 상호 작용을 할 수 있다는 점 때문에 미래의 증강현실 디바이스로 각광을 받고 있다.
기존의 헤드 마운트 디스플레이에서는 일반적으로 양안 시차를 활용하여 입체 영상을 구현한다. 양쪽 눈에 서로 다른 각도에서 관찰된 영상이 입력되면, 뇌는 좌우 이미지를 융합하고 이를 통해 시청자는 입체감을 느낄 수 있다. 하지만 양안 시차 방식으로 구현되는 입체 영상을 시청하게 되면 어지러움을 느끼게 되고 사용자에게 피로감을 일으킨다. 이러한 어지러움의 원인은 영상의 인지 거리와 초점 거리 사이의 불일치로 인해 유발되며 이를 초점-수렴 불일치 현상이라고 일컫는다. 수렴-초점 불일치 문제를 해결하기 위해 홀로그래픽 디스플레이, 체적 디스플레이, 다 초점 디스플레이, 라이트 필드 디스플레이 등 다양한 방식으로 문제를 해결하려는 시도가 있었다. 그 중에서 라이트 필드 디스플레이는 표시하고자 하는 가상 3차원 영상의 각 점에서 발산하는 광선들의 집합 혹은 파면을 재현함으로써 연속적인 거리 분포를 가지는 3차원 영상을 사용자의 각 눈에 제공하는 방식으로서, 수렴-초점 불일치 문제를 해결할 수 있다. 또한, 다른 방법들과 비교했을 때, OLED 및 LCD 같은 평면 디스플레이와 호환성이 좋아 풀 칼라(Full-color)를 구현할 수 있고 3차원 영상을 얻기 위한 계산 시간이 적으며 무엇보다 시스템을 컴팩트하게 설계 할 수 있다는 장점 덕분에 헤드 마운트 시스템에 적용하기 적합하다. 하지만, 라이트 필드 디스플레이에는 치명적인 단점이 존재하는데 가상 객체의 깊이 표현 가능 범위의 제약이 존재한다는 것이다. 렌즈 어레이의 초점거리와 렌즈 어레이와 마이크로 디스플레이 사이의 거리에 의해서 Central Depth Plane (CDP)이 형성되고, CDP의 앞 뒤에 형성되는 심도 내에서만 가상의 객체를 표현할 수 있다. 따라서 렌즈 어레이의 초점 거리에 따라 특정 위치에 초점 면이 형성되고 특정한 범위에서만 이미지가 선명하게 보인다는 단점이 존재한다.
본 논문에서는 이를 해결하기 위해서 초점 가변 렌즈 어레이를 이용하여 2개의 초점 면(Focal plane)을 빠르게 스위칭 하는 방식으로 심도를 확장하여 깊이 표현 범위를 늘리는 방법을 제안하였다. 디스플레이의 첫 번째 프레임에서 첫 번째 초점 면의 심도 안에 위치해 있는 물체를 재생시킴과 동시에 그에 맞는 전압을 인가하고, 두 번째 프레임에서는 두 번째 초점 면의 심도 안에 위치해 있는 물체를 재생시킴과 동시에 그에 맞는 전압을 인가한다. 두 개의 전압과 해당되는 이미지를 빠르게 스위칭하면 모든 이미지가 심도 안에 위치하게 되고 이를 통해 깊이 표현 범위를 확장시킬 수 있다. 이처럼 확장된 깊이 범위의 증강현실 라이트 필드 헤드 마운트 디스플레이를 위해 전기 습윤 기반의 초점 가변 마이크로 렌즈 어레이를 설계, 제작 및 이를 증강현실 시스템에 적용하여 안경 형태의 헤드 마운트 디스플레이를 제작하였다. 초점 면의 변화량, 해상도, 아이 박스(Eye-box), 시야각, 심도 등 여러가지 요소들을 고려하여 최적의 초점 가변 렌즈 어레이의 구조, 구경, 초점 거리를 설계 하였다. 설계 값을 바탕으로 렌즈를 제작하였으며 렌즈 제작과정에서 증강현실 이미지의 품질에 영향을 주는 요소인 교류 전압 동작으로 인해 렌즈가 불안정하게 떨리는 현상, 챔버 격벽의 거칠기 문제로 인한 렌즈 형상 왜곡, 액체 렌즈 어레이와 고체 렌즈 어레이 사이의 반사 빛으로 인한 빛 번짐 등의 문제들을 분석하고 해결방안을 제시하였다. 또한 렌즈의 안정성에 영향을 주는 요소인 절연층 파괴 문제도 다루었다. 0.9mm의 구경을 가지는 160개의 렌즈들로 구성된 렌즈 어레이를 제작 후에 특성 평가를 하였으며, 초점거리 25mm~3.8mm, 초점면 변화량 2.8mm, 광학 수차 0.258λ~0.023λ, 응답속도 12.5ms의 특성을 가지는 것을 확인하였다. 광학 설계를 기반으로 마이크로 디스플레이, 초점 가변 렌즈 어레이, 접안 렌즈, 빔 스플리터 등 광학 부품들을 배치하여 데모용 라이트 필드 헤드 마운트 디스플레이를 제작하였고 특성 평가를 하였다. 시청자로부터 30cm 떨어진 곳에 위치한 이미지의 해상도는 17.49ppd, 100cm 떨어진 곳에 위치한 이미지의 해상도는 8.7ppd로 측정되었다. 또한, 28.1°× 21.2° 시야각, 6mm 아이 박스(Eye-box)가 측정되었다. 전압에 따라 심도를 측정하였으며, 40V일 때 20cm~30cm, 45V일 때 30cm~60cm, 50V일 때 50cm~80cm, 55V일 때 60cm~100cm로 심도가 형성되었다. 전압에 따라 심도의 범위가 특정한 구간으로 제약되기 때문에 깊이가 다른 두 개의 가상의 객체를 표현 할 때 심도 안에 있는 객체는 표현이 가능하지만 심도 밖에 있는 객체는 표현 할 수 없다는 단점이 있다. 따라서 최종적으로 45V와 55V의 두 단계의 전압을 빠르게 스위칭 하는 Time-multiplexing 방법으로 심도를 30cm에서 100cm까지 확장시켜, 깊이가 다른 두 개의 가상 객체를 동시에 선명하게 표현할 수 있었다.
