With the advance in computing power and sensing technology, mobile devices have already become the major platform for augmented reality (AR) and virtual environments (VEs). In particular, location-based mobile augmented reality is rapidly expanding from 2D locations on the ground to indoor and 3D locations due to the prevalence of orientation sensors and computer vision techniques. However, a common limitation of both AR and VEs is a narrow field-of-view (FOV) of the real or virtual camera, which is known to deteriorate task performances. The need for effective overview visualizations for off-screen objects in 3D locations arises from here.
Although there exist visualizations for this purpose such as 3D arrows or top-down view radar, many of them suffer from various drawbacks concerning mental rotation, occlusion, or unnatural distortions, which are mainly due to the discordance with human visuospatial perception.
In this thesis, we propose Aroundplot, an off-screen area visualization designed for 3D orientation task, which adopts the Focus+Context approach to benefit from the resemblance to the human peripheral vision. One part of the visualization is a noble mapping method from Spherical coordinates to a 2D orthogonal fisheye based on human perception of the reference frame. It combines cylindrical and transverse cylindrical projection in a single mapping so that the cue movements in the visualization closely correspond to the optical flow the user experiences. Another part is a dynamic magnification method of the context in the direction of movement, which restores the context area distortion of fisheye visualizations so as to allow the user more precise control.
After then, we conducted user studies consisted of three steps. Firstly an evaluation against two existing visualizations was performed, in which the proposed visualization was shown to be superior in accurately tracking the intended target and similar or better in terms of task speed. The second study verified the performance model for the large 3D orientation while gazing at a handheld device, in which the proper distance measure for 3D orientation experiments is determined and direction effects in the performance are analyzed. Based on these results, we could control the distance factor in our third study, in which we examined the behavior of the dynamic magnification and differences between its design variations.
The proposed visualization technique and implications from the user study are focused on but not limited to AR scenarios in mobile phones. AR and VEs with other narrow FOV devices such as tablets, head-up displays, and handheld projectors could also exploit the technique to let the users efficiently perform 3D orientation to explore the environments around them.
컴퓨팅 파워와 센싱 기술의 발전에 따라, 스마트폰을 비롯한 모바일 기기는 이미 증강현실과 가상환경 애플리케이션을 위한 중심적 플랫폼으로 자리매김하였다. 특히, 위치 기반 모바일 증강현실은 최근까지 실외의 지면에 위치한 2차원 위치를 표시하는데 머물러왔지만 자이로스코프 등 정밀한 오리엔테이션 센서와 컴퓨터 비전 테크닉이 모바일 기기에서도 일반화됨에 따라 급속히 실내의 3차원 위치들로 그 용도가 확대되고 있다.
그러나 여전히 남아있는 증강현실과 가상환경의 보편적인 문제 중 하나는 협소한 시야각으로서, 이는 다양한 태스크에서 효율성을 저하시키는 요인으로 작용하고 있다. 특히 주변 위치에 연관된 정보들 또는 가상 사물의 위치들을 알고자 할 경우 좁은 시야각으로 주변을 둘러보는 것은 정보 탐색 효율을 매우 저하시키게 된다. 하지만 직접적으로 시야각을 확대시키고자 할 경우 선형원근법의 특성 상 가장자리로부터 왜곡이 발생하게 된다는 점이 실제 카메라, 가상 카메라 및 프로젝션 기기 모두에서 일정 이상으로 시야각을 확대하지 못하는 이유가 되며, 이로 인해 간접적 방법인 시야각 외부영역 시각화의 중요성이 커지게 된다.
주요한 시야각 외부영역 시각화 방법으로는 현재까지 탑다운 뷰 레이다 형태나 3차원 화살표로 표현된 오버뷰 등이 주로 쓰이고 있으나, 이러한 시각화들은 멘탈 로테이션, 큐 상호간 중첩으로 인한 가려짐, 부자연스런 큐의 움직임 등으로 인해 대상물의 방향을 인지하고 방향전환 수행 중 큐의 움직임을 계속하여 눈으로 추적하는데 어려움이 있으며 특히 이러한 혼동은 대상물의 수가 많아질 수 록 가중되는 문제가 있다.
본 논문에서는 이러한 문제의 원인을 인간의 시공간 지각 특성과의 불일치로 정의하고, 시공간 지각 이론에 기반하여 3차원 방향전환을 향상시킬 수 있는 새로운 시야각 외부영역 시각화 기법을 제안한다. 이 기법을 위한 두 가지 주된 접근방법 중 첫 번째는 포커스+컨텍스트 기법으로, 이는 사람의 주변부 시야와의 형태적 유사성을 가지며 본 논문에서는 구면 방향을 2D 평면의 포커스+컨텍스트 형태로 매핑하는 새로운 프로젝션을 제안한다. 두 번째는 디바이스가 움직이는 방향을 동적으로 확대하는 기법으로, 포커스+컨텍스트가 주는 주변부의 왜곡을 보완하여 주변부의 자세한 관찰과 정교한 컨트롤을 가능하게 한다.
제안 기법에 대한 사용자 연구는 3단계로 이루어져 있다. 1단계는 기존 시각화 솔루션 두 가지에 대한 효율 비교로서, 정량적 실험 결과 제안 기법은 의도한 방향으로의 오리엔테이션을 수행하는 속도에서는 다른 시각화들에 대비 비슷하거나 우수한 결과를 보이고, 오리엔테이션 중 의도한 타겟을 다른 타겟과 혼동하지 않고 시각적으로 추적하는 정확성에서는 두 비교 대상 모두에 대해 우수한 결과를 보였다. 2단계는 등 뒤를 포함한 먼 각거리의 오리엔테이션 효율을 거리 통제하에 정밀하게 실험하기 위한 방법을 제안하기 위한 기반 연구로서, 3차원 오리엔테이션의 적절한 거리 개념의 정의와 회전 방향 및 정면 방위의 차이에 의한 효과를 실증적으로 검증하였다. 3단계에서는 2단계의 결과로 도출된 거리 통제 기반 실험방법을 통해 제안 기법에서의 동적 확대에 대한 5가지 디자인 옵션의 차이와 그 동작 양태를 회전거리 별로 분석하였고 이에 따라 애플리케이션에 따른 디자인 옵션 선택의 가이드라인을 도출하였다.
제안된 시각화 기법은 본 연구 중에서는 휴대폰에서의 증강현실 시나리오에 초점을 두고 구현과 실험이 이루어졌으나, 가상환경에도 동일하게 활용이 가능하며 나아가 태블릿, 헤드업디스플레이, 핸드헬드 프로젝터 등 시야각의 협소성 문제를 동일하게 겪고 있는 다양한 디스플레이 디바이스에 공통적으로 적용이 가능하다. 이에 따라 추후 다양한 애플리케이션에서 제안 기법을 통해 머리 위, 등 뒤를 포함한 3차원 공간으로 작업 공간을 확대하고 탐색의 효율을 높이는 데 기여할 수 있을 것이다.
