In this thesis, the visualization and recognition system of the context information in immersive reality is proposed. Three simulation-based empirical experiments demonstrate the effectiveness of the visualization of the context information in safety, procedural learning, and visual engagement. In environmental safety, context information is described as the vehicle's 3D position in the street situation, and out-of-view visualization with the context information is built on the unified framework of recognition and visualization. In procedural learning, the 3D position and the virtual devices' manual are the context information to transfer the user for the training contents. The place to focus on at every moment is defined as the context information in the visual engagement. The empirical experiment shows that immersion and the context information's situation-awareness have inversely proportional to environmental safety. In procedural learning, two visualization methods, the annotation, and the tutor, were compared for transferring the knowledge of the training contents, and annotation shows better in the two tasks among three. In the visual engagement experiment, discipline shows better results in terms of gaze distribution but not in terms of usability. The results can be used in the field in terms of informing designers of visualization of the context information on what types of visual instruction are best for different task purposes.
하드웨어 및 렌더링 장치의 발달로 증강/가상 현실 기반의 장치들이 많이 사용되고 있다. 가상의 컨텐츠에 몰입되는 특징으로 인해 상황 정보를 정확히 인식하고 사용자에게 표시하는 문제는 안전, 훈련 등에 있어서 중요하게 작용한다. 본 연구에서는 AR환경에서의 주변 안전 관련 상황 정보를 인식하고 표시할 수 있는 시스템을 제안하고 VR 환경에서의 절차 훈련과 시각적 집중을 도와주는 시스템을 제안하였다. 제안된 주변 안전 관련 상황 정보 인식 및 가시화 시스템에서는 가상의 데이터를 이용한 움직이는 자동차의 3차원 위치 정보의 인식 시스템과 인식된 정보를 바탕으로 하는 out-of-view 형태의 디스플레이 시스템으로 구성되어 있다. 상황 정보 인식 시스템의 경우 가상의 데이터로 생성한 단일 카메라 이미지에서 YOLO를 이용한 자동차 인식을 먼저 수행하고 이후 3차원 위치 정보를 LSTM으로 학습하였고 인식된 위치 정보는 out-of-view 형태의 디스플레이에서 가시화 되어 사용자에게 전달된다. 통합된 시스템을 이용하여 실제 사용자 실험을 수행하였으며, 컨텐츠 몰입도와 상황 인식에 대한 관계를 검증하였다. 제안된 절차 학습을 위한 가시화 실험에서는 훈련 관련 상황 정보를 가시화하는 방법을 비교 함으로써 더 효율적인 방법을 실험으로 검증하였다. 경험적 실험을 통해 3가지의 대표적인 훈련 상황을 시뮬레이션하고 3차원 위치에서 상황 정보를 간단한 텍스트나 모형으로 표시하는 annotation 방법과 가상의 캐릭터가 가상 환경에서 훈련 정보를 수행하는 tutor 방법을 바탕으로 실험하였다. 3가지 훈련 상황에서 훈련 효과를 측정하기 위해 순서가 있는 훈련 상황을 가정하고 더 효율적인 훈련이 가능한 가시화 방법에 대한 검증을 수행하였다. 제안된 시각적 집중 정보에 대한 가시화 실험에서는 모든 가상 물체를 제거하는 discipline과 집중해야 할 위치를 가상의 화살표를 통해 알려주는 guidance 간의 비교 실험을 하였다. 비디오를 통해서 특정 정보가 사용자에게 전달이 되면 각 그룹간의 실험을 통해서 사용자의 유용성, 사용성 및 정보 전달에 대한 측정과 시야 벡터에 대한 분산도 측정을 수행하였다. 제안된 환경 안전 정보에 대한 인식 및 가시화의 경우 통합된 시스템을 통해 실제 환경에서의 안전 관련 시뮬레이션 도구로 활용될 수 있고 서드파티 형태의 AR 장비에서의 상황 정보 인식 및 가시화를 위한 보조 기구로서 개발될 수도 있다. 절차 학습에 대한 가시화 연구는 가시화 방법과 훈련 효율성 실험에 있어서 기본적인 도구로써 사용 가능하며, 실험 결과는 훈련 상황을 제작할 때 더 효율적인 훈련을 위해 그에 적합한 가시화 방법을 선택하는 데 도움을 줄 수 있다. 가시적 집중에 대한 가시화 연구는 가상의 환경에서의 집중과 실제 사용자 퍼포먼스 비교를 통해 사용성 및 시야 벡터의 분산과 관련하여 적합한 가시화 방법을 제시할 수 있다.
