We present a new interactive playback method to enhance 360° viewing experiences. Our method automatically rotates the virtual camera of a 360° panoramic video (360° video) player during interactive viewing to guide the viewer through the most important regions of the video. With this method, the viewer can watch a 360° video with minimum efforts to find important events in a scene both in interactive (e.g., HMD) and less-interactive (e.g., PC and TV) viewing environments. To estimate the importance of each viewing direction, we combine spatial and temporal saliency with cluster-based weighting. A maximum backward cumulative importance volume (MBCIV) is then constructed by accumulating this importance in the video space. During playback, which uses a forward tracing scheme through the MBCIV, the initial optimal path is found based on the viewer's viewing direction. A smooth path is then derived using penalized curve fitting. Finally, the virtual camera is rotated to follow the path. The experiments and user studies demonstrate that our method allows the viewer to effectively enjoy 360° videos with minimum interaction efforts, or even through a non-interactive display.
본 연구에서는 360° 비디오 관련 경험을 향상하기 위한 새로운 상호 작용이 가능한 안내형 재생 방법을 제안한다. 제안된 방법은 사용자가 360° 비디오를 시청할 때 비디오 플레이어의 가상 카메라를 자동으로 회전 시켜 시청자가 영상의 가장 중요한 영역을 볼 수 있도록 안내한다. 제안된 방법을 통해 사용자는 중요한 영역을 찾는 데 최소한의 노력으로 360° 비디오를 볼 수 있으며, 자연스러운 상호작용이 가능한 디스플레이 환경(예: 머리 착용 디스플레이) 및 상호작용성이 낮은 디스플레이 환경(예: 개인용 컴퓨터 또는 텔레비전)에서도 영상을 효과적으로 관람할 수 있다. 영상의 각 방향에서의 중요도를 측정하기 위해서 공간 및 시간 중요도와 클러스터 기반의 가중치 방법을 사용하였다. 구해진 중요도를 이용하여 비디오 공간에서 중요도를 재생 시간의 역방향으로 누적하여 최대 역방향 누적 중요도 볼륨을 구성한다. 영상 재생 중에는 재생 시간 방향으로 현재의 사용자 시점으로부터 가장 높은 누적 중요도를 갖는 시점을 추적하여 초기 최적 경로로 설정하였다. 초기 최적 경로에 곡선 접합 방법을 적용하여 부드러운 안내 경로를 도출하고, 이 경로를 따라서 가상 카메라가 회전하여 사용자의 시점을 중요한 영역으로 안내할 수 있다. 실험 및 사용자 연구를 통해 제안된 방법을 이용할 때 시청자가 최소한의 상호작용으로, 또는 상호작용이 없는 환경에서도 효과적으로 360° 비디오를 관람할 수 있음을 확인하였다.
