We propose a novel approach for upright and stabilizing 360-degree videos using deep learning. The inherent shaking during filming of 360-degree videos exacerbates user dizziness when viewing the content through virtual reality devices. The absence of labeled video data with camera rotation values has hindered previous research in this area. However, in this paper, we address this limitation by employing image augmentation. Our method involves two steps to achieve detailed stabilization. In the first step, we approximately align the horizon for each frame. In the second step, we leverage optical flow to estimate the rotation matrix between two consecutive frames, enabling more precise adjustments. Finally, by applying the inverse rotation of the estimated matrix to each frame, we obtain a stabilized image. Extensive experimentation demonstrates the effectiveness of our proposed methodology.
본 논문은 딥러닝을 사용하여 360도 영상의 수평을 보정하고 안정화시키는 방법론을 제시한다. 360도 영상의 경우 촬영 시의 흔들림으로 인해 가상현실 기기로 해당 영상을 보는 사용자의 어지럼증을 가중시킨다. 기존 카메라 회전 값이 레이블 된 영상 데이터가 존재하지 않아 해당 연구가 이루어지지 않았으나 본 논문에서는 이미지 증강을 통해 해결하였다. 제안된 방법론은 총 2개의 단계를 통해 수평 안정화 작업을 진행한다. 첫번째 단계에서는 각 프레임에 대해 대강의 수평을 맞추고, 두번째 단계에서는 광학 흐름을 사용하여 두 개의 프레임에 대해 사이 회전행렬을 회귀하여 보다 세밀한 조정을 진행한다. 최종적으로 추정된 회전행렬을 각 프레임에 역회전시켜 안정화된 영상을 얻을 수 있다. 실험을 통해 제안된 방법론이 효과적임을 입증하였다.
