A panoramic content is a special type of a 2D video that depicts a wide-angle view of a scene. Rich information captured from the surrounding environment provides a viewer with a strong sense of presence. As computing power and digital imaging technology have advanced, the panoramic presentation has become an engaging movie format for emerging immersive theatres and an increasingly popular means of sharing our experiences through social networks services. Unlike a typical rectangular video for which standardized forms of playback and screening exist, the quality of panoramic contents varies depending on the display environments and resolution.
This dissertation proposes two systems, ScreenX and Rich360, for optimized image-space representations of panoramic contents. For a multi-viewer panoramic viewing environment, the ScreenX system is a novel movie viewing platform utilizing the left and right side walls as additional screens using a multi-projection technique. Ordinary movie theatres can be converted into public immersive theatres without modification of the existing theatre structure. This surrounding display environment delivers a strong sense of immersion in general movie viewing. In addition, we present a novel image representation model that minimizes the seat-dependent perspective distortion of the content displayed on the side walls. This leads to uniform movie viewing experiences regardless of the seating locations in a theatre and the diverse configurations of various movie theatres. ScreenX has been successfully deployed in the movie industry. Various results and user studies demonstrate that the ScreenX system improves the movie viewing experiences. For a single-viewer panoramic viewing environment, Rich360 proposes a novel approach to creating and viewing a $360 ^\circ$ panoramic video. The proposed deformable spherical projection surface efficiently stitches the videos with minimal parallax artifacts obtained from multiple cameras placed on a structured rig. To resolve loss of richness caused by downsampling, which is the case for most $360 ^\circ$ videos, Rich360 performs a non-uniform spherical ray sampling in the rendering step. This novel rendering process preserves the richness of the input videos by assigning more pixels to important regions (e.g. saliency and human face) than and fewer rays to less important homogeneous regions. Various results from Rich360 demonstrate the richness of the output video and the advancement in the stitching results.
In this dissertation, the novel methods based on an Image-space optimization scheme resolve the issues in presenting panoramic contents in a multi-viewer environment and a single-viewer environment. The core techniques of ScreenX and Rich360 greatly enhance visual immersion of panoramic contents by minimizing artifacts in creating a panoramic content and perspective distortions arising from different viewpoints, and by fully exploiting the resolution of the source videos. We strongly believe that they will make a significant contribution to the industry related to virtual reality and immersive entertainment where the panoramic contents are employed.
파노라마 콘텐츠는 사람의 눈으로 관찰 가능한 것 이상의 넓은 시야각을 가지는 2차원 영상을 말한다. 넓은 화각으로부터 얻어지는 풍부한 정보는 시청자에게 강한 현장감을 줄 수 있다. 최근 컴퓨팅 파워와 디지털 영상 기술의 발전하면서 파노라마 영상이 영화 산업과 소셜 네트워크에서 가장 인기있는 포맷으로 점점 더 많이 사용되기 시작했다. 표준화된 형식과 재생/상영 환경이 존재하는 일반적인 영상과 달리 파노라마 콘텐츠의 품질은 상영 환경과 해상도에 따라 크게 좌우된다.
본 박사 학위논문은 이미지 공간에서 파노라마 콘텐츠의 최적화된 표현을 위한 ScreenX와 Rich360 두 가지 시스템을 제안한다. 다수 시청자의 파노라마 콘텐츠 관람을 위해 ScreenX 시스템은 멀티 프로젝션 기술을 활용하여 좌우 벽면을 스크린으로 사용하는 새로운 영화 플랫폼이다. 값비싼 스크린의 설치나 기존 구조의 수정없이 기존의 극장을 몰입형 파노라마 극장으로 바꿀 수 있기 때문에 일상 생활에서 몰입형 체험을 더 쉽게 접할 수 있다. 또한, 기존 극장을 사용함으로써 발생하는 좌우 벽면 영상의 시각적 왜곡을 최소화 할 수 있는 이미지 표현 모델을 제시한다. 이를 이용하면 극장의 형태나 좌석의 위치에 상관없이 가능한 동일하게 시각적 경험이 가능하다. ScreenX는 현재 실제 영화산업에서 활용이 되고 있으며, 다양한 결과와 사용자 실험을 통해 ScreenX가 영화 관람 경험을 크게 향상 시킨다는 것을 확인하였다. Rich360은 단일 시청자를 대상으로 하는 360도 영상을 제작하고 시청하는 새로운 접근 방법을 제시한다. 변형 가능한 구형 투사 면은 구조화된 리그와 다수 카메라로 얻어진 영상을 시차 오류를 최소화하며 효율적으로 스티칭한다. 360도 영상 제작에서 일반적으로 발생하는 다운 샘플링 문제를 해결하기 위해, Rich360은 비 균일 샘플링 통한 렌더링 기법을 수행한다. 얼굴과 같이 중요한 영역에 더 많은 픽셀을 할당함으로써 주어진 해상도에서 가능한 원본 영상의 풍성함을 최대로 보존한다. 스티칭 품질과 360도 영상 시청 품질을 정량적으로 평가한 결과 Rich360이 기존 방법들에 비해 효율적이고 우수한 결과물을 만들 수 있다는 것을 확인하였다.
본 논문에서는 이미지-공간 내 최적화를 기반으로 다양한 환경에서 파노라마 콘텐츠 표현의 문제를 해결하고 질을 높이는 새로운 관점을 제시한다. ScreenX와 Rich360을 이루는 핵심 기술들은 비디오 스티칭의 오류와 시점 차이에 의한 시각적 왜곡을 최소화하고 주어진 해상도를 효율적으로 사용함으로써 파노라마 콘텐츠의 시각적 몰입감을 크게 향상시킨다. 이는 최근 부상하고 있는 가상현실 산업의 게임, 영상 분야에서 고품질의 파노라마 콘텐츠를 표현 및 전달하는데 있어서 응용이 가능하여 중요한 공헌을 할 수 있을 것으로 기대된다. 입체 영상 기반의 파노라마 콘텐츠에 응용하는 것과 실시간성을 위해 최적화 기술을 가속화시키는 것은 본 연구가 확장되어야 할 방향이다.
