Passive motion simulators are used to enhance the sensory experience of ride films at theme parks by making seats move in sync with video, and this kind of system is called a mo-tion-based theater. In 2009, an advanced multi-sensory theater, called a 4D theater, was intro-duced in Korea, which presented general feature films with sensory effects at a cinema in downtown. Since then, the 4D theaters have been widely spread throughout the country. However, the motion generation technique for passive motion simulators is still based on the traditional, manual style although the contents of the 4D theaters are frequently updated.
In this thesis, an automatic approach to generate simulator motion from video film is pro-posed. The camera acceleration is reconstructed for automatic motion generation. This ap-proach is similar to the motion generation technique of interactive motion simulators where they use acceleration and a washout algorithm, but the proposed approach differs in obtaining the acceleration from video. It does not obtain the acceleration from a motion dynamics model. The motion generation pipeline for this approach is presented and implemented in this thesis.
To reconstruct the camera acceleration from video, first of all, the camera motion should be tracked to estimate the linear and angular displacement in 3-dimensional space. The prob-lem of reconstructing camera acceleration is that the noise (i.e. error) of estimated displace-ment is amplified during the double-differentiation which is needed to calculate acceleration from displacement data. To remove the noise, a noise reduction algorithm should be used. The main difficulty in noise reduction is to determine the parameters of the noise reduction algorithm for an arbitrary input video because the true acceleration is unknown. To solve this problem, a correlation-based method to automatically determine the smoothing parameter of spline smoothing is proposed. Also, a bi-layered partitioning and blending method is present-ed to process non-stationary input data.
To validate the correlation-based automatic spline smoothing method, random motion da-ta sets, a well-known benchmarking data set, a self-measuring motion data set, and synthetic computer graphics video are used, of which the true or measured acceleration is known. As the result, the acceleration reconstructed by the proposed method is more accurate than that by other methods although it is a fully automatic method. The results are analyzed in terms of the global accuracy and the preservation of peak magnitudes when input motion data is non-stationary. The proposed method is more stable when input data is short (50-150 data points).
Finally, the proposed approach can automatically generate proper movements for a mo-tion platform. Various videos from a movie and from YouTube are used for the verification. The proposed approach can generate 6DOF simulator motion, which reproduces both transient and sustained acceleration as well as angular acceleration. It also reduces the processing time by three times than conventional manual approaches.
Passive 모션 시뮬레이터는 비디오 영상에 맞는 의자의 움직임을 생성함으로써, 관람객의 즐거움을 증대시키기 위해 사용된다. 이러한 시스템을 motion-based 극장이라고 부르고, 테마파크를 중심으로 발전을 해왔다. 2009년에는 이보다 진보된 형태의 다감각 극장이 탄생하였는데, 4D 극장이라고 불리는 이 시스템은 도심의 영화관에서 일반 영화에 대해 여러 가지 특수 효과를 함께 사용하여 영화의 극적 효과를 극대화 하였다. 4D 극장은 그 이후로 전국 각지로 보급되었으며 지속적인 성장을 거듭해왔다. 기존의 motion-based 극장과 4D 극장의 가장 큰 차이점 중의 하나는, 콘텐츠가 빠른 주기로 교체된다는 것인데, 그럼에도 불구하고 passive 모션 시뮬레이터의 운동감을 생성하는 기술은 여전히 수작업에 전적으로 의존하고 있어서 운동감 생성에 많은 시간이 소요되는 문제가 있다.
따라서 본 연구에서는, 운동감을 자동으로 생성하기 위하여, 비디오 영상에서 카메라 가속도를 자동 복원하여 모션 시뮬레이터의 운동감을 생성하는 방법을 제안하고, 이를 구체화한 운동감 생성 파이프라인을 제시한다. 이 방법은 워시아웃(washout) 알고리즘과 가속도를 이용한다는 점에서 interactive 모션 시뮬레이터의 운동감 생성 기술과 유사하지만, 가속도를 동역학 운동 모델이 아닌 비디오에서 얻는다는 점에서 차이가 있다.
비디오 영상에서 카메라 가속도를 복원하기 위해서는, 비디오 영상에서 6자유도의 카메라 변위를 추정하고, 이를 시간에 대해 두 번 미분해야 한다. 그러나 카메라 변위 추정치에는 노이즈가 반드시 포함되기 때문에 두 번의 미분 과정에서 노이즈가 심하게 증폭되는 문제가 발생한다. 노이즈 증폭을 막기 위해 노이즈 제거 알고리즘이 사용되지만, 임의의 비디오 영상에 담긴 카메라의 사실 가속도를 모르기 때문에, 노이즈 제거와 관련된 파라미터 값을 적절하게 설정하는 것이 쉽지가 않다. 따라서 본 연구에서는, 잘못된 가속도를 추정하는 것을 막기 위해서, bi-layered partitioning and blending 기법과 상관관계에 기반한 optimal smoothing parameter의 추정을 통해, 가속도를 자동 복원하는 알고리즘을 제안한다.
제안한 가속도 자동 복원 방법을 검증하기 위해, 합성 데이터 및 벤치마킹 데이터, 그리고 합성 영상과 실사 영상을 사용하여, 변위 데이터에서 복원한 가속도와 사실 가속도를 비교 분석한다. 또한, 카메라 가속도의 자동 복원을 통한 운동감 생성 방법을 검증하기 위해, 영화의 한 장면과 유튜브(YouTube)에서 획득한 여러 사용자 촬영 영상에 대해, 제안한 운동감 생성 파이프라인을 적용하여 생성된 운동감을 분석한다.
그 결과, 본 연구에서 제안한 가속도 자동 복원 방법은 기존 자동 방법에 비해, 카메라 변위 추정치와 같이 입력 데이터가 non-stationary할 때, 더 정확한 가속도를 복원하였고, 데이터 길이가 짧을 때에 기존 방법에 비해 더 안정적인 특성을 보였다. 또한 제안한 운동감 생성 방법은, 지속(저주파) 가속도와 상세한(고주파) 가속도의 구분 없이, 비디오 영상에 맞는 6자유도의 운동감을 성공적으로 생성하였다. 운동감 생성에 소요되는 시간은 기존 수작업 방식에 비해 약 세 배 감소하였다.
