Cinemagraph is a sequence of still frames which one of the entities in the scene has small movements. The process of making cinemagraph from video has been studied extensively and there are many methods and commercial software available for this problem. However, there are very few research which address the problem of cinemagraph generation from one single static image. In addition, the manual process of generating cinemagraphs from one single static image is tedious and time-consuming. Therefore, automation of this process is necessary. In this research, we presented a novel method based on generative adversarial networks to automate the process of cinemagraph generation from single static image. Our method consists of a two-stage generator and a discriminator. The generator learns foreground, which contains the motion and a mask on how to combine the learned foreground with the input image as
the background. The discriminator is responsible for identifying the real data and fake data, which is produced by the generator. Our method achieves the results superior than the state-of-the-art.
시네마그라프는 장면의 작은 객체가 움직이는 정지 화면의 시퀀스를 의미한다. 비디오 인풋으로 시네마스라프를 만드는 연구는 매우 광범위하게 진행되어 왔고, 실제로 이를 위한 다양한 방법과 상용 소프트웨어가 존재한다. 하지만 움직임이 없는 한 장의 정지 이미지를 이용해 시네마그라프를 생성하는 문제는 지금까지 진행된 연구가 매우 적다. 게다가, 한 장의 정지 이미지를 이용해 손수 시네마그라프를 생성하는 것은 아티스트에게 지루하고 시간이 오래 걸리는 작업이다. 따라서 이러한 생성 과정의 자동화가 필요하다. 이 연구에서 우리는 생성적 적대 신경망을 기반으로 한 장의 정지 이미지에서 자동으로 시네마그라프를 생성하는 방법을 제안한다. 우리의 방법은 두 단계의 생성자와 식별자로 구성되어 있다. 생성자는 전경 객체의 움직임과 마스크를 이용해 움직이는 전경 객체와 배경의 인풋 이미지를 합성하는 방법을 학습한다. 식별자는 실제 데이터와 생성자가 만들어낸 가짜 데이터를 판별한다. 우리의 방법은 최신 연구들과 비교하여 우수한 결과를 얻음을 볼 수 있다.
