Motion Transfer Model animates an image by capturing motion from a driving video. In most motion transfer models, unsupervised learning is commonly employed, which neglects the consideration of segment information in the images and results in motion estimation without segment awareness. This negatively impacts each module of the motion transfer model and ultimately affects the quality of the generated videos. In this paper, we analyze the impact on each motion transfer module when segment information is not taken into account and propose \emph{Segment-Aware Notion Transfer Model} that utilizes segmentation maps for motion transfer. We validate our approach on benchmark dataset and observe improvements in the image quality of the genereated video, both on quantitatively and qualitatively.
움직임 전이 모델은 소스 사진과 타겟 영상이 있을 때, 타겟 영상의 움직임을 소스 사진에 전이하는 모델이다. 대부분의 방식은 비지도적 학습을 사용하지만 이로 인해 사진의 분활 정보가 부재한 상태로 움직임 전이가 이루어진다. 이는 움직임 전이 모델을 구성하는 각 부분마다 부정적인 영향을 끼치게 되고, 최종적으로 결과물에서까지 좋지 않은 영향을 준다. 본 논문에서는 사진 분활 정보를 고려하지 않을 때에 생기는 영향을 심층적으로 분석하고 사진 분활 정보를 활용해 움직임 전이를 수행하는 모델을 제안하고자 한다. 우리는 제안된 방식이 벤츠마크 데이터셋 실험과 정성적, 정량적 평가를 통해 생성된 영상의 품질 개선을 이루어내는 것을 보여준다.
