서지주요정보
FaceSyncNet : a deep learning-based approach for non-linear synchronization of facial performance videos = 얼굴 표정 연기 비디오의 비선형 동기화를 위한 심층 학습 기반 접근법
서명 / 저자 FaceSyncNet : a deep learning-based approach for non-linear synchronization of facial performance videos = 얼굴 표정 연기 비디오의 비선형 동기화를 위한 심층 학습 기반 접근법 / Yoonjae Cho.
저자명 Cho, Yoonjae ; 조윤재
발행사항 [대전 : 한국과학기술원, 2020].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8035866

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MGCT 20013

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

리뷰정보

초록정보

Given a pair of facial performance videos, we present a deep learning-based approach that can automatically return a synchronized version of these videos. Traditional methods require precise facial landmark tracking and/or clean audio, and thus are sensitive to tracking inaccuracies and audio noise. To alleviate these issues, our approach leverages large-scale video datasets along with their associated audio tracks and trains a deep learning network to learn the audio descriptors of video frames. We then use these descriptors to compute the similarity between video frames in a cost matrix and compute a low-cost non-linear synchronization path. Both quantitative and qualitative evaluations have shown that our approach outperforms existing state-of-the-art methods.

주어진 한 쌍의 얼굴 표정연기 비디오에 대해 우리는 자동으로 동기화된 버전의 비디오를 만드는 딥러닝 접근법을 제안한다. 이전의 방법들은 얼굴의 랜드마크를 정밀하게 추적하고, 깨끗한 오디오 환경을 필요로 하기 때문에 추적의 정확성과 오디오 노이즈에 민감하다. 이러한 문제를 해결하기 위해 우리는 대용량의 비디오셋과 그에 해당하는 오디오를 활용하여 비디오 프레임의 오디오 설명자를 딥러닝을 통해 학습한다. 그리고 이 설명자를 사용하여 비디오 프레임간의 유사성을 나타내는 비용 행렬과 최소비용 비선형 동기화 경로를 계산한다. 정량적 평가와 정성적 평가를 통해 우리의 접근법이 존재하는 다른 방법들보다 뛰어남을 보여주었다.

서지기타정보

서지기타정보
청구기호 {MGCT 20013
형태사항 iii, 23 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 조윤재
지도교수의 영문표기 : Sung-Hee Lee
지도교수의 한글표기 : 이성희
학위논문 학위논문(석사) - 한국과학기술원 : 문화기술대학원,
서지주기 References : p. 19-21
주제 Video synchronization
Deep learning
Facial performance video
Audio visual information
비디오 동기화
딥러닝
얼굴 표정 연기 비디오
음성-시각 정보
QR CODE qr code