With the advance in user-friendly and powerful video editing tools, anyone can easily manipulate videos without leaving prominent visual traces. Frame-rate up-conversion, a representative temporal-domain operation, increases the motion continuity of videos with a lower frame-rate and is used by malicious counterfeiters in video tampering such as generating fake frame-rate video without improving the quality or mixing temporally spliced videos. Frame-rate conversion is based on frame interpolation schemes and subtle artifacts that remain in interpolated frames are often difficult to distinguish. Hence, detecting such forgery traces is a critical issue in video forensics. This paper proposes a frame-rate conversion detection network (FCDNet) that learns forensic features caused by frame-rate conversion in an end-to-end fashion. The proposed network uses a stack of consecutive frames as the input and effectively learns interpolation artifacts using network blocks to learn spatiotemporal features. This study is the first attempt to apply a neural network to the detection of frame-rate conversion. Moreover, it can cover the following three types of frame interpolation schemes: nearest neighbor interpolation, bilinear interpolation, and motion-compensated interpolation. In contrast to existing methods that exploit all frames to verify integrity, the proposed approach achieves a high detection speed because it observes only six frames to test its authenticity. Extensive experiments were conducted with conventional forensic methods and neural networks for video forensic tasks to validate our research. The proposed network achieved state-of-the-art performance in terms of detecting the interpolated artifacts of frame-rate conversion. The experimental results also demonstrate that our trained model is robust for an unseen dataset, unlearned frame-rate, and unlearned quality factor. Furthermore, FCDNet can precisely localize the tampered region applied to manipulation along the time-domain through temporal localization.
정교하고 간편한 비디오 편집 도구들의 발전으로 인해 누구나 쉽게 시각적인 흔적을 남기지 않고 비디오를 위조할 수 있게 되었다. 비디오 프레임율 변환은 시간축 정보를 대상으로 수행되는 대표적인 비디오 조작 연산 중 하나이다. 프레임율 변환은 여러가지 비디오 조작 중에서 비디오 속도 조절 및 비디오 클립 합성이 이루어질 때 주로 발생하게 된다. 이러한 위변조된 비디오들은 정치적, 법률적, 사회적 등 다양한 분야에서 많은 문제를 일으키고 있으며, 이러한 조작된 비디오 콘텐츠로 인해 발생하는 다양한 사회 문제를 해결하기 위한 비디오 포렌식 기술의 필요성에 대한 관심이 최근들어 증가하고 있다. 본 논문에서는 종단간 학습이 가능한 합성곱 신경망 기반의 프레임율 변형 탐지 기법(FCDNet)을 제안한다. 제안하는 비디오 포렌식 기술은 최근린 보간법, 이중선형 보간법, 움직임 보상 보간법과 같은 다양한 프레임 보간 방식을 통해 생성된 프레임율이 변형된 비디오를 효과적으로 탐지할 수 있다. 제안하는 네트워크의 탐지 성능을 확보하기 위해, 위에서 언급된 세종류의 프레임 보간 방식에 대한 분석을 수행함으로써 네트워크에 제공되는 입력 데이터의 형태를 결정하였다. 그리고, 제안하는 네트워크에 프레임율 변형으로 인해 발생하는 시공간 특징을 효과적으로 학습하는 능력을 부여하기 위해 네가지 종류로 구성된 비디오 포렌식에 적합한 네트워크 블록을 설계하였다. 또한, 추가적인 탐지 성능의 향상을 위해 주어진 하나의 비디오로 부터 복수의 비디오 클립의 입력 데이터를 추출하여 클립 비디오 데이터 별 탐지를 수행하고, 이를 종합하여 최종 예측(분류) 결과를 결정하는 다수결 앙상블 방법을 제안한다. 제안하는 방식의 우수성을 검증하기 위해 다양한 데이터베이스 및 최신 탐지 기법들을 활용한 실험이 수행되었으며, 해당 실험에서 제안하는 네트워크는 보다 뛰어난 탐지 성능을 달성하였다. 또한, 기존의 고전적인 기법들과 비교하였을 때, 제안하는 프레임율 변형 탐지 기법은 비디오의 공간 및 시간 영역의 일부 데이터만을 활용 및 분석한 후 프레임율 변형 탐지가 가능하기 때문에 보다 안정적이고 높은 성능을 유지하면서 빠른 판별 속도를 갖는다. 그리고 실환경에 효과적으로 적용할 수 있도록 제안하는 기법이 학습에 사용하지 않은 다향한 화질, 프레임율, 비트율 관련 인코딩 파라미터 등에 대해 어느정도의 강인성을 갖는지 검증하는 실험을 수행하였고, 시간적 영역에 대한 특정화 과정을 실험을 통해 검증하였다. 향후 프레임율 상향 변환 뿐만 아니라 프레임율 하향 변환에 대한 변형 탐지 연구를 추가적으로 진행할 예정이다.
