Self-supervised learning, a form of unsupervised learning, allows for the better utilization of unlabelled data by setting the learning objective to learn from the internal cues. In self-supervised learning, a pretext can be formulated by using the unlabeled data. The network while solving these pretext tasks learns a useful feature representation. This learned feature representation carries rich semantic and structural meaning which can be used in downstream tasks such as classification, object detection, segmentation, and anomaly detection. While classification, object detection, and segmentation have been investigated with self-supervised learning, anomaly detection needs more attention. We
consider the problem of anomaly detection in images and videos, and present a new visual anomaly detection technique for videos. Numerous seminal and state-of-the-art self-supervised methods are evaluated for anomaly detection on a variety of image datasets which include CIFAR-10, CIFAR-100, fashion-MNIST, and ImageNet. Overall best performing image-based self-supervision method is also used in video anomaly detection to see the importance of spatial features. We then propose a new self-supervision approach for learning temporal coherence across video frames without the use of any optical flow information. At its core, our method identifies the frame indices of a jumbled video sequence allowing it to learn the spatiotemporal features of the video. This intuitive approach shows superior performance of visual anomaly detection compared to numerous methods for images and videos on UCF101 and ILSVRC2015 video datasets.
본 논문에서는 자기지도 시각적 표현 학습을 이용하여 정적 영상과 동영상을 위한 이상 감지 방법을 조사한다. 이제까지 정적 영상과 동영상의 자기지도 시각적 표현 학습을 위한 여러 pretask text가 제안되었으나, 아직 이상 감지라는 하위 과제에 대해서는 평가 된 적이 없다. 우리는 colorization, split-brain autoencoders, counting visual primitives, inpainting, 회전 예측, 조각 퍼즐 해결 등 기존의 여러 이상 감지를 위한 자기지도 학습 방식에 대해 광범위한 실험을 수행하여 결과를 비교하였다. 자기지도 시각적 표현 학습을 이용한 이상 감지 방법은 CIFAR-10, CIFAR-100,fasion-MNIST, ImageNet 등 4가지 표준 정적 영상 데이터 셋에서 성능이 향상됨을 확인하였다. 우리는 동영상의 시각적 이상 감지 를 위해 새로운 프레임 순열 예측 작업을 제안했고, 제안된 방식이 UCF101과 ILSVRC2015 라는 두 개의 동영상 데이터 셋에서 최신의 여러 자기지도 표현 학습 방법에 비해 더 향상 된 시공간적인 특징을 학습할 수 있음을 확인하였다. 또한 우리는 우리가 제안한 방식을 제외한다면, RotNet이 모든 동영상 기반의 자기지도 방식의 이상 감지 방법보다 성능이 우수하다는 점에 주목한다.
