Optical flow estimation is a task that estimates per pixel movement in images that comes temporally sequential. Optical flow estimation can measure the movement of objects in video, but it also works as a pretask of action recognition, frame interpolation, video super-resolution, and other various tasks. When it works as a component of other downstream tasks, there are limitations in GPU memory and inference speed. Recently, most of optical flow estimation algorithms are based on all pair cost volumes, which computes the cosine similarity of all feature pixels in two input images. This kind of algorithm can achieve surprisingly increased optical estimation performance, but it also requires a quadratic increase of memory and inference time with respect to its input resolution. In this paper, we estimate optical flow by using a multi-axis transformer and achieve comparable performance while using fewer resources such as GPU memory and inference time
광학 흐름 예측은 시간 축에 대해 순차적으로 입력되는 영상들에서 각 픽셀들이 다음 영상에서 어느 위치로 이동하는 지 예측하는 연구이다. 광학 흐름 예측은 연속된 영상에서 객체의 움직임을 분석하는 용도 자체로도 의미를 가지지만, 예측한 광학 흐름을 이용해 행동 인식, 프레임 보간, 비디오 초해상화 등 다양한 분야에 활용하기 위한 사전 작업으로 활용되기도 한다. 이렇게 광학 흐름 예측을 다른 네트워크와 복합적으로 사용하는 경우 필연적으로 GPU 메모리 사용량 혹은 실행 속도 측면에서 제한을 받게 된다. 최근 광학 흐름 예측 연구에서 가장 각광받고 있는 방법은 모든 픽셀 위치에 존재하는 피쳐들의 코사인 유사도, 즉 코스트 볼륨을 연산 및 저장하여 이를 재귀 네트워크에 통과시켜 광학 흐름을 구하는 방식인데, 해당 방법은 비약적으로 높은 성능을 달성했지만, 동시에 입력 영상 크기의 4제곱에 비례하는 연산량을 요구하여 메모리 및 실행 속도면에서 높은 사양을 요구한다. 본 연구에서는 광학 흐름 예측의 복잡도를 줄이기 위해 다중 축 트랜스포머 구조를 활용하는 방법을 제안한다.
