Event cameras are novel sensors with advantageous capabilities, leading to spurring interests in event camera research. However, these cameras interpret the world in an entirely different manner; as a collection of events called event streams, which renders most computer vision algorithms ineffective. Despite the camera's unique data output, many event feature detection and tracking algorithms have shown significant progress by making detours to frame-based data representations. This paper questions the need to do so, and proposes a solution using the raw events for feature detection and tracking. Our methods, event Clustering-based Detection and Tracking (eCDT) and its variant (eCDT$^+$), cluster adjacent polarity events to retrieve event trajectories. By noticing the geometric relationship that opposing polarity events act as barriers separating unique feature clusters, we devise a clustering approach that can robustly obtain equal polarity event tracks. The clustering approach called k-NN Classifier-based Spatial Clustering and Applications with Noise (KCSCAN) takes inspiration from density-based spatial clustering of applications with noise (DBSCAN) and k-nearest neighbor (k-NN) classifier. Therefore, eCDT, contrary to other feature detection and tracking, utilizes an approach that is original to event data. We additionally propose a descriptor for event clusters that are used in eCDT$^+$ to find reappearing cluster tracks, elongating the feature tracking. Thanks to our clustering approach in spatio-temporal space, our method automatically solves the problem of finding good features to track or finding good trackers for a detector, by performing two tasks with one method. Also, eCDT can extract feature tracks at any frequency with an adjustable time window. Our method achieves better feature tracking ages compared to the state-of-the-art approaches while having a low error approximately equal to those of state-of-the-art approaches. Therefore, we prove that raw events are enough to implement feature detection and tracking.
이 논문에서는 새로운 형식의 카메라인 이벤트 카메라에서 특징점을 추출하고 추적하는 방법에 대해 다루었다. 이벤트 카메라는 기존의 카메라와 다른 방식으로 작동하는 카메라로서 프레임 기반의 컴퓨터 비젼 알고리즘을 직접 적용할 수 없다. 하지만 이벤트를 쌓는 등의 프레임 기반의 형태로 변환하는 과정을 거쳐서 특징점 추출과 추적을 하는 방법들이 많이 동원되었다. 이 논문에서는 기존 방식과 다르게 이벤트를 정제하지 않고 직접 사용하여 특징점을 추출하고 추적하는 알고리즘을 제안한다. eCDT와 eCDT$^+$는 근접한 동일 극성 이벤트를 클러스터링하여 클러스터의 궤적을 알아낸다. 두 극성의 이벤트가 서로 다른 클러스터를 분리하는 장벽으로 작용하는 기하학적 관계에 주목함으로써 특징점을 추출하고 추적할 수 있는 방법을 고안했다. 이 방식은 KCSCAN이라고 불리며 밀도 기반 클러스터링의 DBSCAN과 k-NN 최근접 이웃 분류기의 두 방식에서 영감을 받았다. 따라서 eCDT는 다른 알고리즘과 달리 이벤트 데이터에 고유한 접근 방법인 것이다. eCDT$^+$은 클러스터의 기술자를 생성하여 클러스터 트랙이 끊긴 상황에서 같은 특징점을 찾아서 클러스터를 이어서 추적을 가능하게 한다. 시공간에서 클러스터링 접근 방식 덕분에 특징점 추출과 추적의 두 가지 작업이 자동으로 한 번에 해결된다. 또한 time window를 조정함으로써 클러스터의 특징점을 필요한 주파수에 맞게 추출할 수 있다. eCDT$^+$을 통해서 기존 최신 접근 방식보다 더 오랫동안 특징점을 추적하는 것이 가능하다. 따라서 이벤트 데이터를 추가로 가공하지 않고도 특징점 추출과 추적이 가능하다는 것을 증명했다.
