In Time Series Classification (TSC), in order to address the issue of losing temporal information caused by global pooling, temporal pooling methods that consider sequential information have been proposed. However, we found that each temporal pooling has a distinct mechanism, and can perform better depending on time series data. In this paper, we propose a novel temporal pooling method with diverse perspective learning: Select over Multiple Temporal Pooling (SoM-TP). SoM-TP dynamically selects the optimal temporal pooling among multiple methods for each data by attention. The dynamic pooling selection is motivated by the ensemble concept of Multiple Choice Learning (MCL) which selects the best among multiple outputs. To achieve non-iterative optimization, we define a perspective loss. The loss works as a regularizer to reflect all the pooling perspectives. Our massive case study using Layer-wise Relevance Propagation (LRP) reveals the limitation of a single perspective that each temporal pooling has, and ultimately demonstrates the necessity of diverse perspectives achieved by SoM-TP. Extensive experiments are done with the UCR/UEA repository and large datasets.
시계열 분류(TSC)에서는 global pooling이 시간적 정보를 잃는 문제를 해결하기 위해, 연속적인 정보를 고려하는 temporal pooling 방법들이 제안되었다. 그러나 각각의 temporal pooling은 고유한 메커니즘을 가지고 있으며, 시계열 데이터 특성에 따라 성능이 달라질 수 있다. 본 논문에서는 다양한 관점 학습을 위한 새로운 temporal pooling 방법인 선택적 시계열 풀링 방법론(SoM-TP)을 제안한다. SoM-TP는 데이터마다 다중 pooling 방법 중에서 최적의 temporal pooling을 attention을 통해 동적으로 선택한다. 이 동적 풀링 선택은 다중 출력 중에서 최적을 선택을 하는 Multiple Choice Learning (MCL)의 앙상블 개념에서 영감을 받았다. 비반복적인 최적화를 달성하기 위해, 우리는 ``관점 손실 (perspective loss)"을 정의한다. 이 손실은 모든 pooling 관점을 반영하기 위한 정규화 역할을 수행한다. 본 연구는 Layer-wise Relevance Propagation (LRP)를 사용한 대규모 사례 연구를 통해 각 temporal pooling이 가지는 단일 관점의 한계를 드러내고, SoM-TP에 의해 달성되는 다양한 관점의 필요성을 근본적으로 입증하였다. 실험은 UCR/UEA 저장소와 대규모 데이터셋을 활용하여 광범위하게 수행되었다.
