Time series forecasting plays a pivotal role in various domains such as energy management, meteorology, and financial markets. While irregularly sampled time series data, characterized by non-uniform intervals, is prevalent in practical applications, existing research has pursued separate directions for regular and irregular time series forecasting. Regular-time-series-forecasting models predominantly employ transformer architectures, while irregular time series analysis relies on recurrent models like RNN-based models and more recently neural-differential-equation-based models. Given the challenges posed by irregular time series, we propose NCDE-PE, a method leveraging neural controlled differential equations for encoding temporal information. This approach is complemented by a positional embedding technique based on Controlled Differential Equations (CDEs), aiming to bridge the gap between regular and irregular time series forecasting models. Challenges in learning embeddings from irregularity are addressed, considering asynchronous measurements and irregular time gaps. Additionally, the necessity for effective positional embeddings in irregular time series forecasting is explored, emphasizing the learning of recurrent properties. Our contributions include the introduction of NCDE-PE as a novel positional embedding method, effectively representing positional information and learning recurrence to enhance forecasting accuracy. The proposed method outperforms existing techniques across various irregularly-sampled time series datasets, showcasing its enhanced efficacy.
시계열 예측은 에너지 관리, 기상학 및 금융 시장과 같은 다양한 분야에서 중요한 역할을 한다. 이때 비정형 간격으로 특징 지어진 불규칙한 샘플링된 시계열 데이터는 실세상에서 흔히 발생하지만, 기존 연구는 규칙적인 시계열과 불규칙한 시계열 예측에 대해 별개의 방향을 추구했다. 정규 시계열 예측 모델은 주로 트랜스포머 아키텍처를 사용하고, 불규칙 시계열 분석은 RNN 기반 모델 및 더 최근에는 신경-미분 방정식 기반 모델과 같은 순환 모델을 이용해왔다. 불규칙 시계열이 주는 여러 어려움에 대응하여 우리는 NCDE-PE라는 방법을 제안한다. 이 방법은 신경 제어 미분 방정식을 활용하여 시간 정보를 인코딩한다. 또한 이 방법은 제어된 미분 방정식(CDEs)을 기반으로 한 위치 임베딩 기술을 포함하며, 이는 정규 및 불규칙 시계열 예측 모델 간의 차이를 해결해준다. 비정형성 시계열로 부터 임베딩을 학습하여 비동기 측정 및 비정형적인 시간 간격을 모두 고려한 위치 임베딩을 학습한다. 또한 불규칙 시계열 예측에서 효과적인 위치 임베딩이 가져야할 속성을 탐구하며, 재귀적인 속성의 학습을 강조합니다. 이 논문은 새로운 위치 임베딩 방법으로서의 NCDE-PE를 도입하여 위치 정보를 효과적으로 나타낼 뿐만 아니라, 재귀적인 특성을 학습하여 예측 정확성을 향상시킨다. 이 방법은 다양한 비정형 샘플링된 시계열 데이터셋에서 기존 기법을 능가하여 그 향상된 효과를 보여준다.
