A temporal point process is a stochastic process that predicts which type of events is likely to happen and when the event will occur given a history of a sequence of events. There are various examples of occurrence dynamics in the daily life, and it is important to train the temporal dynamics and solve two different prediction problems, time and type predictions. Especially, deep neural network based models have outperformed the statistical models, such as Hawkes processes and Poisson processes. However, many existing approaches overfit to specific events, instead of learning and predicting various event types. Therefore, such approaches could not cope with the modified relationships between events and fail to predict the intensity functions of temporal point processes very well. In this paper, to solve these problems, we propose a variational neural temporal point process (VNTPP). We introduce the inference and the generative networks, and train a distribution of latent variable to deal with stochastic property on deep neural network. The intensity functions are computed using the distribution of latent variable so that we can predict event types and the arrival times of the events more accurately. We empirically demonstrate that our model can generalize the representations of various event types. Moreover, we show quantitatively and qualitatively that our model outperforms other deep neural network based models and statistical processes on synthetic and real-world datasets.
시계열 포인트 프로세스는 확률 과정 중 하나로, 과거 사건들의 발생 시간과 사건의 종류들이 주어졌을 때, 다음 사건이 언제 발생하고 어떤 사건이 발생할 지 예측하는 모델이다. 특히, 신경망을 이용한 모델의 성능이 기존의 통계적 모델링 방법인 호크스 프로세스와 포아송 프로세스보다 뛰어난 성능을 보여준다. 그러나 기존의 대다수 방법들은 다양한 사건의 종류를 예측하기 보다는 몇몇 사건에 과적합되는 문제가 발생한다. 따라서 이러한 기존의 방법들은 사건 간에 달라지는 관계에 잘 대처하지 못하고 시계열 포인트 프로세스의 강도 함수를 예측하는데 어려움이 있다. 이 논문에서는 이러한 문제를 해결하기 위해 변분 추론 기반의 시계열 포인트 프로세스를 제안한다. 추론 네트워크와 생성 네트워크를 도입하여 은닉 변수의 분포를 학습함으로써 신경망에서 확률적 특성을 다룰 수 있게 된다. 강도 함수는 학습된 은닉 변수를 이용해 계산되고, 이를 이용해 사건의 종류와 발생 시간을 좀 더 정확하게 예측할 수 있다. 이 논문에서는 제안한 방법이 다양한 사건의 표현을 일반화할 수 있다는 사실을 실험적으로 보였다. 더 나아가 제안한 방법이 다른 신경망 모델과 통계적 프로세스보다 더 좋은 성능을 보인다는 사실을 합성 데이터셋과 실제 데이터셋에서 정성, 정량적으로 입증하였다.
