Neural Processes (NPs) consider a task as a function realized from a stochastic process and flexibly adapt to unseen tasks through inference on functions. However, naive NPs can model data from only a single stochastic process and are designed to infer each task independently. Since many real-world data represent a set of correlated tasks from multiple sources (e.g., multiple attributes and multi-sensor data), it is beneficial to infer them jointly and exploit the underlying correlation to improve the predictive performance. To this end, we propose Multi-Task Neural Processes (MTNPs), an extension of NPs designed to jointly infer tasks realized from multiple stochastic processes. We build MTNPs in a hierarchical way such that inter-task correlation is considered by conditioning all per-task latent variables on a single global latent variable. In addition, we further design our MTNPs so that they can address multi-task settings with incomplete data (i.e., not all tasks share the same set of input points), which has high practical demands in various applications. Experiments demonstrate that MTNPs can successfully model multiple tasks jointly by discovering and exploiting their correlations in various real-world data such as time series of weather attributes and pixel-aligned visual modalities.
뉴럴 프로세스는 태스크를 확률과정으로부터 실제화된 하나의 함수로 간주하여 새로운 태스크에 유연하게 적응할 수 있는 학습 기법이다. 기존의 뉴럴 프로세스 기법은 하나의 확률과정을 이용하여 각 태스크를 독립적으로 추론하였으나, 실세계의 데이터는 서로 연관된 여러 태스크로 구성된 경우가 많기 때문에 이들 사이의 상관관계를 사용하여 함께 추론하는 것이 예측 성능을 높이는 데 도움 된다. 따라서 본 논문에서는 뉴럴 프로세스를 확장하여 여러 확률과정으로부터 실제화된 태스크들을 함께 추론하는 다중 태스크 뉴럴 프로세스 기법을 제시한다. 다중 태스크 뉴럴 프로세스는 모든 태스크별 숨은 변수가 하나의 전역 숨은 변수에 조건화된 계층적 구조로 설계되어 태스크 간 상관관계를 다루도록 한다. 또한, 모든 태스크가 공통된 입력 점들을 공유하지 않는 불완전한 데이터를 다룰 수 있도록 설계하여, 다양한 응용 분야에서 실용성을 높인다. 실험에서는 우리 방법을 적용하였을 때 기상 특성들의 시계열이나 픽셀 단위로 정렬된 시각 양상들 등의 다양한 실세계 다중 태스크 데이터에서 태스크들의 상관관계를 발견 및 사용하여 여러 태스크를 함께 모델링할 수 있음을 검증한다.
