Although recent multi-task learning methods have shown to be effective in improving the generalization of deep neural networks, they should be used with caution for safety-critical applications, such as clinical risk prediction. This is because even if they achieve improved task-average performance, they may still yield degraded performance on individual tasks, which may be critical (e.g., prediction of mortality risk). Existing asymmetric multi-task learning methods tackle this \emph{negative transfer} problem by performing knowledge transfer from tasks with low loss to tasks with high loss. However, using loss as a measure of reliability is risky since low loss could be a result of overfitting. In the case of time-series prediction tasks, knowledge learned for one task (e.g., predicting the sepsis onset) at a specific timestep may be useful for learning another task (e.g., prediction of mortality) at a later timestep, but lack of loss at each timestep makes it difficult to measure the reliability at each timestep. To capture such dynamically changing asymmetric relationships between tasks in time-series data, we propose a novel temporal asymmetric multi-task learning model that performs knowledge transfer from certain tasks/timesteps to relevant uncertain tasks, based on the feature-level uncertainty. We validate our model on multiple clinical risk prediction tasks against various deep learning models for time-series prediction, which our model significantly outperforms without any sign of negative transfer. Further qualitative analysis of learned knowledge graphs by clinicians shows that they are helpful in analyzing the predictions of the model.
최근의 다중 태스크 학습방법이 심층신경망의 일반화를 개선하는 데 효과가 있는 것으로 나타났지만, 임상 위험 예측 등 안전이 필수적인 응용에는 주의하여 사용해야 한다. 전체 태스크의 성능 평균값이 개선되었다고 하더라도 개별 태스크에서 성능 저하가 발생할 수 있고 이는 환자 사망 예측과 같은 경우에 중요하게 작용하기 때문이다. 기존의 비대칭 다중 태스킹 학습방법은 손실 값이 작은 업무에서 손실 값이 큰 태스크로 지식 전달을 수행함으로써 이 부정 전이 문제를 해결한다. 그러나 낮은 손실 값은 오버피팅의 결과일 수 있어, 신뢰성의 척도로 손실을 사용하는 것은 위험하다. 시계열 예측 과제의 경우, 특정 시간 단계에서 한 과제에 대해 학습한 지식 (예: 패혈증 발생 예측)은 이후 시간 단계에서 다른 과제 (예: 사망 예측)를 학습하는 데 유용할 수 있지만, 각 시간 단계에서 손실 값을 얻을 수 없기 떄문에 각 시간에 대한 신뢰 정도를 측정하기가 어렵다. 이처럼 시계열 데이터 상에서 역동적으로 변화하는 태스크들 간의 비대칭적 관계를 포착하기 위해, 피쳐 수준의 불확실성에 기초하여 특정 과제/시간에서 불확실한 과제로의 지식 전수를 수행하는 새로운 시간적 비대칭 다중 태스크 학습 모델을 제안한다. 우리 모델은 시계열 예측을 위한 다양한 딥러닝 모델에서 여러 임상 위험 예측 태스크에 대해서 검증되었다. 이 모델은 부정 전이에 대한 징후 없이 우수한 성능을 보인다. 더불어, 임상의가 학습한 지식 그래프의 정성 분석을 진행하였고, 이는 이들이 모델 예측을 분석하는 데 도움이 된다는 것을 보여준다.
