Deep learning models have made predicting sleep stages from polysomnography records as accurate as sleep technicians. However, these black-box classi cation models are seldom used in practice because the risk of having a wrong prediction is high. We aim to help clinicians understand when to trust the model's predictions and when to manually correct them by providing reliable con dence values to the predictions of the sleep staging model. We use the state-of-the-art TinySleepNet architecture to train our classi cation model and adapt the Con dNet architecture to train an auxiliary con dence model that will provide con dence values to the predictions of the classi cation model. We train the con dence model with our proposed Dropout Correct Rate (DCR) loss using a raw, single EEG channel in the PSG records from the public SHHS dataset and the local clinical records from SNUBH. Removing 20% of the input data with the least con dence values, rovided by our DCR-trained con dence model, improves the accuracy from 77% to 84%, F1-score from 0.79 to 0.86, and Cohen's kappa from 0.72 to 0.81 of the classi cation model. As the rst study to introduce con dence estimation in PSG-based automated sleep staging models, we demonstrate that providing con dence values to the predictions of the classi cation model improves both the accuracy and the interpretability of the model. With our proposed method, we make automated sleep staging systems not only fast and ecient but also reliable and usable in practice.
최근 수면 의학 및 딥러닝에 대한 관심이 커지면서 딥러닝을 적용하여 수면 단계를 추정하는 연구들이 많이 제안되어 왔다. 이러한 연구에서 제안되는 딥러닝 모델은 평균적으로 수면 기사가 직접 수면 단계를 예측하는 것과 가까운 성능을 보이고 있다. 그러나 딥러닝 모델은 내부 기저를 알 수 없는 블랙박스 모델이기에 예측이 잘못될 위험으로 인해 임상환경에서는 거의 활용되고 있지 않다. 본 연구에서는 수면 단계 예측 모델의 신뢰도 값을 제공하여, 모델을 신뢰할 수 있는지에 대한 여부와 모델의 예측을 수정해야하는 경우를 알 수 있도록 한다. 수면단계 분류 모델의 선행 연구 중에서 좋은 성능을 보인 TinySleepNet 아키텍처를 분류 모델로 사용하고, ConfidNet이라 불리는 별도의 모델을 훈련하여 신뢰도를 추정한다. 또한 Dropout Correct Rate (DCR) 이라 불리는 confidence metric 을 제안하였으며, 기존 confidence metric 보다 성능이 더 향상됨을 공공 SHHS 데이터와 SNUBH의 로컬 임상 데이터를 이용하여 실험적으로 검증하였다.
본 연구는 PSG 기반 자동 수면 단계 추정 모델에서 신뢰도 추정을 도입한 첫 번째 연구로서, 분류 모델의 예측에 신뢰도 값을 제공하는 것이 모델의 정확성과 해석성을 모두 향상시킨다는 것을 입증하였다.
