Convolutional Neural Networks (CNN) has been used to identify medically significant regions and objects in Whole Slide Images (WSI). Existing CNN-based studies for WSI classification showed high performance, but did not carefully consider uncertainties. Therefore, to support the accurate and efficient decision-making of pathologists, this dissertation defines and classifies uncertain situations that occur in the patch-based WSI classification process, and proposes a framework that includes methods for controlling uncertain situations.
The first study focuses on how to train patch-level classifiers because patch-level predictions are used as an input for slide-level classification. The first study proposes a method to train a CNN model that classifies patches split from a WSI, considering the characteristics of histopathology images and uncertainties. The proposed method in the first study generates and uses a new sub-training dataset, which consists of mixed-patches and their new ground-truth labels, for every single mini-batch. Mixed-patches are generated using small size clean patches that have been confirmed by pathologists and their ground-truth labels are defined using a proportion-based soft labeling method. Our results obtained using a large histopathological image dataset show that the proposed method alleviates overconfidence more effectively, and performs better, than other state-of-the-art competing methods.
The second study proposes a WSI classification framework consisting of solution methods for uncertain situations. To alleviate uncertain situations in the framework, we applied appropriate methods, namely noise filtering, data augmentation using mixed images, priority-based label smoothing, and a novel CNN-based slide level classification method using a feature cube. Our results show that the proposed framework control uncertain situations more effectively and performs better than other state-of-the-art competing methods on a large histopathological WSI dataset.
Overall, we believe that the proposed framework will play an important role, especially in the medical domain, where uncertainty in prediction should be considered. Also, we expected that the proposed framework could be used to support accurate and efficient decision-making of pathologists.
컨볼루션 뉴럴 네트워크는 조직 슬라이드 이미지에서 의학적으로 중요한 영역과 개체를 식별하는데 사용되어 왔다. 기존 컨볼루션 뉴럴 네트워크 활용한 조직 슬라이드 분류 연구는 높은 성능을 보여 왔으나, 활용 과정에서 발생하는 불확실성을 고려한 연구는 미흡하다. 따라서, 본 연구는 컨볼루션 뉴럴 네트워크 기반 조직 슬라이드 이미지 분류 과정에서 발생하는 불확실한 상황을 정의 및 분류하고 이를 보완할 수 있는 방법을 제시하며, 최종적으로 보완 방법을 모두 적용한 프레임워크를 제안한다.
첫 번째 연구는 패치 기반 슬라이드 분류 연구의 주요 구성요소인 패치 분류기를 병리 이미지의 특성 및 불확실성을 동시에 고려한 딥러닝 학습 방법을 제안한다. 패치 수준 분류기의 성능은 전체 조직 슬라이드 분류 성능에 기초가 되므로, 본 연구는 패치 수준 분류기를 학습시키는 방법에 대해서 우선적으로 고려하였다. 첫 번째 연구에서 제시하는 방법은 이미지 조합을 통해 이미지와 레이블을 새롭게 생성하여 이를 패치 분류 모델 학습에 사용한다. 조합된 새로운 이미지는 작은 크기의 명확한 패치를 사용하여 생성되며, 그 실제 레이블은 비율 기반 소프트 레이블링 방법을 사용하여 정의된다. 첫 번째 연구를 통해 학습된 패치 수준 분류 모델은 기존 방식에 비해 높은 정확도를 보여줬으며, 예측 불확실성 또한 적절하게 표현하여 딥 러닝의 과신문제를 완화시키는 효과를 보였다.
두 번째 연구는 조직 슬라이드 분류 과정에서 발생할 수 있는 불확실한 상황을 완화시키는 방법을 적용한 딥 러닝 기반 조직 슬라이드 분류 프레임워크를 제안한다. 본 연구는 프레임워크의 불확실한 상황을 완화하기 위해 노이즈 필터링, 혼합 이미지를 사용한 데이터 확대, 우선 순위 기반 소프트 레이블링, 피처 큐브 기반 CNN 기반 슬라이드 수준 분류 방법을 적용한다. 두 번째 연구에서 제안한 프레임워크은 기존 방식에 비해 높은 정확도를 보여줬으며, 예측 불확실성 또한 적절하게 표현하였다. 추가적으로, 명확한 케이스에 대한 분류를 진행하는 방법을 적용하여, 명확한 케이스에 대해서는 정확하게 예측하였다.
본 연구는 불확실성의 고려가 필요한 의료 도메인의 딥러닝 연구에서 중요한 역할을 할 것으로 기대한다. 또한, 본 연구에 제시하는 방법 및 프레임워크는 실제 의료 병리 슬라이드 분류에 사용되어 병리학자의 정확하고 효율적인 의사결정을 지원하기 할 것으로 기대된다.
