Solving the classification problem, unbalanced number of dataset among the classes often causes performance degradation. Especially when some classes dominate the other classes with its large number of datasets, trained model shows low performance in identifying the dominated classes. This is common case when it comes to medical dataset. Because the case with a serious degree is not quite usual, there are imbalance in number of dataset between severe case and normal cases of diseases. Also, there is difficulty in precisely identifying grade of medical data because of vagueness between them. To solve these problems, we propose new architecture of convolutional neural network named Tournament based Ranking CNN which shows remarkable performance gain in identifying dominated classes while trading off very small accuracy loss in dominating classes. Our Approach complemented problems that occur when method of Ranking CNN that aggregates outputs of multiple binary neural network models is applied to medical data. By having tournament structure in aggregating method and using very deep pretrained binary models, our proposed model recorded 50% of accuracy in class 1 and 6 that have scarce number of images, while Ranking CNN failed to classify class 1 and 6 and multi label classification model pretrained Resnet recorded 12% and 50% for class 1 and 6. Except grade 3, our model recorded Equal or greater accuracy compared to Ranking CNN, CNN linear regression model and pretrained Resnet. As a result, our proposed method is applied efficiently to cataract grading which have ordinal labels with imbalanced number of data among classes, also can be applied further to medical problems which have similar features to cataract and similar dataset configuration.
인공지능을 통한 분류 문제를 해결함에 있어서 데이터 셋의 등급 간의 데이터 수의 불균형은 인공지능 모델 성능의 저하로 이어진다. 특히 한 등급의 데이터 수가 다른 등급을 압도할 경우 압도당한 등급의 분류성능은 크게 저하된다. 이러한 현상은 의료 데이터 셋에서 흔하게 일어나는데, 이는 심한 증상을 가진 환자의 수가 적음으로 인해 질병의 경과가 심한 환자로부터 데이터를 얻기 힘들기 때문이다. 또한 의료 데이터의 등급은 등급간의 경계가 모호하여 정확하게 구분하기가 힘들다. 이러한 문제를 해결하기 위하여 토너먼트 기반의 랭킹 컨볼루셔널 뉴럴 네트워크를 제안한다. 제안하는 방식은 기존의 랭킹 컨볼루셔널 네트워크를 이러한 데이터 셋에 적용하였을 때 발생하는 문제점을 보완한다. 랭킹 컨볼루셔널 네트워크는 여러 이진 뉴럴 네트워크들의 결과를 합산하여 순서를 가지는 등급을 예측하지만 이처럼 불균형한 데이터셋에 적용하였을 때, 소수의 등급은 전혀 구분하지 못하는 결과를 낳았다. 단순 합산이 아니라 토너먼트 구조를 취함으로써 소수의 등급의 정확도를 형상하여 가장 수가적은 1,6 등급에서 50%의 정확도를 내었고 12%와50% 의 정확도를 각각 낸 Resnet과 전혀 구별하지 못한 랭킹 컨볼루셔널 네트워크와 비교했을 때 주목할만한 성능 향상을 가져왔다. 또한 주류를 이루는 등급 3을 제외하고도 모든 등급에서 같거나 높은 성능을 보였다. 결과적으로 불균형하고 분류가 애매한 데이터 셋에 효과적으로 적용된 것을 확인하였으며 비슷한 특성을 가진 의료데이터 혹은 비 의료데이터에도 적용 가능할 것이라고 예측된다.
