This thesis considers a query strategy in active learning referred to as blending query strategy to gain robustness to data imbalance in a classification task. Balancing between variance and bias of the estimated decision boundary at each step of the active learning framework requires a strategy to sample the most difficult data samples as well as preferential selection of samples in the minority class. To achieve this feat, a multi-armed bandit is incorporated in blending the following two strategies: (1) the uncertainty sampling selecting the most uncertain samples and (2) the minority preferential query strategy selecting the most informative minority class samples. Blending of the two strategies at each iteration is conducted based on a probability defined as a function of validation error and sample uncertainty. The uncertainty of a sample is measured by the Bayesian Active Learning by Disagreement (BALD) which requires evaluation of sample entropy. Here the entropy is obtained using a Bayesian deep neural network. Experimental results on binary data sets(HIVA, ZEBRA, Spambase) as well as multi-class data set(MNIST) show that the performance of the proposed blending query strategy outperform other state-of-the-art algorithms such as Intra-Class Clustering (ICC), and Co-selecting algorithm. Also, various aspects are studied for the extension of the proposed algorithm.
이 논문에서는 불균형 데이터셋의 분류 문제를 다루었다. 불균형 데이터셋의 분류의 경우, 소수 클래스의 데이터셋의 분류의 정확도가 낮은 문제가 있다. 데이터셋의 불균형 정도가 커질수록 decision boundary의 분산이 점점 커지기 때문에 정확한 분류를 하는데 문제가 생기는 것이다. 이러한 문제를 해결하기 위하여 일반적으로 불균형 클래스에 속하는 데이터의 수를 증가시킴으로써 데이터의 클래스별 균형을 맞추는 방법을 선택한다. 하지만 이러한 경우 decision boundary의 분산은 줄어들지만 트레이닝 데이터셋과 테스트 데이터셋의 분포가 달라져 부정확한 분류를 하게 되는 샘플링 바이어스가 발생하게 된다. 특히 이러한 불균형 데이터셋의 분류 문제는 매 스텝마다 라벨이 있는 데이터셋의 집합이 변하는 액티브 러닝에 있어서 굉장히 빈번하게 발생할 수 있는 중요한 문제라고 할 수 있다. 이 논문은 액티브 러닝의 프레임워크에서 불균형 데이터셋의 분류문제를 해결하기 위해서 multi-armed bandit algorithm을 이용하여 소수 클래스의 데이터셋을 증가시키는 정도를 조절하는 새로운 쿼리 전략을 제안하였다. 제안한 쿼리 전략은 다양한 불균형 데이터셋에 적용하였을 때 모두 기존의 불균형 데이터셋 분류 방법에 비해 좋은 성능을 보여주었다.
