When training a model, the most important things are the amount and quality of data. However, it is not always possible to obtain a large amount of data in real life. In addition, data is often not well labeled. For example, in the medical field, doctors determine the part of a patient's disease through meetings with various doctors to determine the part of the disease. Ordinary people cannot easily label medical images. In addition, when analyzing the enemy, tank and weapon information of the enemy is confidential, so it is difficult to label what kind of weapon it is and expert help is essential. In this case, labeling is very expensive and active learning, which selects data that is helpful for learning, is a very important field. In general, active learning research has been conducted focusing on uncertainty within the range that humans can predict. However, there may be important information for labeling, so additional research is needed using a network-based discriminator for active learning.
In this paper, we have developed a structure that extracts the necessary information for labeling using mutual information and cycle consistency without damaging the original information. We experimentally showed that mutual information and image reconstruction loss converged well, and as a result, the accuracy was higher in CIFAR 10 compared to the existing algorithm(VAAL). The accuracy was also shown to quickly increase in the KAIST-Army dataset. If this algorithm is applied to the expensively labeled medical or defense fields, it can quickly find data that is informative for classification and label it, enabling models with low accuracy that could not be used to solve actual problems quickly to be used for solving actual problems in the medical or defense fields where data labeling is expensive.
모델을 학습할 때 가장 중요한 것은 데이터의 양과 품질이다. 하지만 실생활에서 모든 데이터를 항상 많은 양을 구할 수는 없다. 또한 데이터에 대해 라벨링이 잘 되어있는 경우는 흔하지 않다. 예를 들어 의료 분야에서 환자의 병이 있는 부분을 의사가 정할 때 다양한 의사와 함께 회의를 통해 병의 부위를 정한다. 일반인들은 쉽게 어떤 의료 사진에 대해 라벨링을 할 수가 없다. 또한 적군을 분석할 때 적군의 탱크 정보나 무기 정보는 기밀이기 때문에 쉽게 어떤 무기인지 라벨링을 할 수가 없고 전문가의 도움이 꼭 필요하다. 이런 경우 라벨링은 아주 비싸지고 학습에 도움이 되는 데이터를 선별하는 능동 학습은 아주 중요한 분야다. 보통 능동학습 분야에서는 인간이 예측할 수 있는 범위 내의 불확실성을 중심으로 연구가 진행되어 왔다. 그러나 그 외에 라벨링을 위한 중요한 정보가 있을 수 있으므로 네트워크 기반 판별기를 이용한 능동 학습은 추가 연구가 필요하다.
본 논문에서는 원래 정보를 손상시키지 않고 상호 정보와 주기 일관성을 활용하여 라벨링에 꼭 필요한 정보를 추출하는 구조를 만들었다. 상호 정보와 그림 재건 손실이 잘 수렴되는 것을 실험적으로 보여주었으며, 그 결과 정확도가 기존 알고리즘(VAAL)에 비해 CIFAR 10에서 더 높게 나타났다. 정확도는 표준화된 데이터 세트뿐만 아니라 KAIST-육군 데이터 세트에서도 빠르게 증가하는 것으로 나타났다. 데이터 라벨링이 비싼 의료나 국방 분야에 이 알고리즘을 적용하면 분류기에 도움이 되는 데이터를 빠르게 찾은 후 라벨링하여 정확도가 낮아 사용하지 못했던 모델들을 신속하게 실제 문제를 해결하는데 사용할 수 있다.
