Deep learning models have recently shown outstanding performance in various tasks, but they require a large amount of datasets in the training process. However, labeling a dataset requires a large amoung of compuational cost and human resources. Among various research directions to deal with the problem of annotation, active learning, which selects informative data instances via acquisition function, has been proposed for an efficient resource utilization. Although active learning efficiently trains a model with a small amount of data, it is vulnerable to generalization issue due to the bias inherent in the selectively collected dataset. Therefore, this dissertation proposes a study on improving generalization ability of deep active learning by perturbing input space to find informative instances.
The first study applies data augmentation to perturb data space. In order to find informative data instances, we propose an acquisition function that looks ahead the future efficacy of data augmentation in advance, thereby increasing the efficacy of the virtual instances to be generated during training of the model. The study differentiate itself from the conventional pipelined combination of data augmentation and active learning by matching the goals of data augmentation and active learning. Furthermore, the study trains the augmentation policy with an objective of maximizing the acquisition score of active learning, so that we can maximize the informativeness of virtual data instances.
The second study perturbs parameter space and uses the sharpness of the loss function emitted by the model with the transformed parameters as a criterion for judging the informativeness of the data. It has been proven through various studies that the loss sharpness has a strong correlation with the generalization ability of the deep learning model. Therefore, this study acquires the data instances that have the maximum value of the loss sharpness, by measuring the maximally perturbed loss value with the perturbed parameter. The data collected in this way is the most detrimental to the model from the point of view of generalization, and it can be expected that the generalization ability of the model will be strengthened by including this data in training. However, it is inaccessible to calculate the maximally perturbed loss because the dataset that is given in active learning is unlabeled. Therefore, the study calculates the acquisition score, or the maximally perturbed loss, using the pseudo label which is predicted by the current model. Also, the proposed acquisition function conservatively evaluates in that the acquired function calculated in this way is the lower bound of the acquisition function calculated using the ground-truth label. Moreover, through theoretical analysis, the acquisition function proposed in the study is shown to include the recently proposed active learning methods.
Finally, by applying the two proposed studies to the vision-based tasks, which include object classification and object detection, this dissertation shows that the generalization performance is improved compared to the existing methodologies.
딥러닝 모델은 최근 다양한 분야에서 뛰어난 성능을 보이고 있지만, 학습 과정에서 대량의 데이터셋을 필요로 한다. 하지만 데이터셋에 라벨을 부여하는 작업은 많은 물적 및 인적 자원을 필요로 하고, 효율적인 자원 활용을 위한 방법으로 능동 학습이 개발되어왔다. 능동 학습은 획득 함수를 통해 데이터의 유용성을 판단하여 학습에 활용할 데이터를 선택적으로 수집하는데, 이렇게 수집된 데이터셋에 내재된 편향성으로 인해 일반화에 취약하다는 단점이 존재한다. 따라서, 본 학위논문은 입력 공간에 변형을 가했을 때 측정되는 데이터의 유용성을 획득함수로 활용함으로써, 일반화에 강건한 능동 학습 알고리즘을 제안한다.
첫 번째 연구는 데이터 공간에 변형을 가하기 위해 데이터 증강 기법을 적용한다. 유용한 데이터를 찾기 위해, 데이터 증강의 미래 효능을 미리 고려하는 획득 함수를 제안함으로써 획득 후 모델의 학습 시 생성될 가상의 데이터의 효능성을 증가시킨다. 이는 데이터 증강과 능동 학습의 결합함에 있어서 데이터 증강과 능동 학습의 목표를 일치시킴으로써 기존의 파이프라인 방식의 결합과 차별점을 가진다. 본 연구는 더 나아가 데이터 증강 기법을 학습 가능한 기법으로 제안하는데, 이를 위해 능동 학습의 획득 함수를 증가시키는 학습목표를 통해 증강 정책의 파라미터를 학습킴으로써, 가상의 데이터의 효능성을 최대한 증가시킨다.
두 번째 연구는 파라미터 공간에 변형을 가하고, 변형된 파라미터를 갖는 모델이 내보내는 손실 함수의 예리도를 데이터 유용성의 판단 기준으로 활용한다. 손실 함수 예리도는 모델의 일반화와 강한 연관성을 가지고 있음을 다양한 연구를 통해 증명되고 있다. 본 연구는 기존 모델 입장에서만 설명되어온 딥러닝 모델의 손실 예리성을 데이터 입장에 적용함으로써, 모델의 파라미터가 소량 변화할 때 손실 함수 값을 가장 크게 변화시키는 데이터를 획득한다. 이렇게 수집된 데이터는 일반화의 관점에서 모델에 가장 해가 되는 데이터로, 이러한 데이터를 학습에 포함시킴으로써 모델의 일반화 능력을 강화할 것이라 기대할 수 있다.한편 능동 학습의 틍성상 우리에게 주어진 데이터에는 라벨이 주어져 있지 않기 때문에, 획득 함수로서 손함수 값을 계산하는 것은 불가능하다. 이에 본 연구는 현재 모델이 예측하고 있는 의사 라벨을 활용하여 손실 함수값을 계산하고, 이렇게 계산한 획득 함수가 실제 라벨을 활용하여 계산한 획득 함수의 하한임을보임으로써 보수적으로 획득 함수의 점수를 측정함을 보인다. 더욱이, 이론적 분석을 통해 본 학위논문에서새롭게 제안한 획득 함수가 최근 제안된 방법론을들과 연관이 있음을 보인다.
본 학위 논문은 두 가지 제안된 연구를 이미지 기반 작업인 물체 분류 및 물체 탐지에 적용함으로써,기존 방법론들에 비해 성능을 향상시킴을 확인한다.
