Recently, deep learning has seen extensive research across various fields, leveraging large datasets with labels. However, the efficiency of deep learning models based on large datasets diminishes when labeled data is scarce or absent. Consequently, there is a need for research on effective learning strategies to train deep learning models in data scarcity environments successfully. This study classifies data scarcity environments into semi-supervised, few-shot, and zero-shot learning. Appropriate learning schemes and network structures are proposed for each scenario to train deep learning models effectively in these environments. Given the potential occurrence of data scarcity in various domains, this research focuses on data imputation and object detection problems. In semi-supervised learning, a learning strategy called Random Drop Imputation with Self-training (RDIS) is proposed to address the issue of missing values in time-series data. RDIS aims to efficiently utilize missing data in time series and enhance the performance of missing value generation. The study explores the incremental few-shot object detection problem in the few-shot learning environment and introduces the incremental Two-stage Fine-Tuning Approach (iTFA). iTFA presents specialized learning schemes and network structures for the incremental few-shot object detection problem, demonstrating improved performance. Lastly, the study concentrates on the open-vocabulary object detection task in the zero-shot learning environment. Language-Aware RPN for Open-vocabulary Object Detection (LADet) is proposed to enhance object detection performance in a zero-shot environment, integrating RPN and a visual-language model. This comprehensive research contributes to advancing training strategies and network structures for AI models in diverse data scarcity environments.
최근, 딥러닝은 레이블이 존재하는 매우 큰 데이터셋을 활용하여 다양한 분야에서 많은 연구가 진행되었다. 하지만 레이블이 있는 데이터가 소수만 존재하거나 없으면 큰 데이터셋을 기반으로 하는 딥러닝 모델의 효율성이 감소한다. 결과적으로, 데이터가 부족한 환경에서 딥러닝 모델을 성공적으로 학습 시킬 수 있는 학습 전략에 대한 연구가 필요하다. 본 연구는 데이터 부족 환경을 준지도 학습, 퓨샷 학습, 제로샷 학습으로 분류하였다. 이러한 환경에서 딥러닝 모델을 정상적으로 학습시키기 위해 각 환경에 알맞은 학습전략과 딥러닝 모델의 네트워크 구조를 제안한다. 다양한 분야에서 데이터 부족 환경이 발생할 수 있기 때문에 본 연구에서는 데이터 대체와 객체 감지 문제에 집중하였다. 첫번째, 반지도 학습에서는 시계열 데이터의 결측값 예측 문제를 해결하기 위해 RDIS(Random Drop Imputation with Self-training)라는 학습전략을 제안한다. RDIS는 시계열에서 누락된 데이터를 효율적으로 사용하고 결측값 생성 성능을 향상시키는 것을 목표로 한다. 퓨샷 학습 환경에서는 증분 퓨샷 객체 감지 문제를 탐색하고 incremental Two-stage Fine-Tuning Approach (iTFA)를 제안한다. iTFA는 iFSD 문제에 특화된 학습 전략과 네트워크 구조를 제안하여 향상된 성능을 보여주었다. 마지막으로, 제로샷 학습 환경에서의 객체 감지 과제인 open-vocabulary object detection에 집중하였다. 제로샷 환경에서 객체 감지 성능 향상을 위해 RPN과 시각 언어 모델을 통합한 LADet을 제안하였다. 이러한 포괄적인 연구는 다양한 데이터 부족 환경에서 AI 모델을 위한 훈련 전략 및 네트워크 구조를 발전시키는 데 기여하였다.
