Learning with few labeled tabular samples is often an essential requirement for industrial machine learning applications as varieties of tabular data suffer from high annotation costs or have difficulties in collecting new samples for novel tasks. Despite the utter importance, such a problem is quite under-explored in the field of tabular learning, and existing few-shot learning schemes from other domains are not straightforward to apply, mainly due to the heterogeneous characteristics of tabular data. In this paper, we propose a simple yet effective framework for few-shot semi-supervised tabular learning, coined Self- generated Tasks from UNlabeled Tables (STUNT). Our key idea is to self-generate diverse few-shot tasks by treating randomly chosen columns as a target label. We then employ a meta-learning scheme to learn generalizable knowledge with the constructed tasks. Moreover, we introduce an unsupervised validation scheme for hyperparameter search (and early stopping) by generating a pseudo-validation set using STUNT from unlabeled data. Our experimental results demonstrate that our simple framework brings significant performance gain under various tabular few-shot learning benchmarks, compared to prior semi- and self-supervised baselines.
레이블이 지정된 표 형식 데이터가 거의 없는 학습은 산업에서의 기계 학습 적용에서 필수 요건인 경우가 많다. 이는표형식데이터는레이블을구하는비용이많이들거나새로운작업을위한새로운데이터를 수집하는 데 어려움을 겪기 때문이다. 이러한 중요성에도 불구하고 표 형식 데이터 학습 분야에서는 레이블 이 지정된 데이터가 거의 없는 문제가 충분히 연구되지 않았으며, 다른 데이터 형식에서 기존에 연구되었던 학습 방식은 표 형식 데이터의 이질적인 특성으로 인해 적용하기가 쉽지 않다. 이 논문에서는 간단하면서도 효과적인 표 형식 데이터에서의 극단적 준지도 학습 방법론을 제안한다. 이 방법론의 핵심 아이디어는 무 작위로 선택된 열을 정답 레이블로 간주하여 메타학습을 위한 다양한 작업을 자체 생성하는 것이다. 그런 다음 메타학습하여 구성된 작업으로 일반화 가능한 지식을 학습한다. 또한 레이블이 없는 데이터에서 제안 한 방법론을 사용하여 의사 검증 집합을 생성함으로써 초매개변수 검색 및 조기 중지를 위한 비지도 검증 체계를 도입한다. 실험 결과에 따르면, 제안하는 간단한 방법론이 다양한 표 형식 데이터의 극단적 준지도 학습 벤치마크에서 기존 자기지도 및 준지도 학습 방법론에 비해 상당한 성능 향상을 가져다주는 것으로 나타났다.
