서지주요정보
MetaPerturb: transferable regularizer for heterogeneous tasks and architectures = 메타-펄터브: 다양한 태스크와 구조에 전이가능한 정규화 기법
서명 / 저자 MetaPerturb: transferable regularizer for heterogeneous tasks and architectures = 메타-펄터브: 다양한 태스크와 구조에 전이가능한 정규화 기법 / Jeong Un Ryoo.
발행사항 [대전 : 한국과학기술원, 2021].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8036985

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MCS 21017

휴대폰 전송

도서상태

이용가능(대출불가)

사유안내

반납예정일

리뷰정보

초록정보

Regularization and transfer learning are two popular techniques to enhance model generalization on unseen data, which is a fundamental problem of machine learning. Regularization techniques are versatile, as they are task- and architecture-agnostic, but they do not exploit a large amount of data available. Transfer learning methods learn to transfer knowledge from one domain to another, but may not generalize across tasks and architectures, and may introduce new training cost for adapting to the target task. To bridge the gap between the two, we propose a transferable perturbation, MetaPerturb, which is meta-learned to improve generalization performance on unseen data. MetaPerturb is implemented as a set-based lightweight network that is agnostic to the size and the order of the input, which is shared across the layers. Then, we propose a meta-learning framework, to jointly train the perturbation function over heterogeneous tasks in parallel. As MetaPerturb is a set-function trained over diverse distributions across layers and tasks, it can generalize to heterogeneous tasks and architectures. We validate the efficacy and generality of MetaPerturb trained on a specific source domain and architecture, by applying it to the training of diverse neural architectures on heterogeneous target datasets against various regularizers and fine-tuning. The results show that the networks trained with MetaPerturb significantly outperform the baselines on most of the tasks and architectures, with a negligible increase in the parameter size and no hyperparameters to tune.

정규화 기법과 트랜스퍼러닝은 머신러닝에서 모델의 일반화 성능을 높이기 위해 주로 사용되는 방법들 이다. 정규화 기법은 도메인과 네트워크 구조에 상관없이 사용될 수 있어 다재다능 하지만, 사용 가능한 많은 양의 데이터를 활용하지 못한다. 트랜스퍼러닝은 한 도메인에서 다른 도메인으로 지식을 전달하지만, 도메인과 네트워크 구조에 따라 일반화되어 사용되지 못합니다. 이러한 두 방법의 장점을 모두 활용하기 위해, 본 연구에서는 전이가능한 정규화 기법인 메타-펄터브를 제안하였다. 메타-펄터브는 셋 기반의 매우 가벼운 네트워크로 구성되어 있으며, 입력의 순서와 크기에 구애받지 않으며 네트워크 각 계층에 공유되어 사용된다. 또한 이를 효울[율]적으로 학습하기 위해 노이즈 함수를 여러 다른 종류의 태스크들 간에 병렬적으로 학습을 하는 새로운 메타러닝 프레임워크를 제안하였다. 다양한 네트워크 구조와 데이터를 활용한 실험을 통해 메타-펄터브가 파인튜닝과 다양한 정규화 기법들에 비해 더 뛰어난 일반화 성능을 보임을 실험적으로 입증하였다.

서지기타정보

서지기타정보
청구기호 {MCS 21017
형태사항 iii, 19 : 삽화 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 류정운
지도교수의 영문표기 : Sung Ju Hwang
지도교수의 한글표기 : 황성주
학위논문 학위논문(석사) - 한국과학기술원 : 전산학부,
서지주기 References : p. 15-17
QR CODE qr code