Deep Learning typically learns the parameters of neural network models using large amounts of data of a given task. However, in recent years, researchers conducted a study to improve the performance of multi-task learning problems based on a small amount of data. Among them, optimization-based meta-learning is a method of learning parameters of new tasks using optimization-based fine-tuning from learned initial parameters. However, there is a lack of an analytic approach that considers the correlation between tasks from the perspective of game theory. In this study, we propose a task-specific optimization problem using joint constraints. We then present the generalized Nash equilibrium between tasks using the variational equilibrium and present a new meta-learning algorithm. Finally, in the simulations, the performance of the proposed model is compared with the existing optimization-based meta-learning model by the sinusoidal regression problem.
심층 학습은 일반적으로 많은 양의 데이터를 사용하여 인공 신경망 모델의 파라미터를 학습하고 주어진 태스크에 대한 모델의 성능을 높인다. 하지만 근래에는 적은 양의 데이터를 기반으로 하는 다중 태스크 문제에 대한 성능을 높이는 연구가 활발히 진행되고 있다. 그중 최적화 기반 메타 학습은 새로운 태스크의 파라미터를 학습된 초기 파라미터로부터 최적화 기반 파인 튜닝을 사용해 학습하는 방식이다. 그러나 지금까지 연구된 최적화 기반 메타 학습 알고리즘 중 초기 파라미터 학습 과정에서 학습에 사용하는 태스크 간 상관관계를 게임 이론적 관점으로 분석한 연구가 부족하다. 따라서 본 연구에서는 최적화 문제를 공동 제약 조건을 사용하여 제시했다. 그리고 제시한 문제에서 태스크 간 일반화된 내쉬 균형을 변동 균형을 이용하여 표현하고 이를 활용한 새로운 메타 학습 알고리즘을 제시했다. 시뮬레이션 연구에서는 사인파 회귀 분석 문제를 활용하여 제안한 모델의 성능을 기존 최적화 기반 메타 학습 모델과 비교했다.
