서지주요정보
Convergence analysis of the last iterate of gradient methods for smooth convex-concave saddle point problems = 매끄러운 볼록-오목 안정점 문제에 대한 기울기 방법의 마지막 반복의 수렴 분석
서명 / 저자 Convergence analysis of the last iterate of gradient methods for smooth convex-concave saddle point problems = 매끄러운 볼록-오목 안정점 문제에 대한 기울기 방법의 마지막 반복의 수렴 분석 / HeyonMin Lee.
발행사항 [대전 : 한국과학기술원, 2021].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8036886

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MMAS 21001

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

리뷰정보

초록정보

Generative adversarial networks(GANs), which have received great attention, is formulated as a min-max problem, and developing an optimizer that can solve such problem efficiently is an important challenge. Therefore, this paper studies gradient-type algorithms for smooth convex-concave saddle point problems. The paper aims to find an algorithm that converges faster and analyzes convergence rates of an algorithm such as EG that solves a non-converging problem in the smooth convex-concave problem of GDA used for GANs. We study an inexact Halpern iteration using the restarting accelerated forward method(IHI-RAF), a variant of Kim's accelerated proximal point method with a restarting technique. We analyze the worst-case rates of the last iterate of existing methods such as EG and OGDA and compare the number of operators used to obtain an approximated solution with IHI-RAF. Our results using the performance estimation problem approach and potential function approach complements the existing analysis of the last iterate of EG that requires an additional Lipschitz derivative condition. Our numerical experiments illustrate that IHIRAF is faster than EG and OGDA for some smooth convex-concave problems.

최근 큰 주목을 받고 있는 적대적 생성 신경망은 최소-최대 문제의 형태를 가지며, 이러한 문제를 효율적으로 해결할 수 있는 최적화 알고리즘을 개발하는 것은 중요한 과제입니다. 따라서 본 논문은 매끄러운 볼록-오목 안정점 문제에 대한 기울기 유형의 알고리즘을 연구합니다. 본 논문은 적대적 생성 신경망에서 사용하는 경사 하강-상승 알고리즘의 매끄러운 볼록-오목 문제에서 비수렴 문제를 해결하는 추가 기울기 같은 알고리즘을 연구합니다. 또한 이런 알고리즘들의 수렴속도에 대한 이론적인 이해와 더 빠르게 수렴하는 알고리즘을 찾는 것을 목표로 합니다. 우리는 김 교수님의 가속 근위점 방법의 변형인 재시작 방법을 이용한 부정확한 가속 근위점 방법을 연구합니다. 재시작하는 가속 근위점 방법을 이용한 부정확한 할펀 반복의 수렴 속도를 연구하고 추가 기울기, 낙관적인 기울기와 같은 기존 방법의 마지막 반복에서 최악의 수렴속도를 분석하고, 근사 해를 가지는데 필요한 오퍼레이터를 사용한 횟수를 비교 할것입니다. 이러한 분석은 성능 측정 문제 접근 방식 및 잠재적 함수를 이용하는 방식을 통해 자코비안이 립시츠한 조건이 추가적으로 필요한 추가 기울기의 마지막 반복에 대한 기존 분석을 보완합니다. 우리가 제안한 알고리즘의 수치 실험은 매끄러운 볼록-오목 문제에 대해 추가 기울기, 낙관적인 기울기보다 빠르다는것을 보여줍니다.

서지기타정보

서지기타정보
청구기호 {MMAS 21001
형태사항 iv, 25 p. : 삽화 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 이현민
지도교수의 영문표기 : Donghwan Kim
지도교수의 한글표기 : 김동환
Including Appendix
학위논문 학위논문(석사) - 한국과학기술원 : 수리과학과,
서지주기 References : p. 22-24
QR CODE qr code