Generative adversarial networks(GANs), which have received great attention, is formulated as a min-max problem, and developing an optimizer that can solve such problem efficiently is an important challenge. Therefore, this paper studies gradient-type algorithms for smooth convex-concave saddle point problems. The paper aims to find an algorithm that converges faster and analyzes convergence rates of an algorithm such as EG that solves a non-converging problem in the smooth convex-concave problem of GDA used for GANs. We study an inexact Halpern iteration using the restarting accelerated forward method(IHI-RAF), a variant of Kim's accelerated proximal point method with a restarting technique. We analyze the worst-case rates of the last iterate of existing methods such as EG and OGDA and compare the number of operators used to obtain an approximated solution with IHI-RAF. Our results using the performance estimation problem approach and potential function approach complements the existing analysis of the last iterate of EG that requires an additional Lipschitz derivative condition. Our numerical experiments illustrate that IHIRAF is faster than EG and OGDA for some smooth convex-concave problems.
최근 큰 주목을 받고 있는 적대적 생성 신경망은 최소-최대 문제의 형태를 가지며, 이러한 문제를 효율적으로 해결할 수 있는 최적화 알고리즘을 개발하는 것은 중요한 과제입니다. 따라서 본 논문은 매끄러운 볼록-오목 안정점 문제에 대한 기울기 유형의 알고리즘을 연구합니다. 본 논문은 적대적 생성 신경망에서 사용하는 경사 하강-상승 알고리즘의 매끄러운 볼록-오목 문제에서 비수렴 문제를 해결하는 추가 기울기 같은 알고리즘을 연구합니다. 또한 이런 알고리즘들의 수렴속도에 대한 이론적인 이해와 더 빠르게 수렴하는 알고리즘을 찾는 것을 목표로 합니다. 우리는 김 교수님의 가속 근위점 방법의 변형인 재시작 방법을 이용한 부정확한 가속 근위점 방법을 연구합니다. 재시작하는 가속 근위점 방법을 이용한 부정확한 할펀 반복의 수렴 속도를 연구하고 추가 기울기, 낙관적인 기울기와 같은 기존 방법의 마지막 반복에서 최악의 수렴속도를 분석하고, 근사 해를 가지는데 필요한 오퍼레이터를 사용한 횟수를 비교 할것입니다. 이러한 분석은 성능 측정 문제 접근 방식 및 잠재적 함수를 이용하는 방식을 통해 자코비안이 립시츠한 조건이 추가적으로 필요한 추가 기울기의 마지막 반복에 대한 기존 분석을 보완합니다. 우리가 제안한 알고리즘의 수치 실험은 매끄러운 볼록-오목 문제에 대해 추가 기울기, 낙관적인 기울기보다 빠르다는것을 보여줍니다.
