Sharpness-Aware Minimization (SAM) is an optimizer that takes a descent step based on the gradient at a perturbation $y_t = x_t + \rho \frac{\nabla f(x_t)}{\| \nabla f(x_t) \|}$ of the current point~$x_t$. Existing studies prove convergence of SAM for smooth functions, but they do so by assuming decaying perturbation size $\rho$ and/or no gradient normalization in $y_t$, which is detached from practice. To address this gap, we study deterministic/stochastic versions of SAM with practical configurations (i.e., constant $\rho$ and gradient normalization in $y_t$) and explore their convergence properties on smooth functions with (non)convexity assumptions. Perhaps surprisingly, in many scenarios, we find out that SAM has \emph{limited} capability to converge to global minima or stationary points. For smooth strongly convex functions, we show that while deterministic SAM enjoys tight global convergence rates of $\tilde \Theta(\frac{1}{T^2})$, the convergence bound of stochastic SAM suffers an \emph{inevitable} additive term $\mathcal O(\rho^2)$, indicating convergence only up to \emph{neighborhoods} of optima. In fact, such $\mathcal O(\rho^2)$ factors arise for stochastic SAM in all the settings we consider, and also for deterministic SAM in nonconvex cases; importantly, we prove by examples that such terms are \emph{unavoidable}. Our results highlight vastly different characteristics of SAM with vs.\ without decaying perturbation size or gradient normalization, and suggest that the intuitions gained from one version may not apply to the other.
첨예도 감지 최소화(SAM)는 현재 위치 $x_t$에서의 기울기를 활용하여 변동점 $y_t = x_t + \rho \frac{\nabla f(x_t)}{\| \nabla f(x_t) \|}$에서 하강하는 최적화 방법이다. 기존 연구는 SAM이 부드러운 함수에서 수렴함을 입증했지만, 이는 감소하는 변동 크기 $\rho$나 $y_t$에서의 기울기 정규화가 없는 가정을 기용하여, 현실과 차이가 있다. 이에 따라, 본 논문은 상수 $\rho$ 및 $y_t$에서의 기울기 정규화를 고려한 SAM의 결정론적/확률적 버전을 연구하고, 부드러운 (비)볼록 함수에 대한 수렴 특성을 조사한다. 놀랍게도, 많은 시나리오에서 SAM의 전역 최솟값이나 정지점에 수렴하는 능력은 \emph{제한적}이다. 부드럽고 강력한 볼록 함수의 경우, 결정론적 SAM은 $\tilde \Theta(\frac{1}{T^2})$의 수렴률을 보이는 반면, 확률적 SAM의 수렴 한계는 $\mathcal O(\rho^2)$의 \emph{불가피한} 추가 항을 가지며, 이는 최적점의 \emph{이웃}까지만 수렴함을 나타낸다. 실제로, 본 논문이 고려하는 모든 설정에서 확률적 SAM의 수렴 한계에는 $\mathcal O(\rho^2)$의 항이 나타나며, 결정론적 SAM의 경우 비볼록 함수에서 $\mathcal O(\rho^2)$의 항이 나타난다. 본 논문은 이러한 항이 불가피함을 예시로 입증한다. 이러한 결과는 감소하는 변형 크기의 SAM, 혹은 기울기 정규화가 없는 SAM과 실제환경에서의 SAM이 크게 다른 특성을 가짐을 강조하며, 한 버전에서 얻은 직관이 다른 버전에 적용되지 않을 수 있음을 시사한다.
