It has been recently observed that probabilistic ideas could be useful in deep learning. For instance, stochastic gradient descent (SGD) enables a deep neural network to learn a task efficiently, and dropout prevents co-adaptation of neurons through random subnetworks. Despite their wide adoption, our understanding of their role in high dimensional parameter spaces is limited. In this dissertation, we analyze SGD from a geometrical perspective by inspecting the stochasticity of the norms and directions of minibatch gradients. We claim that the directional uniformity of minibatch gradients increases over the course of SGD. Furthermore, we formulate that dropout regularizes learning to minimize the deviation from the origin and that the strength of regularization adapts along the optimization trajectory. Inspired by this theoretical analysis of dropout, we propose a new regularization technique "mixout" useful in transfer learning. Mixout greatly improves both finetuning stability and average performance of pretrained large-scale language models. In the case of training from scratch, we introduce a variant of mixout preventing generator forgetting to avoid mode collapse in GANs.
확률적 방법론은 심층 학습에서 유용하게 사용되고 있다. 예를 들어 확률적 경사하강법은 심층 신경망이 학습 데이터를 효율적으로 배울 수 있게 해주며, 드롭아웃은 신경망의 과적합을 방지함으로써 성능을 끌어올린다. 하지만 심층 신경망의 고차원 모수 공간에서 확률적 경사하강법과 드롭아웃이 가지는 역할을 이론적으로 분석한 연구는 아직까지 부족하다. 본 연구자는 미니배치 확률적 경사하강법을 미니배치 경사의 노름과 방향을 이용하여 기하학적으로 분석하고, 확률적 경사하강법이 미니배치 경사의 방향을 균일하게 퍼뜨린다는 것을 보인다. 그뿐만 아니라 드롭아웃이 모수가 원점에서 멀어지지 않게 하는 정규화 효과를 주며, 정규화 강도가 최적화 경로에 따라 변한다는 것을 보인다. 이 결과를 바탕으로 전이 학습에서 유용한 새로운 정규화 방식 "믹스아웃"을 제안한다. 믹스아웃은 사전 훈련된 대규모 언어 모형의 미세조정 안정성과 평균 성능을 크게 향상시킨다. 또한 믹스아웃을 처음부터 학습하는 경우에 맞게 수정함으로써 생산적 적대 신경망의 학습에서 일어나는 모드 붕괴 현상을 방지할 수 있다.
