The expressive power of neural networks is critical for understanding the empirical success of deep learning. In this thesis, we study the expressive power of deep and narrow networks as a dual of classical results for shallow and wide networks. First, we study the universal approximation property of deep and narrow networks. In particular, we provide the first exact characterization on the minimum width of ReLU networks required for the universal approximation. Second, we study the memorization power of deep and narrow networks. In particular, we aim to characterize the necessary number of parameters for memorizing $N$ data. We show that $O(N^{\frac23})$ parameters are sufficient for deep and narrow ReLU networks to memorize $N$ data, while $\Omega(N)$ parameters are necessary for shallow and wide counterparts. We believe that our results provide new insight into the expressive power theory of deep and narrow networks.
최근 심층신경망이 좋은 성능을 나타내며, 인공신경망의 표현 능력이 주목받고 있다. 기존 표현 능력 연구들이 주로 얕고 넓은 인공신경망에서 이루어졌던 것과 반대로, 이 연구에선 깊고 좁은 인공신경망의 표현 능력을 다룬다. 첫 번째 연구는 깊고 좁은 인공신경망의 일반 근사 이론을 다룬다. 특히, 이 연구에선 일반 근사 이론이 성립하기 위한 최소 너비를 처음으로 정확하게 특정한다. 두 번째 연구는 깊고 좁은 인공신경망의 암기 능력을 다룬다. 특히 $N$개의 데이터를 암기하기 위해서 몇 개의 매개변수가 필요한지 특정하는 것을 목표로 한다. $N$개의 데이터를 암기하기 위해서 얕고 넓은 인공신경망이 $\Omega(N)$개의 매개변수를 필요로 하는 것과 달리, 이 연구에선 깊고 넓은 인공신경망의 경우 $O(N^{\frac23})$개의 매개변수만으로 암기를 할 수 있다는 것을 증명한다. 이 연구는 깊고 좁은 인공신경망을 분석하는 새로운 증명방법을 소개하고, 인공신경망의 이론적 분석에 대한 새로운 방향을 제시한다.