Dropout is a technique widely used for preventing overfitting while training deep neural networks. However, applying dropout to a deep neural network typically increases the training time. This paper proposes a different dropout approach called controlled dropout that improves training speed by dropping units in a column-wise or row-wise manner on the matrices. In controlled dropout, a network is trained using compressed matrices of smaller size, which results in notable improvement of training speed. In the experiment on feed-forward neural networks for MNIST data set and convolutional neural networks for CIFAR-10 and SVHN data sets, our proposed method achieves faster training speed than conventional methods both on CPU and GPU, while exhibiting the same generalization as conventional dropout. Moreover, the improvement of training speed increases when the number of fully-connected layers increases. As the training process of neural network is an iterative process comprising forward propagation and backpropagation, speed improvement using controlled dropout would provide a significantly decreased training time.
드롭아웃은 심층 신경망을 학습하는 과정에서 발생하는 과적합 문제를 방지하기 위해 널리쓰이는 기술 중 하나이다. 하지만, 드롭아웃을 사용하게 되면 심층 신경망의 학습 시간을 증가시킨다는 단점이 있다. 본 논문에서는 이러한 기존 드롭아웃의 문제점을 개선시키기 위해, 제어된 드롭아웃이라고 불리는 새로운 방법을 제안한다. 제어된 드롭아웃은 심층 신경망 행렬의 유닛들을 행 혹은 열 기준으로 제거하여 축소된 행렬을 형성하고, 이를 이용하여 심층 신경망을 학습함으로써 학습 속도를 개선시킨다. 전방 전달 신경망(FFNN) 그리고 합성곱 신경망(CNN)을 이용하여 MNIST, CIFAR-10 그리고 SVHN 데이터셋을 학습시킨 실험을 통해, 제어된 드롭아웃 방법은 기존의 드롭아웃 방법과 동일한 수준의 일반화를 보여줌과 동시에 CPU 그리고 GPU 상에서 모두 더욱 빠른 학습 속도를 보여주었다. 또한, 심층 신경망에서 제어된 드롭아웃이 적용된 완전 연결 레이어의 개수가 늘어날수록 학습 속도 향상률도 증가하였다. 심층신경망의 학습과정은 전방향 전파 그리고 역전파 과정의 반복이기 때문에, 제어된 드롭아웃을 사용한 학습 속도의 향상은 매우 큰 학습 시간을 절약할 수 있다는 의미를 가진다.
