n this thesis, we propose a novel stochastic multiple pooling method which is to randomly selecting the pool-ing operations in each pooling region based on predefined probabilities during training time. In conventional neural networks, the pooling operation in each layer is manually decided by users through cross-validation. In addition, convolutional neural networks suffer from overfitting, which is to excessively fit the models to the training examples. Therefore, it causes generalization performance to decline. The proposed method solves the above two problems by adding a stochastic concept to pooling layers. The existing pooling strategy is that one pooling operation is applied to each pooling layer and the pooling operation is determined through sever-al training trials to find the best combination of the pooling operations. Our proposed pooling method does not select one pooling operation in each layer. We are randomly selecting one pooling operation among mul-tiple pooling operations in each pooling region for training. It can be seen as a technique of approximately averaging many networks using a different pooling operation at each pooling region. Our pooling strategy reduces the number of training trails to find the best pooling operation in each pooling layer as well as im-proves generalization performance through the stochastic procedure during training. In addition, our method can be combined with other regularization techniques, and can achieve the better performance.
The experimental results show that the proposed method can achieve the reduction of training trials and the better generalization performance on three benchmark datasets: CIFAR-10, CIFAR-100, SVHN. Our proposed method achieves 0.61% and 0.58% classification rate improvement compared to the best existing method for CIFAR-10 and CIFAR-100 datasets. Consequently, our proposed stochastic multiple pooling method is simple but effective for regularization, and can be easily combined with other regularization meth-ods. It can also reduce the number of training trials.
본 논문에서는 학습기간 동안 각 풀링(Pooling) 영역에서 임의로 풀링 연산을 선택하는 새로운 풀링 방법을 제안한다. 기존의 컨볼루션 신경망(CNNs: Convolutional neural networks)에서는 교차 검증(Cross-validation)을 통해 각 계층에서의 풀링 연산이 수동적으로 정해졌다. 게다가 컨볼루션 신경망은 학습데이터에 과도하게 맞추는 과 적합 문제를 가지고 있다. 이것은 성능 저하를 야기한다. 제안된 방법은 풀링 계층에 확률적인 개념을 도입함으로써 위의 두 가지 문제를 해결한다. 기존의 풀링 전략은 각 풀링 계층에서 하나의 풀링 연산이 적용되며, 이는 최고의 풀링 연산의 조합을 찾기 위해 여러 번의 학습 시도를 통해 풀링 연산을 결정한다. 하지만, 제안된 방법은 각 계층에서 하나의 풀링 연산을 선택하지 않는다. 학습기간 동안 각 풀링 영역에서 여러 풀링 연산 중 하나를 임의로 선택한다. 이것은 각 풀링 영역에서 다른 풀링 연산을 사용하는 다양한 구조를 대략적으로 평균을 취하는 것으로 볼 수 있다. 제안된 풀링 전략은 최고의 풀링 연산을 찾기 위한 학습 횟수를 줄일 수 있을 뿐 아니라 일반화 성능을 향상 시킨다. 게다가 다른 정규화(Regularization) 방법과 결합 가능 하며, 더 좋은 성능을 낼 수 있다.
실험 결과를 통해, 제안된 방법은 학습 시도 횟수의 감소와 일반화 성능 향상을 이루었다. 제안된 방법은 기존의 최고 성능을 내는 방법보다, CIFAR-10, CIFAR-100 데이터에서 0.61%, 0.58%의 성능 향상을 이루었다. 결론적으로, 확률적 복합 풀링(Stochastic multiple pooling)은 정규화에 있어서 매우 간단하고 효율적인 방법이며, 다른 정규화 방법과 쉽게 결합 가능하며, 학습 시도 횟수를 줄일 수 있다.
