This study is concerned with deep neural networks that is robust to an unstructured environment. Deep neural networks show higher classification performance than human in test data having a distribution similar to that of training data, but significantly lower classification performance than human in an unstructured environment. For example, the deep neural networks classify test images having a distribution similar to that of training images, but does not classify the same image well in environment with snow or noise. In contrast, human can recognize objects robustly even in an unstructured environment using surround modulation function in their visual perception system. In this study, we propose Trainable Surround Modulation that applies the surround modulation function to deep neural network based on end-to-end learning. Trainable Surround Modulation is trained based on training data and has a surround modulation function so that it can classify the images well in an unstructured and changing environment. Trainable Surround Modulation is trained on ImageNet, and the performance of the module is evaluated on ImageNet-C, which reflects an unstructured environment as the test data. Experimental results show that the proposed Trainable Surround Modulation accurately performs image classification in an unstructured environment.
본 연구는 비정형 환경에 강인한 deep neural network 구조를 다룬다. Deep neural network는 학습 데이터와 유사한 분포를 가지고 있는 테스트 데이터에서는 사람보다 높은 인식 성능을 보여주지만, 비정형 환경에서는 인식 성능이 크게 떨어진다. 예를 들면, deep neural network은 학습 이미지와 유사한 분포를 가지고 있는 테스트 이미지는 잘 인식하지만, 같은 이미지를 눈이 오거나, 노이즈가 포함된 환경에서는 잘 인식하지 못한다. 그와 달리, 사람은 시각 인지 시스템에 surround modulation이라는 기능이 있어서 비정형 환경에서도 물체를 강인하게 인식할 수 있다. 본 연구에서는 사람의 surround modulation 기능을 end-to-end 학습 기반으로 deep neural network에 적용한 Trainable Surround Modulation을 제안한다. Trainable Surround Modulation은 학습 데이터에 최적화해서 학습하고 surround modulation 기능이 있어서 비정형화되고 변화하는 환경에서 물체를 잘 인식할 수 있다. 학습 데이터로 ImageNet을 사용하고 테스트 데이터로 비정형 환경을 반영하는 ImageNet-C를 사용해서 deep neural network의 강인함을 평가하였다. 실험 결과, 제안한 Trainable Surround Modulation을 사용해서 deep neural network가 비정형 환경에서 강인하게 이미지를 인식하는 것을 확인했다.
