The recent success of brain-inspired deep neural networks (DNNs) in solving complex, high-level visual tasks has led to rising expectations for their potential to match the human visual system. However, DNNs exhibit idiosyncrasies that suggest their visual representation and processing might be substantially different from human vision. One limitation of DNNs is that they are vulnerable to adversarial examples, input images on which subtle, carefully designed noises are added to fool a machine classifier. The robustness of the human visual system against adversarial examples is potentially of great importance as it could uncover a key mechanistic feature that machine vision is yet to incorporate. In this study, we compare the visual representations of white- and black-box adversarial examples in DNNs and humans by leveraging functional magnetic resonance imaging (fMRI). We find a significant difference in representation patterns for different types of adversarial examples for both humans and DNNs. However, human performance on categorical judgment is not degraded by noise regardless of the type unlike DNN. These results suggest that adversarial examples may be differentially represented in the human visual system, but unable to affect the perceptual experience.
최근 뇌의 영향을 받아 개발된 심층신경망의 복잡하고 높은 단계의 시각 과제에 대한 성공은 심층신경망 구조가 사람의 시각 시스템과 일치할 가능성에 대한 기대를 높인다. 그러나 심층신경망은 인간의 시각과 다른 방식으로 표현과 처리를 수행할 수 있음을 시사하는 특이성을 보인다. 심층신경망의 한계 중 하나는 기계 분류자를 속이기 위해 미세하고 신중하게 설계된 노이즈를 추가한 입력인 적대적 예제에 취약하다는 것이다. 적대적 예제에 대한 인간 시각 시스템의 견고성은 기계 시각 시스템이 아직 갖추고 있지 않은 핵심적인 기능적 특징을 밝힐 수 있기 때문에 잠재적으로 매우 중요하다. 본 논문에서는 기능성 자기공명영상을 이용하여 심층신경망과 인간 뇌에서 적대적 예제의 시각 표상을 비교한다. 실험 결과, 인간과 심층신경망은 모두 다양한 유형의 적대적 이미지에 대한 표현 패턴에서 유의미한 차이를 보인다. 그러나 잡음 유형에 관계없이 사람의 분류 판단력은 심층신경망과 달리 저하되지 않는다. 이러한 결과는 적대적 예제가 인간 시각 시스템에서 다르게 표현될 수 있지만 지각 경험에는 영향을 미칠 수 없음을 시사한다.
