Humans can perceive not only a real face but also an illusory face, a process called face pareidolia. The previous works have suggested that face pareidolia is occurred in primates because of face-detection mechanism. However, previous studies have produced results based on what is happening in the primate brain, making it a little difficult to know whether there was a brain feedback loop or cognitive effect, rather than just a face detection mechanism. To bridge this gap, the study used modern convolutional neural networks (CNNs), a computer model known as deep neural networks, one of the computer models similar to the human visual system. In this paper, we first observed facial pareidolia in the CNNs. To explore the differences in the internal processing representations of visual stimuli that contains face features in the brain and neural network, we used pattern similarity analysis using facelike-, object-, face images. We found that facial pareidolia is a phenomenon that is caused by amount of face visual perception. We also found a high pattern similarity between the back layer of the convolutional neural network and the fusiform face area (FFA) in face pareidolia task. The reason for this is that there are channels that selectively reacts to faces in the back layer of the convolutional network. Experiments with these channels have shown that the greater the impact, the higher the correlation with humans, but no linear results. This suggests that facial pareidolia in the brain is not only due to a face detection mechanism, but also due to the high impact of the FFA region and also the inversely affecting pathways that do not exist in the CNN.
인간은 실제 얼굴뿐만 아니라 얼굴 파레아돌리아라는 프로세스인 환각의 얼굴을 인식 할 수 있습니다. 이전의 연구는 얼굴 파레아돌리아가 얼굴 감지 메커니즘으로 인해 영장류에서 발생한다고 제안했습니다. 그러나, 이전의 연구는 영장류 뇌에서 얼굴 파레아돌리아에 대해 무슨 일이 일어나고 있는지에 기초한 결과를 만들어 냈으며, 단지 얼굴 검출 메커니즘이 뿐만 아니라 뇌 피드백 루프에 의한 효과도 있는지 알기가 조금 어려워졌습니다. 이러한 격차를 해소하기 위해 본 연구는 인간의 시각 시스템과 유사한 컴퓨터 모델중 하나인 심층 신경 회로망으로 널리 알려진 컴퓨터 모델인 현대의 컨볼루션 신경망을 이용했습니다. 본 논문에서는 처음으로 컨볼루션 신경망 네트워크에서 얼굴 파레아돌리아를 관찰했습니다. 또한, 뇌와 신경망 네트워크에서 얼굴과 닮아있는 시각적 자극에 대한 내부 처리 표현의 차이점을 탐구하기 위해 물체 이미지, 얼굴 이미지, 얼굴의 특징이 포함되어 환상을 일으키는 이미지를 이용해 패턴 유사도 검사를 사용했습니다. 우리는 얼굴 파레아돌리아가 시각적으로 인지하는 정도에 의해 나타나는 현상이라는 것을 발견했습니다. 또한 컨볼루션 신경망 네트워크의 뒤쪽 레이어와 시각 경로 뒤쪽 부분, fusiform face area (FFA) 의 패턴 유사도가 높다는 것을 확읺 했습니다. 이러한 이유로는 컨볼루션 신명망 네트워크의 뒤쪽 레이어에 얼굴에 대해 선택적으로 반응하는 채널이 존재하기 때문이라고 유추하였습니다. 이러한 채널들을 조절하여 실험한 결과 영향이 커질수록 사람과 높은 상관관계를 갖는 결과를 보여주지만 선형결과를 갖지는 않습니다. 이를 통해 뇌의 얼굴 파레이돌리아는 얼굴 검출 메커니즘뿐만 아니라, FFA 영역의 높은 영향도와 심층 네트워크에는 존재하지 않는 역으로 영향을 주는 경로들이 영향을 주는 현상일 것이라고 시사합니다.
