Visual working memory provides temporary active retention of visual information for supporting our behaviors. It is reported that human working memory performance degrades as the memory load increases. This has been studied in relation to memory capacity. The model known as the slot model considers that working memory is limited by the number of ‘slots’, which can remember items. On the other hand, the resource model considers working memory to be a limited resource that is distributed flexibly between all items to remember. However, the two models compete in how they explain working memory. Here, we study how neural activity patterns in the visual pathway vary with the visual memory load during a working memory task. More specifically, we undertake a computational simulation of the five-layered hierarchical structure of the visual pathway from the retina to the frontal cortex. We also examine human memory performance for comparison with the simulation results.
We modeled the five-layered hierarchical structure of the visual pathway, which has neural activity patterns within the retina and regions of the occipital and parietal lobes and the frontal cortex. We assumed that two parameters modulate the model, i.e., the degree of convergence and the nonlinear response function of neural activity. Each layer simulates the modulation of these parameters to transmit visual information to next layer. This modulation enables the model to describe the previous fMRI reconstruction across the brain regions under memory loads one and two.
We examined the usefulness of the model under other stimuli that were newly designed to have different memory loads. Initially, we tested human memory performance with the newly designed stimuli. Subjects were asked to memorize a first image and then report whether a second image was identical or different from the first. We found a correlation between human performance and the simulated neural activity patterns. Our results also suggest that this neural activity pattern is correlated with the memory load regardless of the type of stimulus.
Our visual working memory model shows that neural activity patterns are correlated with different memory loads with modulation of the feedforward convergence and cell response function. The quantitative match between neural activity patterns and an increase in the memory load supported the resource model of working memory. Furthermore, we could predict human memory performance and neural activities within brain regions according to the memory load under certain stimuli using our model.
시각 작업 기억(visual working memory)은 우리 뇌의 중요한 기능 중 하나이다. 시각 작업 기억은 단기적 기억의 종류로써, 시각정보를 일시적으로 보유하며 각종 인지적 과정을 수행하는 역할을 한다. 사람은 기억해야 하는 시각 정보량(시각 작업 기억 정보량(working memory load))이 증가할수록 시각 작업 기억의 정확도가 감소한다고 알려져 있다. 본 연구에서는 시각 작업 기억 정보량의 변화에 따라 시각 정보 처리하는 우리 뇌에서의 신경 활동 패턴이 어떻게 변하는지에 대한 연구로 위 현상을 설명하고자 한다.
우리는 사람이 시각 작업 기억을 하는 동안 시각 정보가 전달되는 경로에서 일어나는 신경 활동 패턴을 모사하는 모델을 디자인했다. 이 모델은 망막(retina)에서부터 후두엽(occipital cortex), 두정엽(parietal cortex), 전두엽(frontal cortex)까지의 시각 정보 전달 단계에 해당하는 다섯개의 층이 네트워크를 이룬다. 각 층에서 나타나는 신경 활동 패턴이 다음 층으로 전달되는 과정은 다음 층으로 정보가 얼마나 수렴 되는가(feedforward convergence)와 다음 층에서 전달된 정보에 얼마나 민감하게 반응하는가(nonlinear response function)에 관한 두 가지 변수로 조절된다. 우리는 두 변수를 조정함으로써 이전에 연구된 시각 작업 정보량에 따른 특징적인 신경 활동 패턴을 모사하는 모델을 디자인했다.
우리는 위 모델이 아직 실험되지 않은 다양한 시각 정보에 대한 신경 활동 패턴을 예측할 수 있도록 새로운 시각 자극(visual stimulus) 시뮬레이션을 해보았다. 서로 다른 크기의 패턴(spatial frequency)을 가지는 새로운 시각 자극을 이용한 심리물리학 실험도 함께 진행되었다. 피실험자는 주어진 시각 자극을 기억하고 맞추는 실험을 수행했다. 실험 결과 더 작은 패턴(high spatial frequency)의 시각 자극일수록 기억되기 힘들었다. 시뮬레이션 결과 더 작은 패턴의 시각 자극이 더 넓은 영역에서 신경 활동 패턴이 일어나는 것을 발견하였다. 우리는 두 실험을 통해 시각 자극의 정보량과 사람의 기억 활동 그리고 신경 활동 패턴과의 상관관계를 찾을 수 있었다.
본 연구에서 제안하는 시각 작업 기억 모델은 다양한 시각 작업 기억 정보량과 신경 활동 패턴과의 상관관계를 간단한 변수인 feedforward function과 nonlinear response function의 조절을 통해 밝힐 수 있었다. 우리는 이 모델로 특정한 시각 자극이 주어졌을 때 뇌의 시각 정보 처리 경로 과정의 각 영역에서 일어나는 신경활동 패턴을 예측할 수 있다고 예상한다.
