Depression is characterized by deficits in the reinforcement learning (RL) process. Although many computational and neural studies have extended our knowledge of the impact of depression on RL, most focus on habitual control (model-free RL), yielding a relatively poor understanding of goal-directed control (model-based RL) and arbitration control to find a balance between the two. We investigate the effects of depression on goal-directed and habitual control in the prefrontal–striatal circuitry. We find that depression is associated with attenuated state and reward prediction error representation in the insula and caudate, a disruption of arbitration control in the predominantly inferior lateral prefrontal cortex and frontopolar cortex, and suboptimal value–action conversion. These findings fully characterize how depression influences different levels of RL, challenging previous conflicting views that depression simply influences either habitual or goal-directed control. Our study creates possibilities for various clinical applications, such as early diagnosis and behavioral therapy design.
우울증에서 강화학습 과정이 손상되는 것은 많은 뇌과학적 접근방법을 통해 확인되었다. 하지만 대부분의 기존 연구는 강화학습에서의 습관적인 시스템만을 조명했기 때문에 목적지향적인 시스템이나 두 시스템의 상호작용이 우울증 증상이 심화됨에 따라 어떻게 손상되는지는 잘 알려지지 않았다. 본 연구는 이러한 점을 보완하고자 우울증이 습관적, 목적지향적 시스템에 미치는 영향을 계산모델 기반의 분석과 뇌영상 분석을 통해 종합적으로 확인하고자 하였다. 본 연구는 우울증에서 상태 예측 오류 신호와 보상 예측 오류 신호를 각각 뇌섬엽, 꼬리엽에서 표상하는 데 어려움이 있다는 것을 확인하였고, 동시에 우울증에서의 하외측 전전두피질에서의 중재 과정의 손상, 계산된 행동 가치를 실제 행동으로 변화는 과정에서의 손상을 확인하였다. 이러한 결과들은 우울증에서의 강화학습 과정의 각 단계별 손상을 복합적으로 시사한다. 본 연구는 우울증을 조기에 진단하거나 우울증을 행동적으로 치료하는 데에 활용될 수 있다.
