Activation of dopamine receptors in forebrain regions, for minutes or longer, is known to be sufficient for positive reinforcement of stimuli and actions. However, the firing rate of dopamine neurons is increased for only about 200 milliseconds following natural re-ward events that are better than expected, a response which has been described as a “reward prediction error” (RPE). Although RPE drives reinforcement learning (RL) in computational models, it has not been possible to directly test whether the transient dopamine signal actually drives RL. Here we have performed optical stimulation of genetically targeted ventral tegmental area (VTA) dopamine neurons expressing Channelrhodopsin-2 (ChR2) in mice. We mimicked the transient activation of dopamine neurons that occurs in response to natural reward by applying a light pulse of 200 ms in VTA. When a single light pulse followed each self-initiated nose poke, it was sufficient in itself to cause operant reinforcement. Furthermore, when optical stimulation was delivered in separate sessions according to a predetermined pattern, it increased locomotion and contralateral rotations, behaviors that are known to result from activation of dopamine neurons. All three of the optically induced operant and locomotor behaviors were tightly correlated with the number of VTA dopamine neurons that expressed ChR2, providing additional evidence that the behavioral responses were caused by activation of dopamine neurons. These results provide strong evidence that the transient activation of dopamine neurons provides a functional reward signal that drives learning, in support of RL theories of dopamine function.
수분 또는 그 이상동안 전뇌영역의 도파민 수용기의 활성화는 긍정적 강화를 일으키는데 충분하다고 알려져 있다. 하지만 도파민 신경세포의 반응속도 (firing rate)는 자연적인 보상에 의해 200 ms 동안만 증가한다. 여기서 보상은 예측가능한 것보다 더 좋은 것을 의미하고 예측한 보상과 실제로 받은 보상의 차이를 보상-예측 오류 (RPE)라고 부른다. 비록 보상-예측 오류가 계산론적 모델로 강화 학습을 일으킨다고 알려져있지만, 실제로 일시적인 도파민의 활성화가 강화학습을 일으키는지에 대해 직접적으로 검사할 수 있는 방법이 없었다. 이 학위 논문에서는 최근에 새롭게 개발된 광유전학 방법을 이용하여 쥐의 복측피개영역 (VTA)의 도파민 신경세포에 채널로돕신(ChR2)을 발현시켜 도파민 신경세포만을 1000분의1초의 시간척도로 활성화 시킬 수 있었다. 이 광유전학 방법을 이용하여 자연 보상에 의해 활성화 되는 복측피개영역의 도파민 신경세포를 흉내내었다. 쥐가 이 광유전학 자극을 얻기 위해 행동상자의 구멍에 코를 박는 행위를 한다면 이 도파민 신경세포의 자극은 조작적 광화학습을 일으키는데 충분하다고 말할 수 있다. 더 나아가, 별개의 실험에서 미리 지정해 놓은 도파민 신경세포 자극 패턴을 주고 그에 따른 운동 능력 (머리의 속도와 회전수)을 측정하였다. 도파민 신경세포의 자극으로 인해 운동 능력이 증가한다고 알려져 있기 때문이다. 조작적 강화학습과 운동능력의 결과와 채널로돕신을 발현되어 있는 복측피개영역의 도파민 신경세포의 수 사이에 상관관계를 분석하였다. 분석결과 이들간에 매우 긴밀한 상관관계가 존재하였고, 이는 이런 행동학적 반응이 도파민 신경세포의 활성화로 인한 것이라고 생각할 수 있다. 위의 결과는 일시적인 도파민 신경세포의 활성화는 기능적 보상신호를 제공하고 이는 강화학습을 일으킨다.
