2018/03/09 榎本

Amygdala and Ventral Striatum Make Distinct Contributions to Reinforcement Learning

Vincent D. Costa, Olga Dal Monte, Daniel R. Lucas, Elisabeth A. Murray, Bruno B. Averbeck
Neuron. 2016 Oct 19;92(2):505-517. doi: 10.1016/j.neuron.2016.09.025.

Highlights

• The amygdala is necessary for deterministic and stochastic reinforcement learning
• The ventral striatum is only necessary for learning stochastic reward associations
• Amygdala and ventral striatum lesions decrease choice consistency
• Ventral striatum lesions hasten choice reaction times leading to more errors

これまでいろいろと見てきましたが、扁桃体を含んだ神経回路にどのような計算モデルが実装されているか、というのはまだ判然としませんし、そこに挑んでいる仕事もまだ多くありません。今回の論文は扁桃体と腹側線条体を損傷させたサルに確率的な行動選択課題を行わせ、強化学習モデルなどの計算モデルを当てはめることで、その問題にアプローチしています。

両側で扁桃体（イボテン酸使用）もしくは側坐核（キノリン酸使用）を損傷させ、一般的なTwo-arms bandit taskをやらせます。動物の行動は正と負のフィードバックそれぞれに別の学習率をおく強化学習モデルで（ベイズモデルやPearce-Hallモデルよりも）よりよく推定できました。扁桃体損傷動物ではタスク全体的に学習率が落ちますが、線条体損傷動物では確率的な課題条件でのみ学習率が下がっていました。また選択行動はどちらも雑になります（行動の一貫性……逆温度が低くなる）が、線条体損傷動物でのみ反応時間が短く（衝動的に）なりました。

今回の結果からでは神経回路についてはもちろん、BLAやCeA、NAc shellとNAc coreの違いなどについては何も分かりませんが、このような計算論的アプローチと最新の手法とを組み合わせることで、重要な問題解決につながるのでは、という示唆を得られました。

最近の報告

Reversal Learning and Dopamine: A Bayesian Perspective
Vincent D. Costa, Valery L. Tran, Janita Turchi and Bruno B. Averbeck
J Neurosci. 2015 Feb 11;35(6):2407-16. doi: 10.1523/JNEUROSCI.1989-14.2015.
同じタスクでドパミンをコントロールしてベイズ／強化学習で行動モデルに当てはめています。ベイズは今回ぜんぜんダメでしたけど……。


おまけです。
Long time-scales in primate amygdala neurons support aversive learning
Aryeh H. Taub, Tamar Stolero, Uri Livneh, Yosef Shohat, Rony Paz

PDF | SLIDE