2014/04/22 渡邊

Rational regulation of learning dynamics by pupil-linked arousal systems
Nassar MR, Rumsey KM, Wilson RC, Parikh K, Heasly B, Gold JI.
Nat Neurosci. 2012 Jun 3;15(7):1040-6. doi: 10.1038/nn.3130.

瞳孔の変化で意思決定やValue、Optimal actionの探索などいろいろなものを見ることができることが近年多く報告されておりますが、この論文では不確実な環境(真のValueが不明確なだけでなく、そのValueが時間とともに変化する環境)における行動選択のパラメータと瞳孔拡散の関係の話です。
我々は不確実な環境で学習率を意識的に変化させるが(時には過去の経験を参考にし、時にはValueが大幅に変わったと思いその経験を無視する)、そのシフトを瞳孔サイズの変化としてとらえることができるという内容です。

PDF | SLIDE

2013/11/29 山中

The Thalamostriatal Pathway and Cholinergic Control of Goal-Directed Action: Interlacing New with Existing Learning in the Striatum
Laura A. Bradfield, Jesus Bertran-Gonzalez, Billy Chieng, Bernard W. Balleine
Neuron, Volume 79, Issue 1, 153-166, 13 June 2013

Highlights
► The thalamostriatal pathway modulates activity in striatal cholinergic interneurons
► Altering striatal cholinergic activity does not affect initial goal-directed learning
► Striatal cholinergic activity is critical for new learning after contingencies change
► The thalamostriatal pathway reduces interference between new and existing learning

新しく学習した行動ー報酬の連合が既存の学習記憶とどう折り合いをつけていくかについて、視床線条体入力の役割に注目した論文です。
外的環境の変動に伴って新しい学習を要求されたとき、既存の連合記憶を上書きするのではなく、モジュールのような形で保っておきながら状態(state)の変化に応じて切り替える、というようなプロセスにposterior dorsomedial striatum(pDMS)の(視床ー線条体を介して)アセチルコチン(ACh)介在細胞が関与することを示しています。
視床PFから線条体への信号は「state prediction error」である可能性について議論してます。ただし、これをいうには、例えば二択で価値は同じだけれども状態だけreversalしたというような厳密なコントロールが必要なので難しいです。


PDF | SUPPL | NEWS | SLIDE

-----
補足１
AChは海馬や前脳基底部のような他の脳領域でもsynaptic tagやmemory traceという形でnew learningの獲得に重要であることがシナプスレベルでも示されています。
A synaptic memory trace for cortical receptive field plasticity
Froemke RC, Merzenich MM, Schreiner CE.
Nature. 2007 Nov 15;450(7168):425-9.

補足２
"state prediction error" signalについて、
States versus rewards: dissociable neural prediction error signals underlying model-based and model-free reinforcement learning
Gläscher J, Daw N, Dayan P, O'Doherty JP.
Neuron. 2010 May 27;66(4):585-95. doi: 10.1016/j.neuron.2010.04.016.

補足３
このBradfieldさんは他の視床核(anterior, MD)についても調べた論文も出してます。
The role of the anterior, mediodorsal, and parafascicular thalamus in instrumental conditioning
Bradfield LA, Hart G, Balleine BW.
Front Syst Neurosci. 2013 Oct 9;7:51.

補足４
視床CL核ー線条体投射と視床PF核ー線条体の違いについてoptogeneticsで調べた論文
Heterogeneous properties of central lateral and parafascicular thalamic synapses in the striatum
J Physiol. 2013 Jan 1;591(Pt 1):257-72. doi: 10.1113/jphysiol.2012.245233. Epub 2012 Oct 29.
Ellender TJ, Harwood J, Kosillo P, Capogna M, Bolam JP.