2018/03/09 榎本

Amygdala and Ventral Striatum Make Distinct Contributions to Reinforcement Learning

Vincent D. Costa, Olga Dal Monte, Daniel R. Lucas, Elisabeth A. Murray, Bruno B. Averbeck
Neuron. 2016 Oct 19;92(2):505-517. doi: 10.1016/j.neuron.2016.09.025.

Highlights

• The amygdala is necessary for deterministic and stochastic reinforcement learning
• The ventral striatum is only necessary for learning stochastic reward associations
• Amygdala and ventral striatum lesions decrease choice consistency
• Ventral striatum lesions hasten choice reaction times leading to more errors

これまでいろいろと見てきましたが、扁桃体を含んだ神経回路にどのような計算モデルが実装されているか、というのはまだ判然としませんし、そこに挑んでいる仕事もまだ多くありません。今回の論文は扁桃体と腹側線条体を損傷させたサルに確率的な行動選択課題を行わせ、強化学習モデルなどの計算モデルを当てはめることで、その問題にアプローチしています。

両側で扁桃体（イボテン酸使用）もしくは側坐核（キノリン酸使用）を損傷させ、一般的なTwo-arms bandit taskをやらせます。動物の行動は正と負のフィードバックそれぞれに別の学習率をおく強化学習モデルで（ベイズモデルやPearce-Hallモデルよりも）よりよく推定できました。扁桃体損傷動物ではタスク全体的に学習率が落ちますが、線条体損傷動物では確率的な課題条件でのみ学習率が下がっていました。また選択行動はどちらも雑になります（行動の一貫性……逆温度が低くなる）が、線条体損傷動物でのみ反応時間が短く（衝動的に）なりました。

今回の結果からでは神経回路についてはもちろん、BLAやCeA、NAc shellとNAc coreの違いなどについては何も分かりませんが、このような計算論的アプローチと最新の手法とを組み合わせることで、重要な問題解決につながるのでは、という示唆を得られました。

最近の報告

Reversal Learning and Dopamine: A Bayesian Perspective
Vincent D. Costa, Valery L. Tran, Janita Turchi and Bruno B. Averbeck
J Neurosci. 2015 Feb 11;35(6):2407-16. doi: 10.1523/JNEUROSCI.1989-14.2015.
同じタスクでドパミンをコントロールしてベイズ／強化学習で行動モデルに当てはめています。ベイズは今回ぜんぜんダメでしたけど……。


おまけです。
Long time-scales in primate amygdala neurons support aversive learning
Aryeh H. Taub, Tamar Stolero, Uri Livneh, Yosef Shohat, Rony Paz

PDF | SLIDE

2015/10/28 菊池

明日の私の発表は、論文紹介は省略し、データについてお話したいと思います。

神経科学学会発表と重なりますが、いくつか載せることのできなかったデータやその後集めた文献などについてお話したいと思いますので、よろしくお願いいたします。

2015/10/14 鮫島

Signatures of Value Comparison in Ventral Striatum Neurons

Caleb E. Strait, Brianna J. Sleezer, Benjamin Y. Hayden
PLoS Biol. 2015 Jun; 13(6): e1002173.

明日は、ちょっと古いですけどHaydenのPlos biologyの論文を中心に、 「価値に基づく意思決定がどこでどのようにおきるか？」について、 またそれを検証する方法について考えたいと思います。

 よろしくお願いします。

Abstract
The ventral striatum (VS), like its cortical afferents, is closely associated with processing of rewards, but the relative contributions of striatal and cortical reward systems remains unclear. Most theories posit distinct roles for these structures, despite their similarities. We compared responses of VS neurons to those of ventromedial prefrontal cortex (vmPFC) Area 14 neurons, recorded in a risky choice task. Five major response patterns observed in vmPFC were also observed in VS: (1) offer value encoding, (2) value difference encoding, (3) preferential encoding of chosen relative to unchosen value, (4) a correlation between residual variance in responses and choices, and (5) prominent encoding of outcomes. We did observe some differences as well; in particular, preferential encoding of the chosen option was stronger and started earlier in VS than in vmPFC. Nonetheless, the close match between vmPFC and VS suggests that cortex and its striatal targets make overlapping contributions to economic choice.

じっさいの実験データも公開されています。

PDF | SLIDE

2015/01/27 鮫島・梶原

Corticostriatal coordination through coherent phase-amplitude coupling
von Nicolai C1, Engler G, Sharott A, Engel AK, Moll CK, Siegel M.
J Neurosci. 2014 Apr 23;34(17):5938-48. doi: 10.1523/JNEUROSCI.5007-13.2014.

PDF

2014/11/11 榎本

Observation of Reward Delivery to a Conspecific Modulates Dopamine Release in Ventral Striatum
Vadim Kashtelyan, Nina T. Lichtenberg, Mindy L. Chen, Joseph F. Cheer, Matthew R. Roesch
Current Biology. Volume 24, Issue 21, p2564-2568, 3 November 2014

Highlights

• Dopamine is released when rats first observe a conspecific receive reward
• The dopaminergic response reverses in later trials
• Appetitive vocalizations are recorded when dopamine is released
• Rats emit aversive calls during later trials of observation

ラットに仲間が報酬をもらうのを見せたとき、はじめは嬉しげな行動をするし、じっさい線条体でドパミンが放出されるのだけれども、そのうち放出量が下がってきて、（文字通り）抗議の声を上げて（Ultrasonic vocalization）そちらを見もしなくなる、という話です。齧歯類でもここまでできる。

　＊

Neurons in the Monkey Amygdala Detect Eye Contact during Naturalistic Social Interactions.

Mosher CP, Zimmerman PE, Gothard KM.

Curr Biol. 2014 Oct 1. pii: S0960-9822(14)01127-0. 

おまけです。サルが目と目で通じ合う……

そういうときは扁桃体の特別なニューロンが発火しているのです。

PDF | SLIDE

2014/10/07 山中

Neurons in the ventral striatum exhibit cell-type-specific representations of outcome during learning
Atallah HE, McCool AD, Howe MW, Graybiel AM.
Neuron. 2014 Jun 4;82(5):1145-56. doi: 10.1016/j.neuron.2014.04.021.

Highlights

    •Plasticity in ventromedial striatum during reward learning is cell-type specific
    •Cholinergic interneurons signal outcome and track reinforcement contingencies
    •Spiny projection neurons (SPNs) lose outcome responses during learning
    •SPNs maintain responses at trial initiation and goal approach during learning

Stimulus-Action-Rewardの学習中にventral striatumの細胞が、そのタイプごと・学習フェーズごとにどのように異なる役割を担っているかについて、たくさんの細胞を記録してpopulationで比較しています。
Cholinergic interneuron(TAN)のacquisition phaseでの選択的な活動が興味深いです。

PDF | NEWS | SLIDE

2014/07/08 木村

A normative perspective on motivation
Yael Niv, Daphna Joel and Peter Dayan
TRENDS in Cognitive Sciences Vol.10 No.8 (2006)

The dorsomedial striatum encodes net expected return, critical for energizing performance vigor
Alice Y Wang, Keiji Miura & Naoshige Uchida 
NATURE NEUROSCIENCE VOLUME 16 | NUMBER 5 | MAY 2013

Invigoration of Reward Seeking by Cue and Proximity Encoding in the Nucleus Accumbens
Vincent B. McGinty, Sylvie Lardeux, Sharif A. Taha, James J. Kim, and Saleem M. Nicola,*
Neuron 78, 910-922, June 5, 2013

意思決定における動機づけの役割に関する線条体メカニズムについて考えたいと思います。

SLIDE

2014/03/20 榎本

Dopamine dependency for acquisition and performance of Pavlovian conditioned response.
Darvas M, Wunsch AM, Gibbs JT, Palmiter RD.
Proc Natl Acad Sci U S A. 2014 Feb 18;111(7):2764-9.

そのうちちゃんと書こうとおもって、はや二ヶ月が過ぎました。DDマウスのドパミンを線条体の部位特異的にレスキューする話だったと思います。たぶん。

PDF | SLIDE

2014/03/07 木村

今では一般的になりつつある光遺伝学などの神経回路操作をシステム神経科学と計算理論に組み合わせる研究の可能性について紹介します。

参考論文として
Corticostriatal neurons in auditory cortex drive decisions duringauditory discrimination
Petr Znamenskiy & Anthony M. Zador
Nature 497, 482-485 doi:10.1038/nature12077(2013)

PDF | SUPPL | SLIDE

2014/02/14 木村

大脳基底核機能の深い理解のためには、情報表現とその統合の計算論的意義を理解するだけでは不十分で、情報表現とその統合を実現する神経回路の理解が必須であるというメッセージをお届けするために、以下の2編の論文を紹介して、議論したいと思います。

Transient stimulation of distinct subpopulations of striatal neurons mimics changes in action value
Tai LH, Lee AM, Benavidez N, Bonci A, Wilbrecht L.
Nat Neurosci. 2012 Sep;15(9):1281-9. doi: 10.1038/nn.3188. Epub 2012 Aug 19.

PDF | SUPPL

Control of basal ganglia output by direct and indirect pathway projection neurons
Freeze BS, Kravitz AV, Hammack N, Berke JD, Kreitzer AC.
J Neurosci. 2013 Nov 20;33(47):18531-9. doi: 10.1523/JNEUROSCI.1278-13.2013.

PDF

セミナーのページで過去の紹介論文をチェックしたところ、最初の論文は2012年に鮫島さんが紹介しているようですが、上のメッセージと関連して紹介し、議論させてください。

SLIDE

2014/01/24 榎本

The behavioral and neural mechanisms underlying the tracking of expertise.
Boorman ED, O'Doherty JP, Adolphs R, Rangel A.
Neuron. 2013 Dec 18;80(6):1558-71.

　確率的に増減する資産の変動を推定するエージェントの成績を当てる課題において、エージェントがヒトの場合とコンピュータアルゴリズムの場合（じっさいはどっちもアルゴリズム）で被検者の行動と脳活動がちがった、という話です。被検者の行動は（準最適な）ベイズ則によってよく記述できました。エージェントがヒトの場合は、被検者と同じ予測で正解したときにアルゴリズムよりも良く評価され、間違えたときも大目に見てもらえるのに対して、エージェントがアルゴリズムの場合は、被検者と違う予測をして不正解だったときに、ヒトよりもペナルティが大きい。そんでfMRIイメージングにおいて、右側のOFCとmPFCがこれらの行動パターンと似た活動を示した、という。あとはTPJとか線条体とかまあいろいろ。

　いぜん紹介した鈴木さんの論文や、ベーレンスの過去の仕事とも深く関係するものです。モデル比較や強化学習モデルでの試算なんかもいろいろやってるので興味のある向きはSIもよく読んでみてください。それでは都知事選、相手がヒトだからといって甘くみずに、よく考えて投票しましょう。

Assessing Others: Evaluating the Expertise of Humans and Computer Algorithms


PDF+SI | SLIDE

2013/11/29 山中

The Thalamostriatal Pathway and Cholinergic Control of Goal-Directed Action: Interlacing New with Existing Learning in the Striatum
Laura A. Bradfield, Jesus Bertran-Gonzalez, Billy Chieng, Bernard W. Balleine
Neuron, Volume 79, Issue 1, 153-166, 13 June 2013

Highlights
► The thalamostriatal pathway modulates activity in striatal cholinergic interneurons
► Altering striatal cholinergic activity does not affect initial goal-directed learning
► Striatal cholinergic activity is critical for new learning after contingencies change
► The thalamostriatal pathway reduces interference between new and existing learning

新しく学習した行動ー報酬の連合が既存の学習記憶とどう折り合いをつけていくかについて、視床線条体入力の役割に注目した論文です。
外的環境の変動に伴って新しい学習を要求されたとき、既存の連合記憶を上書きするのではなく、モジュールのような形で保っておきながら状態(state)の変化に応じて切り替える、というようなプロセスにposterior dorsomedial striatum(pDMS)の(視床ー線条体を介して)アセチルコチン(ACh)介在細胞が関与することを示しています。
視床PFから線条体への信号は「state prediction error」である可能性について議論してます。ただし、これをいうには、例えば二択で価値は同じだけれども状態だけreversalしたというような厳密なコントロールが必要なので難しいです。


PDF | SUPPL | NEWS | SLIDE

-----
補足１
AChは海馬や前脳基底部のような他の脳領域でもsynaptic tagやmemory traceという形でnew learningの獲得に重要であることがシナプスレベルでも示されています。
A synaptic memory trace for cortical receptive field plasticity
Froemke RC, Merzenich MM, Schreiner CE.
Nature. 2007 Nov 15;450(7168):425-9.

補足２
"state prediction error" signalについて、
States versus rewards: dissociable neural prediction error signals underlying model-based and model-free reinforcement learning
Gläscher J, Daw N, Dayan P, O'Doherty JP.
Neuron. 2010 May 27;66(4):585-95. doi: 10.1016/j.neuron.2010.04.016.

補足３
このBradfieldさんは他の視床核(anterior, MD)についても調べた論文も出してます。
The role of the anterior, mediodorsal, and parafascicular thalamus in instrumental conditioning
Bradfield LA, Hart G, Balleine BW.
Front Syst Neurosci. 2013 Oct 9;7:51.

補足４
視床CL核ー線条体投射と視床PF核ー線条体の違いについてoptogeneticsで調べた論文
Heterogeneous properties of central lateral and parafascicular thalamic synapses in the striatum
J Physiol. 2013 Jan 1;591(Pt 1):257-72. doi: 10.1113/jphysiol.2012.245233. Epub 2012 Oct 29.
Ellender TJ, Harwood J, Kosillo P, Capogna M, Bolam JP.

2013/10/25 榎本

Activity of striatal neurons reflects social action and own reward.
Baez-Mendoza R, Harris CJ, Schultz W.
Proc Natl Acad Sci U S A. 2013 Oct 8;110(41):16634-9.

　線条体細胞が社会的コンテキストにおいて他者の報酬・行動を反映した応答を示すという論文です。向かい合った二頭のサルが交互に行動し、自己/他者の報酬の有無が刻々変わる。線条体前部（被殻・尾状核）の投射細胞はさまざまなタイミングで応答し、その多くが自己の報酬の有無だけをコードしていたのだけれども、自己の行動・他者の行動の情報を持ってるやつも少なからずいました。相手をサルからコンピュータに変えると応答がなくなる細胞もいることが確かめられたので、これはソーシャルであろう、と結論してます。いままでご紹介したサル電気生理の仕事では、前頭内側皮質やOFC、またACCなんかが他者の行動や報酬に関係する活動を示すことを報告していますが、社会的な文脈における運動と報酬情報を両方持ってる脳部位として、線条体は重要であろう、という。

　とはいえ、後からごちゃごちゃ解析してる割にはTask epochごとの活動のちがい、Error trialによるReward/Action valueへの影響なんかについては言及していませんし（他者行動ニューロンはAction prediction errorみたいな応答をしている）、記録部位による活動の違いもありそうですけど何も記述がありません。サルは二頭しか使っていませんが（集団飼育している4頭のうちの順位の低い2頭を使用）、ヒエラルキーも影響するでしょう。もうちょっと突っ込んだ解析を期待したいところです。また、コントロール実験でコンピュータを相手にすると活動が変わった細胞がいましたが、半数以上がその影響がないわけで、皮質下の脳領域において、どこまで社会的状況が大事なのか疑問が残ります。

PDF | SLIDE


おまけ
Ant colonies outperform individuals when a sensory discrimination task is difficult but not when it is easy

いつでも集合知が良いわけじゃないという話です

2013/08/07 山中

Canceling actions involves a race between basal ganglia pathways
Schmidt R, Leventhal DK, Mallet N, Chen F, Berke JD.
Nat Neurosci. 2013 Aug;16(8):1118-24. doi: 10.1038/nn.3456. Epub 2013 Jul 14.

Stop-Signal taskにおける行動のキャンセルプロセスが
大脳基底核の回路の中でどのように実現されているかというところに焦点を当てている論文です。


大脳基底核のあらゆるところにマルチ電極を刺して同時記録。
(1) SNrニューロンは線条体からの運動関連の抑制入力と視床下核(STN)からのSalient Cue(Stop signal)に対する興奮性入力を受ける
(2) これらの抑制性・興奮性入力の相対的な入力タイミングが行動をストップできるかどうかを決める(行動のゲーティング)
(3) SNrへの抑制性・興奮性入力を単純に加算するだけではこのゲーティングは起こらない
（Shunting inhibitionのようなことが起きている？）
(4) このような入力を受けるSNrの細胞はdorsolateralの部分(上丘の中間層に投射する領域)に位置している

STNのStop signalに対する超短潜時(15ms)の入力がどこから入ってくるのか、気になります。著者らはSubcorical、特にThalamus・PPNからの投射を考えているようです。
あとGP(サルだとGPe)があんまり関与していない結果でしたが、彼らはある刺激に従って行動をストップすることと行動をしないこと(NOGO)は別の回路だと考えていて(Berke, JDのHP)、indirect pathwayは行動をしないことに関与しているのではないかというようなことが書いてありました。

---
参考：行動のストップに関するAronのレビュー
From reactive to proactive and selective control: developing a richer model for stopping inappropriate responses.
Aron AR
Biol Psychiatry. 2011 Jun 15;69(12):e55-68. doi: 10.1016/j.biopsych.2010.07.024. Epub 2010 Oct 8.

PDF  SLIDE

2013/06/14 野々村

明日は，先日Scienceに掲載された，オプトジェネティクスによって，マウスのOFC→VMS経路のhyper activationが強迫性障害（OCD）の症状（grooming）を誘発することを明らかにした論文を紹介したいと思います．

Repeated cortico-striatal stimulation generates persistent OCD-like behavior.
Ahmari SE, Spellman T, Douglass NL, Kheirbek MA, Simpson HB, Deisseroth K, Gordon JA, Hen R.
Science. 2013 Jun 7;340(6137):1234-9.

また，同じ巻のScienceに掲載されたAnn M. Graybielのlabの上記の論文とは逆の主張をしている論文も紹介したいと思います．

Optogenetic stimulation of lateral orbitofronto-striatal pathway suppresses compulsive behaviors.
Burguière E, Monteiro P, Feng G, Graybiel AM.
Science. 2013 Jun 7;340(6137):1243-6.

pdf1  pdf2  slide

2013/06/4 春野

Computational phenotyping of two-person interactions reveals differential neural response to depth-of-thought.
Xiang T, Ray D, Lohrenz T, Dayan P, Montague PR.
PLoS Comput Biol. 2012;8(12):e1002841.

Level0の被験者はstriatumに1st order errorの活動を示した。ナイーブな被験者が行動の変化にこのタイプの情報を使うことを示唆

Level2の被験者のstriatumは 2nd order errorの活動を示した。　高度なプレイヤーは相手の行動の直接的影響を割引き、相手の信念と行動をシミュレートし、制御することを重視する。

この研究は社会的意思決定の論理的側面をモデル化した。しかし、例えば(Delgado et al. 2005)は、trusteeの道徳的記述(good, bad)がinvestorの行動と、decision, feedback時の線条体活動を(neutralの場合と比べ)変化させることを報告している。

このような情動と論理的側面を計算モデルで統合する必要

pdf  slide

2013/04/26 野々村

The dorsomedial striatum encodes net expected return, critical for energizing performance vigor.
Wang AY, Miura K, Uchida N.
Nat Neurosci. 2013 Apr 14.

ラットのDorsomedial Striatumがresponse vigorを調整すること（action selectionではなく）に重要な役割を果たしていることを主張した論文です．

pdf  slide

2013/03/26 鮫島

Prefrontal and striatal activity related to values of objects and locations.
Kim S, Cai X, Hwang J, Lee D.
Front Neurosci. 2012;6:108.

私の方は、ちょっと古いですが昨年出ているDeayeol Leeラボの論文を紹介します。object value の比較codingがDLPFCとstriatumに少ないけどちゃんとある、という論文です。

よろしくお願いします。

2013/02/12 春野

Neural correlates of reinforcement learning and social preferences in competitive bidding.
van den Bos W, Talwar A, McClure SM.
J Neurosci. 2013 Jan 30;33(5):2137-46.

In competitive social environments, people often deviate from what rational choice theory prescribes, resulting in losses or suboptimal monetary gains. We investigate how competition affects learning and decision-making in a common value auction task. During the experiment, groups of five human participants were simultaneously scanned using MRI while playing the auction task. We first demonstrate that bidding is well characterized by reinforcement learning with biased reward representations dependent on social preferences. Indicative of reinforcement learning, we found that estimated trial-by-trial prediction errors correlated with activity in the striatum and ventromedial prefrontal cortex. Additionally, we found that individual differences in social preferences were related to activity in the temporal-parietal junction and anterior insula. Connectivity analyses suggest that monetary and social value signals are integrated in the ventromedial prefrontal cortex and striatum. Based on these results, we argue for a novel mechanistic account for the integration of reinforcement history and social preferences in competitive decision-making.

2013/02/12 田中

Social network modulation of reward-related signals.
Fareri DS, Niznikiewicz MA, Lee VK, Delgado MR.
J Neurosci. 2012 Jun 27;32(26):9045-52.

The potential role of the striatum in antisocial behavior and psychopathy.
Glenn AL, Yang Y.
Biol Psychiatry. 2012 Nov 15;72(10):817-22.

セミナーでは以下の論文を紹介します。
同じ報酬でも、誰と共に得るかで、嬉しさの程度が変わるという、報酬に対する主観のmodulationに関わる論文と、共感能力が低いとされるpsychopathyに分類されるヒトの線条体に関するreviewをかいつまんで紹介させて頂きます。
よろしくお願いします。