2018/2/14 榎本

Amygdala inputs to prefrontal cortex guide behavior amid conflicting cues of reward and punishment

Burgos-Robles A, Kimchi EY, IzadmehrEM, PorzenheimMJ, Ramos-GuaspWA, NiehEH, Felix-Ortiz AC, NamburiP, LepplaCA, PresbreyKN, AnandalingamKK, Pagan-Rivera PA, AnahtarM, BeyelerA, TyeKM.
Nat Neurosci. 2017 Jun;20(6):824-835. doi: 10.1038/nn.4553.

報酬＋嫌悪条件下において扁桃体BLAと内側前頭前野PL（前辺縁皮質）領域との相互神経連絡がもつ行動情報。砂糖水も貰えるけれどもフットショックもくるアンビバレントな課題。ラットで電気生理実験と相互相関解析、オプトジェネティクスやDREADDなんかも用いて、BLA→PL投射がショックを予告する刺激に対してフリージングを引き起こすに必要十分であることを示しています。機械学習で（いちおう）行動予測もできる。

PLはIL（下辺縁皮質）とも相互連絡があり、どちらも腹側海馬から入力を受けて扁桃体や側坐核に投射しています。かねてより恐怖学習・消去、薬物依存などのパラダイムで役割の違いなどについて調べられており、ここ数年でその神経回路メカニズムが明らかになりつつあります。PL・ILはヒトやサルにおける帯状皮質の一部ですので、そのへんの対応関係にも注意してまとめてみたいと思います。つづく。

PDF | SLIDE

参考文献

Prefrontal control of fear: more than just extinction.
Sotres-Bayon F, Quirk GJ.
Curr Opin Neurobiol. 2010 Apr;20(2):231-5. doi: 10.1016/j.conb.2010.02.005.

PDF


Long-range connectivity defines behavioral specificity of amygdala neurons.
Senn V, Wolff SB, Herry C, Grenier F, Ehrlich I, Gründemann J, Fadok JP, Müller C, Letzkus JJ, Lüthi A.
Neuron. 2014 Jan 22;81(2):428-37. doi: 10.1016/j.neuron.2013.11.006.

PDF


Functional Connectivity between Amygdala and Cingulate Cortex for Adaptive Aversive Learning

Oded Klavir, Rotem Genud-Gabai, Rony Paz
Neuron. 2013 Dec 4;80(5):1290-300. doi: 10.1016/j.neuron.2013.09.035.

PDF


Selective inhibitory control of pyramidal neuron ensembles and cortical subnetworks by chandelier cells.
Lu J, Tucciarone J, Padilla-Coreano N, He M, Gordon JA, Huang ZJ.
Nat Neurosci. 2017 Oct;20(10):1377-1383. doi: 10.1038/nn.4624.

PDF


Combined Social and Spatial Coding in a Descending Projection from the Prefrontal Cortex.
Murugan M, Jang HJ, Park M, Miller EM, Cox J, Taliaferro JP, Parker NF, Bhave V, Hur H, Liang Y, Nectow AR, Pillow JW, Witten IB.
Cell. 2017 Dec 14;171(7):1663-1677.e16. doi: 10.1016/j.cell.2017.11.002.

PDF

2016/1/24 榎本

Paraventricular Thalamus Balances Danger and Reward

Eun A. Choi and Gavan P. McNally
J Neurosci. 2017 Mar 15;37(11):3018-3029.

視床室傍核（PVT / Pa: Paraventricular nucleus of thalamus）と視床下部室傍核（PVN / PVH: Paraventricular hypothalamic nucleus）は別の神経核であることにご注意ください。略称統一してほしい……今回はPVTの話です。

PVTは脳幹や視床下部から入力をうけ、辺縁皮質（PL, IL）や島皮質と相互連絡、側坐核や扁桃体中心核（CeA）、分界条床核（BST）や前交連後肢間質核（IPAC）なんかに出力します。睡眠／覚醒や摂食制御、不安やムード、ストレスなどに関わる機能について調べられてきましたが、近年の計測制御技術興隆の恩恵をうけ、より精密な神経回路メカニズムが明らかになりつつあります。今回は報酬とフットショックがくる相克的な条件の課題を学習させたラットを用い、DREADDでPVTを可逆的に不活性化させてフリージング／報酬接近行動を観察することにより、一見矛盾するような結果を示しています。

PDF | SLIDE

参考文献

High field FMRI reveals thalamocortical integration of segregated cognitive and emotional processing in mediodorsal and intralaminar thalamic nuclei.
Metzger CD1, Eckert U, Steiner J, Sartorius A, Buchmann JE, Stadler J, Tempelmann C, Speck O, Bogerts B, Abler B, Walter M.
Front Neuroanat. 2010 Nov 1;4:138.

ヒトfMRIでPVTの活動を報告しているのは今のところこれだけ。セクシー画像で興奮するみたい。


Placing the paraventricular nucleus of the thalamus within the brain circuits that control behavior.
Kirouac GJ.
Neurosci Biobehav Rev. 2015 Sep;56:315-29.


A thalamic input to the nucleus accumbens mediates opiate dependence
Yingjie Zhu, Carl F. R. Wienecke, Gregory Nachtrab& Xiaoke Chen
Nature. 2016 Feb 11;530(7589):219-22.


A food-predictive cue attributed with incentive salience engages subcortical afferents and efferents of the paraventricular nucleus of the thalamus.
Haight JL, Fuller ZL, Fraser KM, Flagel SB.
Neuroscience. 2017 Jan 6;340:135-152.


Contributions of the paraventricular thalamic nucleus in the regulation of stress, motivation, and mood.
Hsu DT, Kirouac GJ, Zubieta JK, Bhatnagar S.
Front Behav Neurosci. 2014 Mar 11;8:73.

サルです。PaというのがPVT。

2017/12/13 榎本

Optogenetic Inhibition Reveals Distinct Roles for Basolateral Amygdala Activity at Discrete Time Points during Risky Decision Making
Orsini CA, Hernandez CM, Singhal S, Kelly KB, Frazier CJ, Bizon JL, Setlow B
J Neurosci. 2017 Nov 29;37(48):11537-11548. doi: 10.1523/JNEUROSCI.2344-17.2017. Epub 2017 Oct 27

ラットにSmall & Safe rawardかLarge & Risky rewardかを選ばせる課題を用い、扁桃体BLAを光刺激で抑制したときに、光刺激のタイミングによって真逆の効果が見られることを報告しています。

Abstract

Decision making is a multifaceted process, consisting of several distinct phases that likely require different cognitive operations. Previous work showed that the basolateral amygdala (BLA) is a critical substrate for decision making involving risk of punishment; however, it is unclear how the BLA is recruited at different stages of the decision process. To this end, the current study used optogenetics to inhibit the BLA during specific task phases in a model of risky decision making (risky decision-making task) in which rats choose between a small, “safe” reward and a large reward accompanied by varying probabilities of footshock punishment. Male Long–Evans rats received intra-BLA microinjections of viral vectors carrying either halorhodopsin (eNpHR3.0-mCherry) or mCherry alone (control) followed by optic fiber implants and were trained in the risky decision-making task. Laser delivery during the task occurred during intertrial interval, deliberation, or reward outcome phases, the latter of which was further divided into the three possible outcomes (small, safe; large, unpunished; large, punished). Inhibition of the BLA selectively during the deliberation phase decreased choice of the large, risky outcome (decreased risky choice). In contrast, BLA inhibition selectively during delivery of the large, punished outcome increased risky choice. Inhibition had no effect during the other phases, nor did laser delivery affect performance in control rats. Collectively, these data indicate that the BLA can either inhibit or promote choice of risky options, depending on the phase of the decision process in which it is active.

PDF | SLIDE


参考に、ここ数年の扁桃体関連論文リストです。

2015/07/15 野々村

A Corticostriatal Path Targeting Striosomes Controls Decision-Making under Conflict
Friedman A, Homma D, Gibb LG, Amemori K, Rubin SJ, Hood AS, Riad MH, Graybiel AM.
Cell. 2015 Jun 4;161(6):1320-33. doi: 10.1016/j.cell.2015.04.049. Epub 2015 May 28.

Rat のPLから背内側線条体のマトリックスに投射しているニューロンが，Rewardと Aversive baseの意思決定におけるconflictに特異的に関わっていることを，光遺伝学と電気生理の技術を使用して証明した論文です．

PDF | SLIDE

2015/02/10 吉田

The striatum multiplexes contextual and kinematic information to constrain motor habits execution
Rueda-Orozco PE, Robbe D
Nat Neurosci. 2015 Jan 26. doi: 10.1038/nn.3924.

習慣化された複数の運動から成る行動を実行するとき、
背外側線条体（DLS）の活動電位が
運動速度や時間など複数のパラメータを表現している、
というラットを使った研究です。

PDF | SUPPL

2014/11/11 榎本

Observation of Reward Delivery to a Conspecific Modulates Dopamine Release in Ventral Striatum
Vadim Kashtelyan, Nina T. Lichtenberg, Mindy L. Chen, Joseph F. Cheer, Matthew R. Roesch
Current Biology. Volume 24, Issue 21, p2564-2568, 3 November 2014

Highlights

• Dopamine is released when rats first observe a conspecific receive reward
• The dopaminergic response reverses in later trials
• Appetitive vocalizations are recorded when dopamine is released
• Rats emit aversive calls during later trials of observation

ラットに仲間が報酬をもらうのを見せたとき、はじめは嬉しげな行動をするし、じっさい線条体でドパミンが放出されるのだけれども、そのうち放出量が下がってきて、（文字通り）抗議の声を上げて（Ultrasonic vocalization）そちらを見もしなくなる、という話です。齧歯類でもここまでできる。

　＊

Neurons in the Monkey Amygdala Detect Eye Contact during Naturalistic Social Interactions.

Mosher CP, Zimmerman PE, Gothard KM.

Curr Biol. 2014 Oct 1. pii: S0960-9822(14)01127-0. 

おまけです。サルが目と目で通じ合う……

そういうときは扁桃体の特別なニューロンが発火しているのです。

PDF | SLIDE

2014/10/07 山中

Neurons in the ventral striatum exhibit cell-type-specific representations of outcome during learning
Atallah HE, McCool AD, Howe MW, Graybiel AM.
Neuron. 2014 Jun 4;82(5):1145-56. doi: 10.1016/j.neuron.2014.04.021.

Highlights

    •Plasticity in ventromedial striatum during reward learning is cell-type specific
    •Cholinergic interneurons signal outcome and track reinforcement contingencies
    •Spiny projection neurons (SPNs) lose outcome responses during learning
    •SPNs maintain responses at trial initiation and goal approach during learning

Stimulus-Action-Rewardの学習中にventral striatumの細胞が、そのタイプごと・学習フェーズごとにどのように異なる役割を担っているかについて、たくさんの細胞を記録してpopulationで比較しています。
Cholinergic interneuron(TAN)のacquisition phaseでの選択的な活動が興味深いです。

PDF | NEWS | SLIDE

2014/07/22 鮫島

Redishラボからの２本の論文を紹介します。
１本は行動のみの論文で、機会コストに応じた行動選択モデルを
最適採餌行動のモデルで説明する論文。

Wikenheiser, Andrew M., David W. Stephens, and A. David Redish.
Subjective costs drive overly patient foraging strategies in rats on an intertemporal foraging task.
Proceedings of the National Academy of Sciences 110.20 (2013): 8308-8313.

PDF

もう１本は、同じ課題で、過去の行動選択を振り返る「後悔」の
神経対応をみた論文です。

Steiner, Adam P., and A. David Redish.
Behavioral and neurophysiological correlates of regret in rat decision-making on a neuroeconomic task.
Nature neuroscience 17.7 (2014): 995-1002.

PDF

強化学習モデルが、行動経済や生態学でのモデルとどのような関係になるのか議論してみたいとおもいます。

SLIDE

2014/06/03 吉田

A Dual Operator View of Habitual Behavior Reflecting Cortical and Striatal Dynamics
Smith KS, Graybiel AM.
Neuron. 2013 Jul 24;79(2):361-74.

Highlights
•Striatal habit-related activity patterning, emerging early, is outcome insensitive
•Prefrontal cortical habit-related patterning emerges late and is flexible
•Superficial and deep cortical layers exhibit contrasting habit-related patterns
•Prefrontal activity is required for overtraining to yield a crystallized habit

今回のセミナーでは、習慣的行動の形成における背外側線条体、下辺縁皮質の働きを調べた論文を紹介します。

PDF | SUPPL | SLIDE

2013/11/29 山中

The Thalamostriatal Pathway and Cholinergic Control of Goal-Directed Action: Interlacing New with Existing Learning in the Striatum
Laura A. Bradfield, Jesus Bertran-Gonzalez, Billy Chieng, Bernard W. Balleine
Neuron, Volume 79, Issue 1, 153-166, 13 June 2013

Highlights
► The thalamostriatal pathway modulates activity in striatal cholinergic interneurons
► Altering striatal cholinergic activity does not affect initial goal-directed learning
► Striatal cholinergic activity is critical for new learning after contingencies change
► The thalamostriatal pathway reduces interference between new and existing learning

新しく学習した行動ー報酬の連合が既存の学習記憶とどう折り合いをつけていくかについて、視床線条体入力の役割に注目した論文です。
外的環境の変動に伴って新しい学習を要求されたとき、既存の連合記憶を上書きするのではなく、モジュールのような形で保っておきながら状態(state)の変化に応じて切り替える、というようなプロセスにposterior dorsomedial striatum(pDMS)の(視床ー線条体を介して)アセチルコチン(ACh)介在細胞が関与することを示しています。
視床PFから線条体への信号は「state prediction error」である可能性について議論してます。ただし、これをいうには、例えば二択で価値は同じだけれども状態だけreversalしたというような厳密なコントロールが必要なので難しいです。


PDF | SUPPL | NEWS | SLIDE

-----
補足１
AChは海馬や前脳基底部のような他の脳領域でもsynaptic tagやmemory traceという形でnew learningの獲得に重要であることがシナプスレベルでも示されています。
A synaptic memory trace for cortical receptive field plasticity
Froemke RC, Merzenich MM, Schreiner CE.
Nature. 2007 Nov 15;450(7168):425-9.

補足２
"state prediction error" signalについて、
States versus rewards: dissociable neural prediction error signals underlying model-based and model-free reinforcement learning
Gläscher J, Daw N, Dayan P, O'Doherty JP.
Neuron. 2010 May 27;66(4):585-95. doi: 10.1016/j.neuron.2010.04.016.

補足３
このBradfieldさんは他の視床核(anterior, MD)についても調べた論文も出してます。
The role of the anterior, mediodorsal, and parafascicular thalamus in instrumental conditioning
Bradfield LA, Hart G, Balleine BW.
Front Syst Neurosci. 2013 Oct 9;7:51.

補足４
視床CL核ー線条体投射と視床PF核ー線条体の違いについてoptogeneticsで調べた論文
Heterogeneous properties of central lateral and parafascicular thalamic synapses in the striatum
J Physiol. 2013 Jan 1;591(Pt 1):257-72. doi: 10.1113/jphysiol.2012.245233. Epub 2012 Oct 29.
Ellender TJ, Harwood J, Kosillo P, Capogna M, Bolam JP.

2013/08/07 山中

Canceling actions involves a race between basal ganglia pathways
Schmidt R, Leventhal DK, Mallet N, Chen F, Berke JD.
Nat Neurosci. 2013 Aug;16(8):1118-24. doi: 10.1038/nn.3456. Epub 2013 Jul 14.

Stop-Signal taskにおける行動のキャンセルプロセスが
大脳基底核の回路の中でどのように実現されているかというところに焦点を当てている論文です。


大脳基底核のあらゆるところにマルチ電極を刺して同時記録。
(1) SNrニューロンは線条体からの運動関連の抑制入力と視床下核(STN)からのSalient Cue(Stop signal)に対する興奮性入力を受ける
(2) これらの抑制性・興奮性入力の相対的な入力タイミングが行動をストップできるかどうかを決める(行動のゲーティング)
(3) SNrへの抑制性・興奮性入力を単純に加算するだけではこのゲーティングは起こらない
（Shunting inhibitionのようなことが起きている？）
(4) このような入力を受けるSNrの細胞はdorsolateralの部分(上丘の中間層に投射する領域)に位置している

STNのStop signalに対する超短潜時(15ms)の入力がどこから入ってくるのか、気になります。著者らはSubcorical、特にThalamus・PPNからの投射を考えているようです。
あとGP(サルだとGPe)があんまり関与していない結果でしたが、彼らはある刺激に従って行動をストップすることと行動をしないこと(NOGO)は別の回路だと考えていて(Berke, JDのHP)、indirect pathwayは行動をしないことに関与しているのではないかというようなことが書いてありました。

---
参考：行動のストップに関するAronのレビュー
From reactive to proactive and selective control: developing a richer model for stopping inappropriate responses.
Aron AR
Biol Psychiatry. 2011 Jun 15;69(12):e55-68. doi: 10.1016/j.biopsych.2010.07.024. Epub 2010 Oct 8.

PDF  SLIDE

2013/06/04 山中

Risk-responsive orbitofrontal neurons track acquired salience.
Ogawa M, van der Meer MA, Esber GR, Cerri DH, Stalnaker TA, Schoenbaum G.
Neuron. 2013 Jan 23;77(2):251-8.

動物は確実な報酬と連合した(Safety)Cueよりも
不確実な報酬と連合した(Risky)Cueに対して
強く注意を引きつけられます(high salience)

このような行動を説明するためのモデルをたてて、
これまでKepecsやSchultzが報告したOFCのRisk codingが
実はこのような行動を学習するために獲得したSaliencyによっても
よく説明できることを示しています。

---
 ・Schultz(2010)の課題のようなexpected valueは同じでリスクだけ異なるという条件ではなく、そもそもValueが異なる(100%>67%>33%>0%)。
このような課題で動物がHigh-value cueよりもRisky cueに対してより注意を払う（Reaction timeが短い、予測Lickingが多い）というのはどの程度consistentなものなのだろうか。
Fiorillo(2003)をみてみても1頭では100%cueよりも75%cueの方が予測Lickingは多かったりする。


-----
モデルの詳細は著者の一人であるEsberの2011の論文を参照
Reconciling the influence of predictiveness and uncertainty on stimulus salience: a model of attention in associative learning.
Esber GR, Haselgrove M.
Proc Biol Sci. 2011 Sep 7;278(1718):2553-61.

pdf  slide

2013/05/10 上條

The analysis of input integration around the dendritic branches in dentate granule cells

「海馬歯状回顆粒細胞の樹状突起分岐周辺における入力統合について」

slide

2013/04/26 野々村

The dorsomedial striatum encodes net expected return, critical for energizing performance vigor.
Wang AY, Miura K, Uchida N.
Nat Neurosci. 2013 Apr 14.

ラットのDorsomedial Striatumがresponse vigorを調整すること（action selectionではなく）に重要な役割を果たしていることを主張した論文です．

pdf  slide

2013/02/25 榎本

Dopamine encoding of pavlovian incentive stimuli diminishes with extended training.
Clark JJ, Collins AL, Sanford CA, Phillips PE.
J Neurosci. 2013 Feb 20;33(8):3526-32.

　ラット、ドパミン、ボルタメトリー。古典的条件付け課題でCS→US連合学習。オーバートレーニングでドパミンのCS応答はぐんぐん小さくなるのだけれど、学習しているのはイベントの時間間隔なんかも含めたコンテクストで、じっさいCSを早めに出したりすれば、ドパミンはたくさんでる。

　いぜんのNature論文にあったSign-trackingラットだけ使用（Goal-trackingなやつらは除いてる）。あと薬物注入したり。

　＊

おまけ

Genetic origins of social networks in rhesus macaques.
Brent LJ, Heilbronner SR, Horvath JE, Gonzalez-Martinez J, Ruiz-Lambides A, Robinson AG, Skene JH, Platt ML.
Sci Rep. 2013;3:1042. doi: 10.1038/srep01042.

2012/12/04 榎本

The mysterious motivational functions of mesolimbic dopamine.
Salamone JD, Correa M.
Neuron. 2012 Nov 8;76(3):470-85.

側坐核ドパミン系機能についての、心理学者ぽいまとめです。ゴールまでの心理的距離（物理的距離、待ち時間、確率、労働）をのりこえるための、辺縁系から運動系への橋渡し、というかんじ…？

＊

Pain relief produces negative reinforcement through activation of mesolimbic reward-valuation circuitry.
Navratilova E, Xie JY, Okun A, Qu C, Eyde N, Ci S, Ossipov MH, King T, Fields HL, Porreca F.
Proc Natl Acad Sci U S A. 2012 Nov 26. [Epub ahead of print]

痛みの緩和が報酬になる……ラットの脚を傷つけて、リドカイン注射で沈痛してやると、VTA→NAc medial shellへ投射しているドパミン依存的に条件付け場所嗜好性がみられ、VTAでのcFOS発現、マイクロダイアリシスで側坐核におけるドパミン放出まで確認してます。嫌悪刺激にたいして興奮応答するようなやつとはちがって、古典的な報酬系の回路っぽい。入力は傍小脳脚核や帯状皮質（直接または扁桃体を介して）、外側手綱核から間接的に？

＊

おまけ

脳の中のグリア細胞の働きで、運動学習が加速することを発見 ―神経細胞とは異なるグリア細胞の活動を光で自在に操る技術を確立―

意識のことまで話しを拡げているのがおもしろいです。

2012/11/27 春野

Emotional environments retune the valence of appetitive versus fearful functions in nucleus accumbens.
Reynolds SM, Berridge KC.
Nat Neurosci. 2008 Apr;11(4):423-5.


Nucleus accumbens dopamine/glutamate interaction switches modes to generate desire versus dread: D(1) alone for appetitive eating but D(1) and D(2) together for fear.
Richard JM, Berridge KC.
J Neurosci. 2011 Sep 7;31(36):12866-79.

2012/11/13 木村

Neural encoding of competitive effort in the anterior cingulate cortex.
Hillman KL, Bilkey DK.
Nat Neurosci. 2012 Sep;15(9):1290-7

2012/10/22

鮫島さん

Preference by association: how memory mechanisms in the hippocampus bias decisions.
Wimmer GE, Shohamy D.
Science. 2012 Oct 12;338(6104):270-3.

　＊

野々村さん

Human dorsal anterior cingulate cortex neurons mediate ongoing behavioural adaptation.
Sheth SA, Mian MK, Patel SR, Asaad WF, Williams ZM, Dougherty DD, Bush G, Eskandar EN.
Nature. 2012 Aug 9;488(7410):218-21.

2011/12/20 榎本

Projection-specific modulation of dopamine neuron synapses by aversive and rewarding stimuli.
Lammel S, Ion DI, Roeper J, Malenka RC.
Neuron. 2011 Jun 9;70(5):855-62.