2015/10/14 鮫島

Signatures of Value Comparison in Ventral Striatum Neurons

Caleb E. Strait, Brianna J. Sleezer, Benjamin Y. Hayden
PLoS Biol. 2015 Jun; 13(6): e1002173.

明日は、ちょっと古いですけどHaydenのPlos biologyの論文を中心に、 「価値に基づく意思決定がどこでどのようにおきるか？」について、 またそれを検証する方法について考えたいと思います。

 よろしくお願いします。

Abstract
The ventral striatum (VS), like its cortical afferents, is closely associated with processing of rewards, but the relative contributions of striatal and cortical reward systems remains unclear. Most theories posit distinct roles for these structures, despite their similarities. We compared responses of VS neurons to those of ventromedial prefrontal cortex (vmPFC) Area 14 neurons, recorded in a risky choice task. Five major response patterns observed in vmPFC were also observed in VS: (1) offer value encoding, (2) value difference encoding, (3) preferential encoding of chosen relative to unchosen value, (4) a correlation between residual variance in responses and choices, and (5) prominent encoding of outcomes. We did observe some differences as well; in particular, preferential encoding of the chosen option was stronger and started earlier in VS than in vmPFC. Nonetheless, the close match between vmPFC and VS suggests that cortex and its striatal targets make overlapping contributions to economic choice.

じっさいの実験データも公開されています。

PDF | SLIDE

2015/03/17 山中

Sensitivity of locus ceruleus neurons to reward value for goal-directed actions
Bouret S, Richmond BJ.
J Neurosci. 2015 Mar 4;35(9):4005-14.
doi: 10.1523/JNEUROSCI.4553-14.2015.

LC(locus coeruleus; 青斑核)のモチベーションコーディングの話です。


PDF | SLIDE
-----
ref.
Sara and Bouret, Neuron, 2012

Reward Schedule taskにおけるLC細胞とDA細胞の比較
Bouret et al.(Richmond), Front.Behav.Neurosci., 2012

2014/03/14 鮫島

Changing value through cued approach: an automatic mechanism of behavior change
Tom Schonberg, Akram Bakkour, Ashleigh M Hover, Jeanette A Mumford, Lakshya Nagar, Jacob Perez & Russell A Poldrack
Nat Neurosci. 2014 Mar 9. doi: 10.1038/nn.3673.

単純なcue-approachingで value updateがおきちゃいます。という非常にシンプルな話の論文を紹介します。価値の更新はreinforcerやfeedbackによって起きるというのがこれまでの心理・強化学習・経済学での理論で使われていますが、実は他のシンプルな要因によっても価値のupdateが起きてしまうということを新しく示した論文です。過去の経験から対象の価値がどのような変化するのかを考えるのに重要そうな論文ですので紹介させていただきます。

PDF | SUPPL | SLIDE

2014/01/31 山中

Causal Evidence of Performance Monitoring by Neurons in Posterior Cingulate Cortex during Learning
Heilbronner SR, Platt ML
Neuron. 2013 Dec 18;80(6):1384-91.

Highlights
► CGp neurons responded phasically to errors and predicted future poor performance
► Reversible inactivation of posterior cingulate blocked new learning
► Default mode network activity is necessary for cognitively demanding performance

Posterior cingulate cortex(CGp)のエラー信号が
行動のモニター＆補償に関与するという内容です。
main findingは、
(1) CGpがoutcome periodでエラー信号をコードすること(error trialの方がcorrect trialよりも応答が大きい)
(2) 学習初期におけるこのエラー信号が学習後期のパフォーマンスを予測すること
(3) CGpをムシモルで不活化すると学習が阻害される(novel, small-reward stimulusのみ)

特に(2)のパフォーマンス予測(Fig.S2)がcorrect trialのデータだけ集めても予測できるというのはどういうことなのか？
Outcome提示期間のエラーシグナルだけでなく、Haydenらが示したようなベースラインそのものが変わっていたりするのか？

PDF | SUPPL | SLIDE

---
★CGp Review
Posterior cingulate cortex: adapting behavior to a changing world.
Pearson JM, Heilbronner SR, Barack DL, Hayden BY, Platt ML.
Trends Cogn Sci. 2011 Apr;15(4):143-51. doi: 10.1016/j.tics.2011.02.002. Epub 2011 Mar 21.

★Default mode network
A default mode of brain function.
Raichle ME, MacLeod AM, Snyder AZ, Powers WJ, Gusnard DA, Shulman GL.
Proc Natl Acad Sci U S A. 2001 Jan 16;98(2):676-82.

2013/07/12 渡邊

こんばんは。夜分遅く失礼します。渡邊です。

明日の発表では「学習性無力感」とその脳内メカニズムについていくつかの研究を紹介しながら、これまで明らかになっている点、未だ明らかになっていない点についてお話したいと思います。
というのも、自分が現在計画している実験系において罰(電気ショック)を使った課題を考えているのですが、そのような学習過程では、学習性無力感に陥ってしまう可能性もあり、それは自分が見たい現象と切り分けられるかディスカッションさせていただきたいと思っています。

添付は今回の話の元にしたReview

Helplessness: a systematic translational review of theory and evidence for its relevance to understanding and treating depression.
Pryce CR, Azzinnari D, Spinelli S, Seifritz E, Tegethoff M, Meinlschmidt G.
Pharmacol Ther. 2011 Dec;132(3):242-67.

それと学習性無力感について特に重要な論文

Medial prefrontal cortex determines how stressor controllability affects behavior and dorsal raphe nucleus.
Amat J, Baratta MV, Paul E, Bland ST, Watkins LR, Maier SF.
Nat Neurosci. 2005 Mar;8(3):365-71.

です。
よろしくお願いします。

PDF1  PDF2  SLIDE

2013/03/26 渡邊言也

Neural pattern similarity predicts long-term fear memory.

Visser RM, Scholte HS, Beemsterboer T, Kindt M.

Nat Neurosci. 2013 Feb 24.

ヒトの恐怖学習後の長期記憶(平均22日)の保持レベルの個人差を、学習中の脳活動から予測しようした試みです。そのためにMVPAの一種であるRepresentational similarity analysisを用いて解析しています。結果としては、特にvmPFC, Amygdala, HippocampusのBOLD信号から、長期恐怖記憶の保持の有無を予測できる可能性が示されています。

2013/02/12 春野

Neural correlates of reinforcement learning and social preferences in competitive bidding.
van den Bos W, Talwar A, McClure SM.
J Neurosci. 2013 Jan 30;33(5):2137-46.

In competitive social environments, people often deviate from what rational choice theory prescribes, resulting in losses or suboptimal monetary gains. We investigate how competition affects learning and decision-making in a common value auction task. During the experiment, groups of five human participants were simultaneously scanned using MRI while playing the auction task. We first demonstrate that bidding is well characterized by reinforcement learning with biased reward representations dependent on social preferences. Indicative of reinforcement learning, we found that estimated trial-by-trial prediction errors correlated with activity in the striatum and ventromedial prefrontal cortex. Additionally, we found that individual differences in social preferences were related to activity in the temporal-parietal junction and anterior insula. Connectivity analyses suggest that monetary and social value signals are integrated in the ventromedial prefrontal cortex and striatum. Based on these results, we argue for a novel mechanistic account for the integration of reinforcement history and social preferences in competitive decision-making.

2012/05/28 榎本

Dopaminergic mechanisms of individual differences in human effort-based decision-making.
Treadway MT, Buckholtz JW, Cowan RL, Woodward ND, Li R, Ansari MS, Baldwin RM, Schwartzman AN, Kessler RM, Zald DH.
J Neurosci. 2012 May 2;32(18):6170-6.