A multiplicative reinforcement learning model capturing learning dynamics and interindividual variability in mice
Bathellier B, Tee SP, Hrovat C, Rumpel S.
Proc Natl Acad Sci U S A. 2013 Dec 3;110(49):19950-5. doi: 10.1073/pnas.1312125110.
マウスの学習の個体差を説明するちょっと変わった
強化学習モデルと、その初期パラメータについて紹介します。
モデルベースで解析する場合、学習率や探索度合いなどのメタパラメータをデータに合わせることはよくやるのですが、ほとんどの場合は学習されるパラメータの初期パラメータは固定でやります。この論文では実は個体差を説明するのは初期パラメータなんじゃないかということを主張しています。
また、モデルとして固定の学習率を使うと、行動を説明できず、学習率がこれまで学習してきた履歴に依存するような「掛け算的」なモデルだとうまくフィッティングできましたよ、とも言っています。
説明しているのは行動だけですが、神経とも対応づけたモデルの論文です。私たちもやっているupdateのモデルなどに応用できる考え方かもしれないので、ご紹介します。
PDF
2013/12/20
2013/12/13
2013/12/13 渡邊
Prefrontal entrainment of amygdala activity signals safety in learned fear and innate anxiety
Ekaterina Likhtik, Joseph M Stujenske, Mihir A Topiwala, Alexander Z
Harris & Joshua A Gordon
Nature Neuroscience Published online 17 November 2013
BLA-mPFCのコネクションはFear extinctionに重要であることが知られており、また最近ではBLA-mPFCのLocal field potentialのTheta oscillationの同期の関与が注目されております。
この論文ではFear discrimination (あるCueまたは状況が危険か危険ではないか)という弁別にもこのBLA-mPFCのTheta oscilattionが関与していることを報告しています。
また、単にTheta bandの同期があるということのみではなく、OscillationがmPFCとBLAでどちらが優位か(先導しているか)という点で様々な解析を行っております。結果としましては、安全なCueが提示された場合には同期のリズムがmPFC⇒BLAとなり、つまりmPFC優位になります。一方で危険なCueに対してはBLAの神経発火が上昇し、Theta oscillation同期はBLAとmPFCどちらかが先行することはなくなります。
外界から喚起される情動がどのようにコントロールされ、また反対にコントロールから解放されて強い情動を喚起するのか、示唆を与えてくれる内容です。
PDF | SUPPL | SLIDE
Ekaterina Likhtik, Joseph M Stujenske, Mihir A Topiwala, Alexander Z
Harris & Joshua A Gordon
Nature Neuroscience Published online 17 November 2013
BLA-mPFCのコネクションはFear extinctionに重要であることが知られており、また最近ではBLA-mPFCのLocal field potentialのTheta oscillationの同期の関与が注目されております。
この論文ではFear discrimination (あるCueまたは状況が危険か危険ではないか)という弁別にもこのBLA-mPFCのTheta oscilattionが関与していることを報告しています。
また、単にTheta bandの同期があるということのみではなく、OscillationがmPFCとBLAでどちらが優位か(先導しているか)という点で様々な解析を行っております。結果としましては、安全なCueが提示された場合には同期のリズムがmPFC⇒BLAとなり、つまりmPFC優位になります。一方で危険なCueに対してはBLAの神経発火が上昇し、Theta oscillation同期はBLAとmPFCどちらかが先行することはなくなります。
外界から喚起される情動がどのようにコントロールされ、また反対にコントロールから解放されて強い情動を喚起するのか、示唆を与えてくれる内容です。
PDF | SUPPL | SLIDE
2013/12/13 田中
Neural traces of stress: cortisol related sustained enhancement of amygdala-hippocampal functional connectivity
Vaisvaser S, Lin T, Admon R, Podlipsky I, Greenman Y, Stern N, Fruchter E, Wald I, Pine DS, Tarrasch R, Bar-Haim Y, Hendler T.
Front Hum Neurosci. 2013 Jul 5;7:313. doi: 10.3389/fnhum.2013.00313. eCollection 2013.
今流行の resting stateの論文で、扁桃体と海馬のコネクションがストレス直後に強くなり、それが2時間経っても元のレベルに戻らないグループが存在するという事、そして元に戻らないグループは、ストレスをかけてもコルチゾル濃度が上昇しないグループだったという事を示しています。
PDF | SLIDE
Vaisvaser S, Lin T, Admon R, Podlipsky I, Greenman Y, Stern N, Fruchter E, Wald I, Pine DS, Tarrasch R, Bar-Haim Y, Hendler T.
Front Hum Neurosci. 2013 Jul 5;7:313. doi: 10.3389/fnhum.2013.00313. eCollection 2013.
今流行の resting stateの論文で、扁桃体と海馬のコネクションがストレス直後に強くなり、それが2時間経っても元のレベルに戻らないグループが存在するという事、そして元に戻らないグループは、ストレスをかけてもコルチゾル濃度が上昇しないグループだったという事を示しています。
PDF | SLIDE
2013/12/06
2013/12/06 野々村
Cortical signals for rewarded actions and strategic exploration
Donahue CH, Seo H, Lee D.
Neuron. 2013 Oct 2;80(1):223-34. doi: 10.1016/j.neuron.2013.07.040. Epub 2013 Sep 5.
Highlights
► Monkeys exhibit win-stay behavior more frequently than lose-switch behavior
► Cortical encoding of past choices is more robust after reward
► Coding of rewarded actions in the SEF increases with switching behaviors
► Reward-enhanced encoding of past choices is task dependent in the SEF
サルを使った電気生理の研究で,SEFの活動がexprolationを誘発することに関わっているということを主張した論文になります.
PDF | SUPPL | SLIDE
Donahue CH, Seo H, Lee D.
Neuron. 2013 Oct 2;80(1):223-34. doi: 10.1016/j.neuron.2013.07.040. Epub 2013 Sep 5.
Highlights
► Monkeys exhibit win-stay behavior more frequently than lose-switch behavior
► Cortical encoding of past choices is more robust after reward
► Coding of rewarded actions in the SEF increases with switching behaviors
► Reward-enhanced encoding of past choices is task dependent in the SEF
サルを使った電気生理の研究で,SEFの活動がexprolationを誘発することに関わっているということを主張した論文になります.
PDF | SUPPL | SLIDE
2013/12/06 深代
Similarity increases altruistic punishment in humans
Mussweiler T, Ockenfels A.
Proc Natl Acad Sci U S A. 2013 Nov 26;110(48):19318-23.
doi: 10.1073/pnas.1215443110. Epub 2013 Nov 11.
人間の他者にたいする認識は、協調というコンテクストにおいて影響がin-group vs out-groupとは違う―ということを主張した論文です。
PDF | SLIDE
Mussweiler T, Ockenfels A.
Proc Natl Acad Sci U S A. 2013 Nov 26;110(48):19318-23.
doi: 10.1073/pnas.1215443110. Epub 2013 Nov 11.
人間の他者にたいする認識は、協調というコンテクストにおいて影響がin-group vs out-groupとは違う―ということを主張した論文です。
PDF | SLIDE
2013/11/29
2013/11/29 山中
The Thalamostriatal Pathway and Cholinergic Control of Goal-Directed Action: Interlacing New with Existing Learning in the Striatum
Laura A. Bradfield, Jesus Bertran-Gonzalez, Billy Chieng, Bernard W. Balleine
Neuron, Volume 79, Issue 1, 153-166, 13 June 2013
Highlights
► The thalamostriatal pathway modulates activity in striatal cholinergic interneurons
► Altering striatal cholinergic activity does not affect initial goal-directed learning
► Striatal cholinergic activity is critical for new learning after contingencies change
► The thalamostriatal pathway reduces interference between new and existing learning
新しく学習した行動ー報酬の連合が既存の学習記憶とどう折り合いをつけていくかについて、視床線条体入力の役割に注目した論文です。
外的環境の変動に伴って新しい学習を要求されたとき、既存の連合記憶を上書きするのではなく、モジュールのような形で保っておきながら状態(state)の変化に応じて切り替える、というようなプロセスにposterior dorsomedial striatum(pDMS)の(視床ー線条体を介して)アセチルコチン(ACh)介在細胞が関与することを示しています。
視床PFから線条体への信号は「state prediction error」である可能性について議論してます。ただし、これをいうには、例えば二択で価値は同じだけれども状態だけreversalしたというような厳密なコントロールが必要なので難しいです。
PDF | SUPPL | NEWS | SLIDE
-----
補足1
AChは海馬や前脳基底部のような他の脳領域でもsynaptic tagやmemory traceという形でnew learningの獲得に重要であることがシナプスレベルでも示されています。
A synaptic memory trace for cortical receptive field plasticity
Froemke RC, Merzenich MM, Schreiner CE.
Nature. 2007 Nov 15;450(7168):425-9.
補足2
"state prediction error" signalについて、
States versus rewards: dissociable neural prediction error signals underlying model-based and model-free reinforcement learning
Gläscher J, Daw N, Dayan P, O'Doherty JP.
Neuron. 2010 May 27;66(4):585-95. doi: 10.1016/j.neuron.2010.04.016.
補足3
このBradfieldさんは他の視床核(anterior, MD)についても調べた論文も出してます。
The role of the anterior, mediodorsal, and parafascicular thalamus in instrumental conditioning
Bradfield LA, Hart G, Balleine BW.
Front Syst Neurosci. 2013 Oct 9;7:51.
補足4
視床CL核ー線条体投射と視床PF核ー線条体の違いについてoptogeneticsで調べた論文
Heterogeneous properties of central lateral and parafascicular thalamic synapses in the striatum
J Physiol. 2013 Jan 1;591(Pt 1):257-72. doi: 10.1113/jphysiol.2012.245233. Epub 2012 Oct 29.
Ellender TJ, Harwood J, Kosillo P, Capogna M, Bolam JP.
Laura A. Bradfield, Jesus Bertran-Gonzalez, Billy Chieng, Bernard W. Balleine
Neuron, Volume 79, Issue 1, 153-166, 13 June 2013
Highlights
► The thalamostriatal pathway modulates activity in striatal cholinergic interneurons
► Altering striatal cholinergic activity does not affect initial goal-directed learning
► Striatal cholinergic activity is critical for new learning after contingencies change
► The thalamostriatal pathway reduces interference between new and existing learning
新しく学習した行動ー報酬の連合が既存の学習記憶とどう折り合いをつけていくかについて、視床線条体入力の役割に注目した論文です。
外的環境の変動に伴って新しい学習を要求されたとき、既存の連合記憶を上書きするのではなく、モジュールのような形で保っておきながら状態(state)の変化に応じて切り替える、というようなプロセスにposterior dorsomedial striatum(pDMS)の(視床ー線条体を介して)アセチルコチン(ACh)介在細胞が関与することを示しています。
視床PFから線条体への信号は「state prediction error」である可能性について議論してます。ただし、これをいうには、例えば二択で価値は同じだけれども状態だけreversalしたというような厳密なコントロールが必要なので難しいです。
PDF | SUPPL | NEWS | SLIDE
-----
補足1
AChは海馬や前脳基底部のような他の脳領域でもsynaptic tagやmemory traceという形でnew learningの獲得に重要であることがシナプスレベルでも示されています。
A synaptic memory trace for cortical receptive field plasticity
Froemke RC, Merzenich MM, Schreiner CE.
Nature. 2007 Nov 15;450(7168):425-9.
補足2
"state prediction error" signalについて、
States versus rewards: dissociable neural prediction error signals underlying model-based and model-free reinforcement learning
Gläscher J, Daw N, Dayan P, O'Doherty JP.
Neuron. 2010 May 27;66(4):585-95. doi: 10.1016/j.neuron.2010.04.016.
補足3
このBradfieldさんは他の視床核(anterior, MD)についても調べた論文も出してます。
The role of the anterior, mediodorsal, and parafascicular thalamus in instrumental conditioning
Bradfield LA, Hart G, Balleine BW.
Front Syst Neurosci. 2013 Oct 9;7:51.
補足4
視床CL核ー線条体投射と視床PF核ー線条体の違いについてoptogeneticsで調べた論文
Heterogeneous properties of central lateral and parafascicular thalamic synapses in the striatum
J Physiol. 2013 Jan 1;591(Pt 1):257-72. doi: 10.1113/jphysiol.2012.245233. Epub 2012 Oct 29.
Ellender TJ, Harwood J, Kosillo P, Capogna M, Bolam JP.
2013/11/29 高見
Female contact modulates male aggression via a sexually dimorphic GABAergic circuit in Drosophila
Yuan Q, Song Y, Yang CH, Jan LY, Jan YN.
Nat Neurosci. 2013 Nov 17. doi: 10.1038/nn.3581.
本日のセミナーでは、
ショウジョウバエにおいて、雌との接触が性的二形性のGABA作動性回路を介して
雄の攻撃性を抑制するという論文を紹介します。
筆者たちは攻撃行動について遺伝学的なアプローチで説明します。
PDF | SUPPL | SLIDE
Yuan Q, Song Y, Yang CH, Jan LY, Jan YN.
Nat Neurosci. 2013 Nov 17. doi: 10.1038/nn.3581.
本日のセミナーでは、
ショウジョウバエにおいて、雌との接触が性的二形性のGABA作動性回路を介して
雄の攻撃性を抑制するという論文を紹介します。
筆者たちは攻撃行動について遺伝学的なアプローチで説明します。
PDF | SUPPL | SLIDE
2013/11/22
2013/11/22 春野
Stimulus-specific enhancement of fear extinction during slow-wave sleep
Hauner KK, Howard JD, Zelano C, Gottfried JA.
Nat Neurosci. 2013 Nov;16(11):1553-5. doi: 10.1038/nn.3527. Epub 2013 Sep 22.
Department of Neurology, Feinberg School of Medicine, Northwestern University, Chicago, Illinois, USA.
contextual fear conditioningで与えたcontextを睡眠中に与えるとcontext-specificにfear extinctionを増強するというNature Neuroscienceの論文についてお話します。
PDF | SUPPL | SLIDE
Hauner KK, Howard JD, Zelano C, Gottfried JA.
Nat Neurosci. 2013 Nov;16(11):1553-5. doi: 10.1038/nn.3527. Epub 2013 Sep 22.
Department of Neurology, Feinberg School of Medicine, Northwestern University, Chicago, Illinois, USA.
contextual fear conditioningで与えたcontextを睡眠中に与えるとcontext-specificにfear extinctionを増強するというNature Neuroscienceの論文についてお話します。
PDF | SUPPL | SLIDE
2013/11/22 池上
Neural representations of events arise from temporal community structure
Schapiro AC, Rogers TT, Cordova NI, Turk-Browne NB, Botvinick MM.
Nat Neurosci. 2013 Apr;16(4):486-92. doi: 10.1038/nn.3331. Epub 2013 Feb 17.
Department of Psychology, Princeton University, Princeton, New Jersey, USA. schapiro@princeton.edu
event parsingに関する論文を紹介します。
これまでは、prediction errorやsurpriseをもとにevent parsingを行なっていると考えられてきましたが、この研究ではeventの構成要素が共有する要素間の時間的関係性がevent parsingのkeyになると主張しています。
PDF | SUPPL | SLIDE
Schapiro AC, Rogers TT, Cordova NI, Turk-Browne NB, Botvinick MM.
Nat Neurosci. 2013 Apr;16(4):486-92. doi: 10.1038/nn.3331. Epub 2013 Feb 17.
Department of Psychology, Princeton University, Princeton, New Jersey, USA. schapiro@princeton.edu
event parsingに関する論文を紹介します。
これまでは、prediction errorやsurpriseをもとにevent parsingを行なっていると考えられてきましたが、この研究ではeventの構成要素が共有する要素間の時間的関係性がevent parsingのkeyになると主張しています。
PDF | SUPPL | SLIDE
2013/10/25
2013/10/25 榎本
Activity of striatal neurons reflects social action and own reward.
Baez-Mendoza R, Harris CJ, Schultz W.
Proc Natl Acad Sci U S A. 2013 Oct 8;110(41):16634-9.
線条体細胞が社会的コンテキストにおいて他者の報酬・行動を反映した応答を示すという論文です。向かい合った二頭のサルが交互に行動し、自己/他者の報酬の有無が刻々変わる。線条体前部(被殻・尾状核)の投射細胞はさまざまなタイミングで応答し、その多くが自己の報酬の有無だけをコードしていたのだけれども、自己の行動・他者の行動の情報を持ってるやつも少なからずいました。相手をサルからコンピュータに変えると応答がなくなる細胞もいることが確かめられたので、これはソーシャルであろう、と結論してます。いままでご紹介したサル電気生理の仕事では、前頭内側皮質やOFC、またACCなんかが他者の行動や報酬に関係する活動を示すことを報告していますが、社会的な文脈における運動と報酬情報を両方持ってる脳部位として、線条体は重要であろう、という。
とはいえ、後からごちゃごちゃ解析してる割にはTask epochごとの活動のちがい、Error trialによるReward/Action valueへの影響なんかについては言及していませんし(他者行動ニューロンはAction prediction errorみたいな応答をしている)、記録部位による活動の違いもありそうですけど何も記述がありません。サルは二頭しか使っていませんが(集団飼育している4頭のうちの順位の低い2頭を使用)、ヒエラルキーも影響するでしょう。もうちょっと突っ込んだ解析を期待したいところです。また、コントロール実験でコンピュータを相手にすると活動が変わった細胞がいましたが、半数以上がその影響がないわけで、皮質下の脳領域において、どこまで社会的状況が大事なのか疑問が残ります。
PDF | SLIDE
おまけ
Ant colonies outperform individuals when a sensory discrimination task is difficult but not when it is easy
いつでも集合知が良いわけじゃないという話です
Baez-Mendoza R, Harris CJ, Schultz W.
Proc Natl Acad Sci U S A. 2013 Oct 8;110(41):16634-9.
線条体細胞が社会的コンテキストにおいて他者の報酬・行動を反映した応答を示すという論文です。向かい合った二頭のサルが交互に行動し、自己/他者の報酬の有無が刻々変わる。線条体前部(被殻・尾状核)の投射細胞はさまざまなタイミングで応答し、その多くが自己の報酬の有無だけをコードしていたのだけれども、自己の行動・他者の行動の情報を持ってるやつも少なからずいました。相手をサルからコンピュータに変えると応答がなくなる細胞もいることが確かめられたので、これはソーシャルであろう、と結論してます。いままでご紹介したサル電気生理の仕事では、前頭内側皮質やOFC、またACCなんかが他者の行動や報酬に関係する活動を示すことを報告していますが、社会的な文脈における運動と報酬情報を両方持ってる脳部位として、線条体は重要であろう、という。
とはいえ、後からごちゃごちゃ解析してる割にはTask epochごとの活動のちがい、Error trialによるReward/Action valueへの影響なんかについては言及していませんし(他者行動ニューロンはAction prediction errorみたいな応答をしている)、記録部位による活動の違いもありそうですけど何も記述がありません。サルは二頭しか使っていませんが(集団飼育している4頭のうちの順位の低い2頭を使用)、ヒエラルキーも影響するでしょう。もうちょっと突っ込んだ解析を期待したいところです。また、コントロール実験でコンピュータを相手にすると活動が変わった細胞がいましたが、半数以上がその影響がないわけで、皮質下の脳領域において、どこまで社会的状況が大事なのか疑問が残ります。
PDF | SLIDE
おまけ
Ant colonies outperform individuals when a sensory discrimination task is difficult but not when it is easy
いつでも集合知が良いわけじゃないという話です
2013/10/25 杉本
今後予定している研究計画の発表
参考資料
Learning Objective Functions for Manipulation
Kalakrishnan, M.; Pastor, P.; Righetti, L.; Schaal, S.
IEEE International Conference on Robotics and Automation, 2013
経路積分強化学習にもとづいた逆強化学習の論文です。
アルゴリズムをかいつまんで紹介しながら、
それに基づいた研究計画をお話しします。
PDF
参考資料
Learning Objective Functions for Manipulation
Kalakrishnan, M.; Pastor, P.; Righetti, L.; Schaal, S.
IEEE International Conference on Robotics and Automation, 2013
経路積分強化学習にもとづいた逆強化学習の論文です。
アルゴリズムをかいつまんで紹介しながら、
それに基づいた研究計画をお話しします。
2013/10/04
2013/10/04 鮫島
Distinct Basal Ganglia Circuits Controlling Behaviors Guided by Flexible and Stable Values
Hyoung F Kim & Okihide Hikosaka
Neuron, Volume 79, Issue 5, 1001-1010, 2013
Highlights
► Neurons in the primate caudate nucleus encode reward values of visual objects
► Flexible and stable values are encoded in the caudate head and tail, respectively
► Inactivation of caudate head disrupts gaze choice guided solely by flexible values
► Inactivation of caudate tail disrupts gaze choice guided solely by stable values
---
大脳皮質ー基底核ループの並列機能仮説のうち、 尾状核の様々ところから記録し、機能としてはcontrolled action と automatic actionという切り口でまとめた論文です。 直接choiceの際の活動の詳細な解析はありませんが、 object valueや変化の早さという新しい並列性を持ち込んでいます。
PDF | SUPPL | SLIDE
Neuron, Volume 79, Issue 5, 1001-1010, 2013
Highlights
► Neurons in the primate caudate nucleus encode reward values of visual objects
► Flexible and stable values are encoded in the caudate head and tail, respectively
► Inactivation of caudate head disrupts gaze choice guided solely by flexible values
► Inactivation of caudate tail disrupts gaze choice guided solely by stable values
---
大脳皮質ー基底核ループの並列機能仮説のうち、
PDF | SUPPL | SLIDE
2013/10/04 上條
Hilar Mossy Cell Degeneration Causes Transient Dentate Granule Cell Hyperexcitability and Impaired Pattern Separation
Jinde S, Zsiros V, Jiang Z, Nakao K, Pickel J, Kohno K, Belforte JE, Nakazawa K.
Neuron. 2012 Dec 20;76(6):1189-200. doi: 10.1016/j.neuron.2012.10.036.
Highlights
► New transgenic mouse line with inducible rapid degeneration of mossy cells
► Interneurons driven by mossy cells inhibit granule cell activity
► Loss of mossy cells alone is insufficient to trigger limbic epileptogenesis
► Mossy cell control of dentate excitability affects pattern separation function
---
先日の私の発表で海馬ハイラスにある苔状細胞が顆粒細胞や歯状回のコントロールをしているのではないか?に答えてくれる根拠の一つになる論文だと思います。
歯状回はパターンセパレーションや癲癇に大きく関わってると言われています。この論文では遺伝子改変マウスでハイラスの苔状細胞を特異的に変性させ、in vivoとin vitroで電気生理実験と行動実験を行い、上記の2点について述べています。
PDF | SUPPL | SLIDE
Jinde S, Zsiros V, Jiang Z, Nakao K, Pickel J, Kohno K, Belforte JE, Nakazawa K.
Neuron. 2012 Dec 20;76(6):1189-200. doi: 10.1016/j.neuron.2012.10.036.
Highlights
► New transgenic mouse line with inducible rapid degeneration of mossy cells
► Interneurons driven by mossy cells inhibit granule cell activity
► Loss of mossy cells alone is insufficient to trigger limbic epileptogenesis
► Mossy cell control of dentate excitability affects pattern separation function
---
先日の私の発表で海馬ハイラスにある苔状細胞が顆粒細胞や歯状回のコントロールをしているのではないか?に答えてくれる根拠の一つになる論文だと思います。
歯状回はパターンセパレーションや癲癇に大きく関わってると言われています。この論文では遺伝子改変マウスでハイラスの苔状細胞を特異的に変性させ、in vivoとin vitroで電気生理実験と行動実験を行い、上記の2点について述べています。
PDF | SUPPL | SLIDE
2013/09/27
2013/09/27 田中
Fear-enhancing effects of septal oxytocin receptors
Guzmán YF, Tronson NC, Jovasevic V, Sato K, Guedea AL, Mizukami H, Nishimori K, Radulovic J.
Nat Neurosci. 2013 Sep;16(9):1185-7. doi: 10.1038/nn.3465. Epub 2013 Jul 21.
オキシトシンはこれまで不安や恐怖を軽減する物質として焦点が当てられて来ましたが、
その効果が一方向性ではなく、逆向き(fear enhancement)にも作用し得るという内容です。
PDF SUPPL SLIDE
Guzmán YF, Tronson NC, Jovasevic V, Sato K, Guedea AL, Mizukami H, Nishimori K, Radulovic J.
Nat Neurosci. 2013 Sep;16(9):1185-7. doi: 10.1038/nn.3465. Epub 2013 Jul 21.
オキシトシンはこれまで不安や恐怖を軽減する物質として焦点が当てられて来ましたが、
その効果が一方向性ではなく、逆向き(fear enhancement)にも作用し得るという内容です。
PDF SUPPL SLIDE
2013/09/27 渡邊
Two Dimensions of Value: Dopamine Neurons Represent Reward But NotAversiveness
Christopher D. Fiorillo
Science 2 August 2013: Vol. 341 no. 6145 pp. 546-549
SNcやVTAのドパミンニューロンが報酬予測誤差の情報をコードしていることは、良く知られていることですが、多くの研究は「正の報酬」についての研究であり、「負の報酬」つまり罰については詳細な検証がされていませんでした。そして、多くの研究は明示的にまた暗黙的に報酬と罰は正反対の存在として扱ってきました。
確かに、強化学習モデルの報酬予測誤差理論では報酬も罰も、区別することなく一軸の中の一点として表現できます。また実際の動物の行動としては接近vs回避行動のどちらかしか起こりません。
しかしながら、今回Fiorilloが示した結果はドパミンは正の報酬しかコードしておらず、罰の情報はコードしていないというものです。そして、報酬の軸と罰の軸の二軸があると主張しています。
PDF SLIDE
Christopher D. Fiorillo
Science 2 August 2013: Vol. 341 no. 6145 pp. 546-549
SNcやVTAのドパミンニューロンが報酬予測誤差の情報をコードしていることは、良く知られていることですが、多くの研究は「正の報酬」についての研究であり、「負の報酬」つまり罰については詳細な検証がされていませんでした。そして、多くの研究は明示的にまた暗黙的に報酬と罰は正反対の存在として扱ってきました。
確かに、強化学習モデルの報酬予測誤差理論では報酬も罰も、区別することなく一軸の中の一点として表現できます。また実際の動物の行動としては接近vs回避行動のどちらかしか起こりません。
しかしながら、今回Fiorilloが示した結果はドパミンは正の報酬しかコードしておらず、罰の情報はコードしていないというものです。そして、報酬の軸と罰の軸の二軸があると主張しています。
PDF SLIDE
2013/09/20
2013/09/20 野々村
明日のセミナーは,添付した論文を紹介したいと思います.
SNc背外側領域のdopamine neuronがcognitice signalを,腹内則領域が
motivational signalを表象していることを発見した論文です.
Distinct representations of cognitive and motivational signals in midbrain dopamine neurons.
Matsumoto M, Takada M.
Neuron. 2013 Sep 4;79(5):1011-24.
Highlights
また,これらの領域と他の領域(皮質と線条体)との解剖学的結合を踏まえた上で,cognitive signalとmotivational signalがどのように情報処理されているかを議論したいと思っています.
PDF SLIDE
SNc背外側領域のdopamine neuronがcognitice signalを,腹内則領域が
motivational signalを表象していることを発見した論文です.
Distinct representations of cognitive and motivational signals in midbrain dopamine neurons.
Matsumoto M, Takada M.
Neuron. 2013 Sep 4;79(5):1011-24.
Highlights
- Dopamine neurons represent cognitive and motivational signals
- Activity of dorsolateral dopamine neurons reflects working memory demand
- Ventromedial dopamine neurons encode conventional reward prediction signals
- These data are in favor of the functional segregation of dopamine neurons
また,これらの領域と他の領域(皮質と線条体)との解剖学的結合を踏まえた上で,cognitive signalとmotivational signalがどのように情報処理されているかを議論したいと思っています.
PDF SLIDE
2013/09/20 深代
An experimental study of the coloring problem on human subject networks.
Kearns M, Suri S, Montfort N.
Science. 2006 Aug 11;313(5788):824-7.
明日のセミナーは、添付した論文を紹介したいと思います。
脳の論文ではないのですが、人間を用いた色分け問題(となりの人と色がかぶらないように、色をぬっていく)において、ネットワーク構造がどのように機能し、また、ヒューリスティクスがどのような影響を与えるのか、についてお話したいと思います。
Abstract
My Discussion
Kearns M, Suri S, Montfort N.
Science. 2006 Aug 11;313(5788):824-7.
明日のセミナーは、添付した論文を紹介したいと思います。
脳の論文ではないのですが、人間を用いた色分け問題(となりの人と色がかぶらないように、色をぬっていく)において、ネットワーク構造がどのように機能し、また、ヒューリスティクスがどのような影響を与えるのか、についてお話したいと思います。
Abstract
Theoretical work suggests that structural properties of naturally occurring networks are important in shaping behavior and dynamics. However, the relationships between structure and behavior are difficult to establish through empirical studies, because the networks in such studies are typically fixed. We studied networks of human subjects attempting to solve the graph or network coloring problem, which models settings in which it is desirable to distinguish one's behavior from that of one's network neighbors. Networks generated by preferential attachment made solving the coloring problem more difficult than did networks based on cyclical structures, and “small worlds” networks were easier still. We also showed that providing more information can have opposite effects on performance, depending on network structure.
My Discussion
- Discussionにあったとおり、今回の論文では、ネットワークが事前に与えられ、その際のパフォーマンスがはかられている。
- みんながみんな、signalingを発して、自分の色を変えずらい人(頑固な?)人でもだめだし、みんながみんなsignalingはあまりださないが、色をすぐに変える人でも、この問題はすぐに解けないのではないかと思う。
- この問題に対する戦略とpersonalityとの相関がみられ、また、どういった組み合わせがいいのか(どういう組み合わせだとどういうネットワークになるのか)がわかれば面白いなあ・・・と思う。
2013/09/13
2013/09/13 高見
Seeing is believing: Neural mechanisms of action-perception are biased by team membership.
Molenberghs P, Halász V, Mattingley JB, Vanman EJ, Cunnington R.
Hum Brain Mapp. 2013 Sep;34(9):2055-68.
集団的な一体化はときにバイアスのかかった世界の見方を引き起こします。論文紹介をとおして、このようなin-group biasについての神経科学からのアプローチついて考えてみたいと思います。
PDF SLIDE
おまけです
イヤなイヤなイヤな奴 - ウィキペディア - Wikipedia
Molenberghs P, Halász V, Mattingley JB, Vanman EJ, Cunnington R.
Hum Brain Mapp. 2013 Sep;34(9):2055-68.
集団的な一体化はときにバイアスのかかった世界の見方を引き起こします。論文紹介をとおして、このようなin-group biasについての神経科学からのアプローチついて考えてみたいと思います。
PDF SLIDE
おまけです
イヤなイヤなイヤな奴 - ウィキペディア - Wikipedia
2013/08/07
2013/08/07 山中
Canceling actions involves a race between basal ganglia pathways
Schmidt R, Leventhal DK, Mallet N, Chen F, Berke JD.
Nat Neurosci. 2013 Aug;16(8):1118-24. doi: 10.1038/nn.3456. Epub 2013 Jul 14.
Stop-Signal taskにおける行動のキャンセルプロセスが
大脳基底核の回路の中でどのように実現されているかというところに焦点を当てている論文です。
大脳基底核のあらゆるところにマルチ電極を刺して同時記録。
(1) SNrニューロンは線条体からの運動関連の抑制入力と視床下核(STN)からのSalient Cue(Stop signal)に対する興奮性入力を受ける
(2) これらの抑制性・興奮性入力の相対的な入力タイミングが行動をストップできるかどうかを決める(行動のゲーティング)
(3) SNrへの抑制性・興奮性入力を単純に加算するだけではこのゲーティングは起こらない
(Shunting inhibitionのようなことが起きている?)
(4) このような入力を受けるSNrの細胞はdorsolateralの部分(上丘の中間層に投射する領域)に位置している
STNのStop signalに対する超短潜時(15ms)の入力がどこから入ってくるのか、気になります。著者らはSubcorical、特にThalamus・PPNからの投射を考えているようです。
あとGP(サルだとGPe)があんまり関与していない結果でしたが、彼らはある刺激に従って行動をストップすることと行動をしないこと(NOGO)は別の回路だと考えていて(Berke, JDのHP)、indirect pathwayは行動をしないことに関与しているのではないかというようなことが書いてありました。
---
参考:行動のストップに関するAronのレビュー
From reactive to proactive and selective control: developing a richer model for stopping inappropriate responses.
Aron AR
Biol Psychiatry. 2011 Jun 15;69(12):e55-68. doi: 10.1016/j.biopsych.2010.07.024. Epub 2010 Oct 8.
PDF SLIDE
Schmidt R, Leventhal DK, Mallet N, Chen F, Berke JD.
Nat Neurosci. 2013 Aug;16(8):1118-24. doi: 10.1038/nn.3456. Epub 2013 Jul 14.
Stop-Signal taskにおける行動のキャンセルプロセスが
大脳基底核の回路の中でどのように実現されているかというところに焦点を当てている論文です。
大脳基底核のあらゆるところにマルチ電極を刺して同時記録。
(1) SNrニューロンは線条体からの運動関連の抑制入力と視床下核(STN)からのSalient Cue(Stop signal)に対する興奮性入力を受ける
(2) これらの抑制性・興奮性入力の相対的な入力タイミングが行動をストップできるかどうかを決める(行動のゲーティング)
(3) SNrへの抑制性・興奮性入力を単純に加算するだけではこのゲーティングは起こらない
(Shunting inhibitionのようなことが起きている?)
(4) このような入力を受けるSNrの細胞はdorsolateralの部分(上丘の中間層に投射する領域)に位置している
STNのStop signalに対する超短潜時(15ms)の入力がどこから入ってくるのか、気になります。著者らはSubcorical、特にThalamus・PPNからの投射を考えているようです。
あとGP(サルだとGPe)があんまり関与していない結果でしたが、彼らはある刺激に従って行動をストップすることと行動をしないこと(NOGO)は別の回路だと考えていて(Berke, JDのHP)、indirect pathwayは行動をしないことに関与しているのではないかというようなことが書いてありました。
---
参考:行動のストップに関するAronのレビュー
From reactive to proactive and selective control: developing a richer model for stopping inappropriate responses.
Aron AR
Biol Psychiatry. 2011 Jun 15;69(12):e55-68. doi: 10.1016/j.biopsych.2010.07.024. Epub 2010 Oct 8.
PDF SLIDE
2013/08/07 春野
Multi-task connectivity reveals flexible hubs for adaptive task control.
Cole MW, Reynolds JR, Power JD, Repovs G, Anticevic A, Braver TS.
Nat Neurosci. 2013 Sep;16(9):1348-55.
Introduction
What will be done in this paper?
Discussion
Cole MW, Reynolds JR, Power JD, Repovs G, Anticevic A, Braver TS.
Nat Neurosci. 2013 Sep;16(9):1348-55.
- Decades of neuroimaging studies suggested that a core set of brain regions is centrally involved in implementing a wide variety of distinct task demands, including lateral prefrontal cortex (LPFC), posterior parietal cortex (PPC), anterior insula and medial prefrontal cortex.
- Here, authors focus on the fronto-parietal network (FPN). A fundamental mystery is that the FPN is most active during novel and non-routine tasks that the system could not have been shaped by practice.
- They examined the hypothesis that FPN is composed of “flexible hubs”: brain regions that flexibly and rapidly shift their brain-wide functional connectivity by combining functional connectivity, graph theory and machine learning.
- They show FPN involves greater variable connectivity across networks and across tasks than other networks.
- These connectivity changes maps systematically to the currently implemented task components.
- They examined compositional coding by first testing whether connectivity patterns encoded the similarity relationships between tasks, and then testing whether these distributed connectivity patterns can be used to reliably decode which task was being performed.
- The FPN had the highest GVC, an index of global variable connectivity, of all the major brain networks. This pattern was robust (i.e., individual FPN region, connectivity measures and the participation coefficient).
- Brain-wide FPN functional connectivity patterns across 64 task states encoded the similarity relationships between tasks.
- A limitation is the inclusion of only the major brain networks, and subcortical networks were not included.
2013/08/02
2013/08/02 池上
① 離散運動(例:手を伸ばす、ボールを蹴る)と周期運動(例:歩行、拍手)の間の学習効果の転移
② 運動の視覚フィードバックの与え方が周期運動の学習に与える影響
③ 他者の運動観察が自分の運動に与える影響
SLIDE
② 運動の視覚フィードバックの与え方が周期運動の学習に与える影響
③ 他者の運動観察が自分の運動に与える影響
SLIDE
2013/08/02 杉本
CiNetの杉本です。
明日の発表で用いる資料を添付します。このセミナーでの発表は初めてですので、自己紹介を兼ねて自分の研究を軽く紹介しようと思います。
私の興味(夢)は、自律的に動く人型ロボットの開発です。とは言っても現段階では運動機能の研究が主で、皆さんが研究されているような高次認知機能にはまだ到達できていません。SF映画に出てくるようなロボットを造るためには何が足りないのか、運動機能から一つ上の階層に上がるためのアドバイスを頂ければと思います。
よろしくお願いします。
SLIDE
明日の発表で用いる資料を添付します。このセミナーでの発表は初めてですので、自己紹介を兼ねて自分の研究を軽く紹介しようと思います。
私の興味(夢)は、自律的に動く人型ロボットの開発です。とは言っても現段階では運動機能の研究が主で、皆さんが研究されているような高次認知機能にはまだ到達できていません。SF映画に出てくるようなロボットを造るためには何が足りないのか、運動機能から一つ上の階層に上がるためのアドバイスを頂ければと思います。
よろしくお願いします。
SLIDE
2013/07/19
2013/07/19 榎本
Diffusion Dynamics of Socially Learned Foraging Techniques in Squirrel Monkeys
Nicolas Claidiere, Emily J.E. Messer, William Hoppitt, Andrew Whiten
Current Biology, Volume 23, Issue 13, 1251-1255, 27 June 2013
前回にひきつづきWhitenラボの研究で、社会的ネットワーク分析を用いて、リスザルにおける観察学習を調べた仕事です。
あとおまけでこれ
Group Size Predicts Social but Not Nonsocial Cognition in Lemurs
Evan L. MacLean mail, Aaron A. Sandel, Joel Bray, Ricki E. Oldenkamp, Rachna B. Reddy, Brian A. Hare
PLoS One. 2013
社会的・非社会的な認知機能と集団のサイズ・脳の大きさについての論文についても触れられればと思います。
PDF1 PDF2 SLIDE
Nicolas Claidiere, Emily J.E. Messer, William Hoppitt, Andrew Whiten
Current Biology, Volume 23, Issue 13, 1251-1255, 27 June 2013
前回にひきつづきWhitenラボの研究で、社会的ネットワーク分析を用いて、リスザルにおける観察学習を調べた仕事です。
あとおまけでこれ
Group Size Predicts Social but Not Nonsocial Cognition in Lemurs
Evan L. MacLean mail, Aaron A. Sandel, Joel Bray, Ricki E. Oldenkamp, Rachna B. Reddy, Brian A. Hare
PLoS One. 2013
社会的・非社会的な認知機能と集団のサイズ・脳の大きさについての論文についても触れられればと思います。
PDF1 PDF2 SLIDE
2013/07/19 鮫島
The Neural Representation of Unexpected Uncertainty during Value-Based Decision Making.
Payzan-Lenestour E, Dunne S, Bossaerts P, O'Doherty JP.
Neuron. 2013 Jul 10;79(1):191-201.
明日のセミナーは、unexpected uncertainty, estimation uncertainty, riskを分離しLocus Coeruleusの活動とunexpected uncertaintyとの相関を見いだした下記の論文を読みます。RL(model free)とBaysian model のvalue updatingの違いと解析について考えてみたいと思います。
PDF SLIDE
Payzan-Lenestour E, Dunne S, Bossaerts P, O'Doherty JP.
Neuron. 2013 Jul 10;79(1):191-201.
明日のセミナーは、unexpected uncertainty, estimation uncertainty, riskを分離しLocus Coeruleusの活動とunexpected uncertaintyとの相関を見いだした下記の論文を読みます。RL(model free)とBaysian model のvalue updatingの違いと解析について考えてみたいと思います。
PDF SLIDE
2013/07/12
2013/07/12 渡邊
こんばんは。夜分遅く失礼します。渡邊です。
明日の発表では「学習性無力感」とその脳内メカニズムについていくつかの研究を紹介しながら、これまで明らかになっている点、未だ明らかになっていない点についてお話したいと思います。
というのも、自分が現在計画している実験系において罰(電気ショック)を使った課題を考えているのですが、そのような学習過程では、学習性無力感に陥ってしまう可能性もあり、それは自分が見たい現象と切り分けられるかディスカッションさせていただきたいと思っています。
添付は今回の話の元にしたReview
Helplessness: a systematic translational review of theory and evidence for its relevance to understanding and treating depression.
Pryce CR, Azzinnari D, Spinelli S, Seifritz E, Tegethoff M, Meinlschmidt G.
Pharmacol Ther. 2011 Dec;132(3):242-67.
それと学習性無力感について特に重要な論文
Medial prefrontal cortex determines how stressor controllability affects behavior and dorsal raphe nucleus.
Amat J, Baratta MV, Paul E, Bland ST, Watkins LR, Maier SF.
Nat Neurosci. 2005 Mar;8(3):365-71.
です。
よろしくお願いします。
PDF1 PDF2 SLIDE
明日の発表では「学習性無力感」とその脳内メカニズムについていくつかの研究を紹介しながら、これまで明らかになっている点、未だ明らかになっていない点についてお話したいと思います。
というのも、自分が現在計画している実験系において罰(電気ショック)を使った課題を考えているのですが、そのような学習過程では、学習性無力感に陥ってしまう可能性もあり、それは自分が見たい現象と切り分けられるかディスカッションさせていただきたいと思っています。
添付は今回の話の元にしたReview
Helplessness: a systematic translational review of theory and evidence for its relevance to understanding and treating depression.
Pryce CR, Azzinnari D, Spinelli S, Seifritz E, Tegethoff M, Meinlschmidt G.
Pharmacol Ther. 2011 Dec;132(3):242-67.
それと学習性無力感について特に重要な論文
Medial prefrontal cortex determines how stressor controllability affects behavior and dorsal raphe nucleus.
Amat J, Baratta MV, Paul E, Bland ST, Watkins LR, Maier SF.
Nat Neurosci. 2005 Mar;8(3):365-71.
です。
よろしくお願いします。
PDF1 PDF2 SLIDE
2013/07/12 上條
Functional and structural properties of dentate granule cells with hilar basal dendrites in mouse entorhino-hippocampal slice cultures.
Becker D, Willems LM, Vnencak M, Zahn N, Schuldt G, Jedlicka P, Maggio N, Deller T, Vlachos A.
PLoS One. 2012;7(11):e48500.
上條です。
先日の私の研究内容紹介の時に話した結果を踏まえて、ディスカッションを考えたので皆様の意見を頂戴したいと考えていますので、よろしくお願いします。特にhilus内のローカルサーキットについて少し調べたので各細胞の投射の意味や意義について意見をいただければ幸いです。
明日のセミナーでは、dentate granule cellのbasal dendriteの論文を紹介します。私は全く知らなかった存在なので、紹介します。
PDF SLIDE
Becker D, Willems LM, Vnencak M, Zahn N, Schuldt G, Jedlicka P, Maggio N, Deller T, Vlachos A.
PLoS One. 2012;7(11):e48500.
上條です。
先日の私の研究内容紹介の時に話した結果を踏まえて、ディスカッションを考えたので皆様の意見を頂戴したいと考えていますので、よろしくお願いします。特にhilus内のローカルサーキットについて少し調べたので各細胞の投射の意味や意義について意見をいただければ幸いです。
明日のセミナーでは、dentate granule cellのbasal dendriteの論文を紹介します。私は全く知らなかった存在なので、紹介します。
PDF SLIDE
2013/06/28
2013/06/28 田中
Oxytocin regulates changes of extracellular glutamate and GABA levels induced by methamphetamine in the mouse brain.
Qi J, Han WY, Yang JY, Wang LH, Dong YX, Wang F, Song M, Wu CF.
Addict Biol. 2012 Jul;17(4):758-69.
明日のセミナーでは、追加解析したオキシトシン多型の結果をふまえ、以下の論文を紹介しつつ、今後のオキシトシン受容体解析の方向性を議論させて頂ければと思います。
pdf slide
Qi J, Han WY, Yang JY, Wang LH, Dong YX, Wang F, Song M, Wu CF.
Addict Biol. 2012 Jul;17(4):758-69.
明日のセミナーでは、追加解析したオキシトシン多型の結果をふまえ、以下の論文を紹介しつつ、今後のオキシトシン受容体解析の方向性を議論させて頂ければと思います。
pdf slide
2013/06/14
2013/06/14 野々村
明日は,先日Scienceに掲載された,オプトジェネティクスによって,マウスのOFC→VMS経路のhyper activationが強迫性障害(OCD)の症状(grooming)を誘発することを明らかにした論文を紹介したいと思います.
Repeated cortico-striatal stimulation generates persistent OCD-like behavior.
Ahmari SE, Spellman T, Douglass NL, Kheirbek MA, Simpson HB, Deisseroth K, Gordon JA, Hen R.
Science. 2013 Jun 7;340(6137):1234-9.
また,同じ巻のScienceに掲載されたAnn M. Graybielのlabの上記の論文とは逆の主張をしている論文も紹介したいと思います.
Optogenetic stimulation of lateral orbitofronto-striatal pathway suppresses compulsive behaviors.
Burguière E, Monteiro P, Feng G, Graybiel AM.
Science. 2013 Jun 7;340(6137):1243-6.
pdf1 pdf2 slide
Repeated cortico-striatal stimulation generates persistent OCD-like behavior.
Ahmari SE, Spellman T, Douglass NL, Kheirbek MA, Simpson HB, Deisseroth K, Gordon JA, Hen R.
Science. 2013 Jun 7;340(6137):1234-9.
また,同じ巻のScienceに掲載されたAnn M. Graybielのlabの上記の論文とは逆の主張をしている論文も紹介したいと思います.
Optogenetic stimulation of lateral orbitofronto-striatal pathway suppresses compulsive behaviors.
Burguière E, Monteiro P, Feng G, Graybiel AM.
Science. 2013 Jun 7;340(6137):1243-6.
pdf1 pdf2 slide
2013/06/14 深代
Dissociable medial prefrontal contributions to judgments of similar and dissimilar others.
Mitchell JP, Macrae CN, Banaji MR.
Neuron. 2006 May 18;50(4):655-63.
基本的には、他者を推測するときよりも自分に関して評価するときのほうがreaction timeがはやい。
平均的にliberalな人のほうがはやい。
また、平均的にself with liberalに対してより強くassociateする人が多い。
→けれども、なかにはself-with-conservativeに強く反応する人もいた。
Similarity と dissimilarityに関しては述べられているが、そのおのおのに対して、positiveな感情をもっているのかどうかまではわからない。
共感や、利他性に関しては、similarityだけではなく、定義づけや他の要素がどうなるか、なども考えなければならないのではないか。
pdf pptx
Mitchell JP, Macrae CN, Banaji MR.
Neuron. 2006 May 18;50(4):655-63.
基本的には、他者を推測するときよりも自分に関して評価するときのほうがreaction timeがはやい。
平均的にliberalな人のほうがはやい。
また、平均的にself with liberalに対してより強くassociateする人が多い。
→けれども、なかにはself-with-conservativeに強く反応する人もいた。
Similarity と dissimilarityに関しては述べられているが、そのおのおのに対して、positiveな感情をもっているのかどうかまではわからない。
共感や、利他性に関しては、similarityだけではなく、定義づけや他の要素がどうなるか、なども考えなければならないのではないか。
pdf pptx
2013/06/04
2013/06/04 山中
Risk-responsive orbitofrontal neurons track acquired salience.
Ogawa M, van der Meer MA, Esber GR, Cerri DH, Stalnaker TA, Schoenbaum G.
Neuron. 2013 Jan 23;77(2):251-8.
動物は確実な報酬と連合した(Safety)Cueよりも
不確実な報酬と連合した(Risky)Cueに対して
強く注意を引きつけられます(high salience)
このような行動を説明するためのモデルをたてて、
これまでKepecsやSchultzが報告したOFCのRisk codingが
実はこのような行動を学習するために獲得したSaliencyによっても
よく説明できることを示しています。
---
・Schultz(2010)の課題のようなexpected valueは同じでリスクだけ異なるという条件ではなく、そもそもValueが異なる(100%>67%>33%>0%)。
このような課題で動物がHigh-value cueよりもRisky cueに対してより注意を払う(Reaction timeが短い、予測Lickingが多い)というのはどの程度consistentなものなのだろうか。
Fiorillo(2003)をみてみても1頭では100%cueよりも75%cueの方が予測Lickingは多かったりする。
-----
モデルの詳細は著者の一人であるEsberの2011の論文を参照
Reconciling the influence of predictiveness and uncertainty on stimulus salience: a model of attention in associative learning.
Esber GR, Haselgrove M.
Proc Biol Sci. 2011 Sep 7;278(1718):2553-61.
pdf slide
Ogawa M, van der Meer MA, Esber GR, Cerri DH, Stalnaker TA, Schoenbaum G.
Neuron. 2013 Jan 23;77(2):251-8.
動物は確実な報酬と連合した(Safety)Cueよりも
不確実な報酬と連合した(Risky)Cueに対して
強く注意を引きつけられます(high salience)
このような行動を説明するためのモデルをたてて、
これまでKepecsやSchultzが報告したOFCのRisk codingが
実はこのような行動を学習するために獲得したSaliencyによっても
よく説明できることを示しています。
---
・Schultz(2010)の課題のようなexpected valueは同じでリスクだけ異なるという条件ではなく、そもそもValueが異なる(100%>67%>33%>0%)。
このような課題で動物がHigh-value cueよりもRisky cueに対してより注意を払う(Reaction timeが短い、予測Lickingが多い)というのはどの程度consistentなものなのだろうか。
Fiorillo(2003)をみてみても1頭では100%cueよりも75%cueの方が予測Lickingは多かったりする。
-----
モデルの詳細は著者の一人であるEsberの2011の論文を参照
Reconciling the influence of predictiveness and uncertainty on stimulus salience: a model of attention in associative learning.
Esber GR, Haselgrove M.
Proc Biol Sci. 2011 Sep 7;278(1718):2553-61.
pdf slide
2013/06/4 春野
Computational phenotyping of two-person interactions reveals differential neural response to depth-of-thought.
Xiang T, Ray D, Lohrenz T, Dayan P, Montague PR.
PLoS Comput Biol. 2012;8(12):e1002841.
Level0の被験者はstriatumに1st order errorの活動を示した。ナイーブな被験者が行動の変化にこのタイプの情報を使うことを示唆
Xiang T, Ray D, Lohrenz T, Dayan P, Montague PR.
PLoS Comput Biol. 2012;8(12):e1002841.
Level0の被験者はstriatumに1st order errorの活動を示した。ナイーブな被験者が行動の変化にこのタイプの情報を使うことを示唆
Level2の被験者のstriatumは 2nd order errorの活動を示した。 高度なプレイヤーは相手の行動の直接的影響を割引き、相手の信念と行動をシミュレートし、制御することを重視する。
この研究は社会的意思決定の論理的側面をモデル化した。しかし、例えば(Delgado et al. 2005)は、trusteeの道徳的記述(good, bad)がinvestorの行動と、decision, feedback時の線条体活動を(neutralの場合と比べ)変化させることを報告している。
2013/05/23
2013/05/23 榎本
Potent social learning and conformity shape a wild primate's foraging decisions.
van de Waal E, Borgeaud C, Whiten A.
Science. 2013 Apr 26;340(6131):483-5.
前回の発表に引きつづき、野生ベルベットモンキー集団の社会的学習についての話題です。今回は体制順応性(Conformity / Norm)。青色またはピンク色のトウモロコシに対する選好性を集団ごとに作りだし、新生児と、別の選好性を持つ集団から移ってきた雄ザルが、どちらの色をさいしょに選ぶのかを調べました。結果、新生児は100%母親と同じ選好を示し、移住してきた雄ザルも、(自分より上位の個体の行動を観察していれば)新しい集団の流儀にならうことが確かめられました。郷に入りてはなんとやら、というやつですね。すごい。
とはいえ、数ヶ月間の選好性の変化や、個体の順位変動にともなう行動変化、遺伝子解析(現在進行中らしいです)なんかの、もうちょい詳細なデータがほしいところではあります。
pdf slide
van de Waal E, Borgeaud C, Whiten A.
Science. 2013 Apr 26;340(6131):483-5.
前回の発表に引きつづき、野生ベルベットモンキー集団の社会的学習についての話題です。今回は体制順応性(Conformity / Norm)。青色またはピンク色のトウモロコシに対する選好性を集団ごとに作りだし、新生児と、別の選好性を持つ集団から移ってきた雄ザルが、どちらの色をさいしょに選ぶのかを調べました。結果、新生児は100%母親と同じ選好を示し、移住してきた雄ザルも、(自分より上位の個体の行動を観察していれば)新しい集団の流儀にならうことが確かめられました。郷に入りてはなんとやら、というやつですね。すごい。
とはいえ、数ヶ月間の選好性の変化や、個体の順位変動にともなう行動変化、遺伝子解析(現在進行中らしいです)なんかの、もうちょい詳細なデータがほしいところではあります。
pdf slide
2013/05/23 高見
研究は「いじめの脳科学」をテーマにしたいと考えています。
そこで今回のセミナーでは以下の論文を紹介します。
The interactive effect of social pain and executive functioning on aggression: an fMRI experiment.
Chester DS, Eisenberger NI, Pond RS Jr, Richman SB, Bushman BJ, Nathan C.
Soc Cogn Affect Neurosci. 2013 Apr 17
社会的排他をされるとdACC(背側前帯状皮質)が賦活化されることは報告されていましたが、本研究では社会的排他と攻撃性との関係を心理学的課題とfMRIを使って神経科学的に初めて示したと著者たちは主張しています。
今まで分子生物学的なことをやっていて、
まだこの分野について不慣れな部分が多いですが、
どうぞよろしくお願いいたします。
pdf pptx
そこで今回のセミナーでは以下の論文を紹介します。
The interactive effect of social pain and executive functioning on aggression: an fMRI experiment.
Chester DS, Eisenberger NI, Pond RS Jr, Richman SB, Bushman BJ, Nathan C.
Soc Cogn Affect Neurosci. 2013 Apr 17
社会的排他をされるとdACC(背側前帯状皮質)が賦活化されることは報告されていましたが、本研究では社会的排他と攻撃性との関係を心理学的課題とfMRIを使って神経科学的に初めて示したと著者たちは主張しています。
今まで分子生物学的なことをやっていて、
まだこの分野について不慣れな部分が多いですが、
どうぞよろしくお願いいたします。
pdf pptx
2013/05/17
2013/05/17 鮫島
私は、PNASに出ていたFEF へのドーパミンD2作動薬・D1拮抗薬の意思決定への影響を調べ、計算モデルで再現したSoltaniらの論文を紹介します。
Dissociable dopaminergic control of saccadic target selection and its implications for reward modulation.
Soltani A, Noudoost B, Moore T.
Proc Natl Acad Sci U S A. 2013 Feb 26;110(9):3579-84.
ドーパミンの影響は強化学習などでは線条体や皮質ー線条体シナプス可塑性に関連づけた仮説によって説明されてきていますし私もそれに乗っかっていますが、皮質でのドーパミンの影響についてはあまり知られていないのが現状だろうと思います。特に前頭葉のD1/D2 受容体の意思決定における役割について考えるきっかけになればとおもいます。よろしくお願いします。
pdf slide
Dissociable dopaminergic control of saccadic target selection and its implications for reward modulation.
Soltani A, Noudoost B, Moore T.
Proc Natl Acad Sci U S A. 2013 Feb 26;110(9):3579-84.
ドーパミンの影響は強化学習などでは線条体や皮質ー線条体シナプス可塑性に関連づけた仮説によって説明されてきていますし私もそれに乗っかっていますが、皮質でのドーパミンの影響についてはあまり知られていないのが現状だろうと思います。特に前頭葉のD1/D2 受容体の意思決定における役割について考えるきっかけになればとおもいます。よろしくお願いします。
pdf slide
2013/05/10
2013/05/10 木村
Distinct extended amygdala circuits for divergent motivational states.
Jennings JH, Sparta DR, Stamatakis AM, Ung RL, Pleil KE, Kash TL, Stuber GD.
Nature. 2013 Apr 11;496(7444):224-8.
Diverging neural pathways assemble a behavioural state from separable features in anxiety.
Kim SY, Adhikari A, Lee SY, Marshel JH, Kim CK, Mallory CS, Lo M, Pak S, Mattis J, Lim BK, Malenka RC, Warden MR, Neve R, Tye KM, Deisseroth K.
Nature. 2013 Apr 11;496(7444):219-23.
Bed nucleus of stria terminalis (BNST) 分界条床核は「偏桃体の伸びた部分」"Extended amygdala"とも呼ばれ、情動の統合と表出に関わる神経核です。最近注目されているところで、mouse optogeneticsを使って調べた研究がnatureに掲載されました。
pdf1 pdf2 slide pptx
Jennings JH, Sparta DR, Stamatakis AM, Ung RL, Pleil KE, Kash TL, Stuber GD.
Nature. 2013 Apr 11;496(7444):224-8.
Diverging neural pathways assemble a behavioural state from separable features in anxiety.
Kim SY, Adhikari A, Lee SY, Marshel JH, Kim CK, Mallory CS, Lo M, Pak S, Mattis J, Lim BK, Malenka RC, Warden MR, Neve R, Tye KM, Deisseroth K.
Nature. 2013 Apr 11;496(7444):219-23.
Bed nucleus of stria terminalis (BNST) 分界条床核は「偏桃体の伸びた部分」"Extended amygdala"とも呼ばれ、情動の統合と表出に関わる神経核です。最近注目されているところで、mouse optogeneticsを使って調べた研究がnatureに掲載されました。
pdf1 pdf2 slide pptx
2013/05/10 上條
The analysis of input integration around the dendritic branches in dentate granule cells
「海馬歯状回顆粒細胞の樹状突起分岐周辺における入力統合について」
slide
「海馬歯状回顆粒細胞の樹状突起分岐周辺における入力統合について」
slide
2013/04/26
2013/04/26 山中
Distinct Roles of Segregated Transmission of the Septo-HabenularPathway in Anxiety and Fear.
Yamaguchi T, Danjo T, Pastan I, Hikida T, Nakanishi S.
Neuron. 2013 May 8; 78(3);
Septum(中隔核)からHabenulaへの経路が
不安行動に関連していることはこれまでのlesion studyで
知られていたが、一口にseptum、habenulaといっても
その中には細かく領域が分けられていて、投射関係も異なる。
この研究ではトランスジェニックマウスを用いて、
septumの中の亜領域である
BAC(bed nucleus of anterior commissure)から
dorsal medial habenulaへの投射が不安行動(anxiety)の発現に、
TS(triangular septum)から
vental medial habenulaへの投射が恐怖(fear)に対する応答に
それぞれ関連していることを経路選択的に阻害することによって
見いだした。
pdf1 pdf2 slide
Yamaguchi T, Danjo T, Pastan I, Hikida T, Nakanishi S.
Neuron. 2013 May 8; 78(3);
Septum(中隔核)からHabenulaへの経路が
不安行動に関連していることはこれまでのlesion studyで
知られていたが、一口にseptum、habenulaといっても
その中には細かく領域が分けられていて、投射関係も異なる。
この研究ではトランスジェニックマウスを用いて、
septumの中の亜領域である
BAC(bed nucleus of anterior commissure)から
dorsal medial habenulaへの投射が不安行動(anxiety)の発現に、
TS(triangular septum)から
vental medial habenulaへの投射が恐怖(fear)に対する応答に
それぞれ関連していることを経路選択的に阻害することによって
見いだした。
pdf1 pdf2 slide
2013/04/26 野々村
The dorsomedial striatum encodes net expected return, critical for energizing performance vigor.
Wang AY, Miura K, Uchida N.
Nat Neurosci. 2013 Apr 14.
ラットのDorsomedial Striatumがresponse vigorを調整すること(action selectionではなく)に重要な役割を果たしていることを主張した論文です.
pdf slide
Wang AY, Miura K, Uchida N.
Nat Neurosci. 2013 Apr 14.
ラットのDorsomedial Striatumがresponse vigorを調整すること(action selectionではなく)に重要な役割を果たしていることを主張した論文です.
pdf slide
2013/04/19
2013/04/19 春野
Carter RM, Bowling DL, Reeck C, Huettel SA.
Science. 2012 Jul 6;337(6090):109-11.
- TPJの予測性はヒト相手に選択的という意味で社会認知のネットワークにおいて特別
- TPJは他のエージェントが持つ行動的な適切性に感度を持つ
- TPJ のtDCS刺激で他者への感度を上げられる?
2013/04/19 榎本
Social cognition in the we-mode.
Gallotti M, Frith CD.
Trends Cogn Sci. 2013 Apr;17(4):160-5.
*
Vervet Monkeys Solve a Multiplayer "Forbidden Circle Game" by Queuing to Learn Restraint.
Fruteau C, van Damme E, Noe R.
Curr Biol. 2013 Mar 26. pii: S0960-9822(13)00210-8.
サバンナモンキー(ベルベットモンキー・ミドリザル)集団の“立入り禁止サークル”ゲーム。順位の低い個体に報酬を全員に供給する特権を与え、上位個体の行動変化をみることにより、展開型ゲームのひとつとして、囚人のジレンマ的でないナッシュ均衡をモデル化しています。
とはいえ、平和裡に社会的調和(っぽいもの)が達成されるためには観察学習や模倣、個体間の交流は必要ないって結論で、じっさい各個体だけの強化学習でぜんぶ説明できてしまう。せっかくゲーム理論を持ちだしていろいろやっているのだから、メタパラメータと相関するような行動だったり、人為的操作の影響なんかをもう少し突っ込んで解析してほしいところです。特に、ヒエラルキーの変動がなかったのかは気になるところ。いぜんの論文をみると、グルーミング行動は変化するみたいだけど……。
Current Biology - Social Coordination: Patience Is a Virtue for Vervet Monkeys
解説記事
Gallotti M, Frith CD.
Trends Cogn Sci. 2013 Apr;17(4):160-5.
*
Vervet Monkeys Solve a Multiplayer "Forbidden Circle Game" by Queuing to Learn Restraint.
Fruteau C, van Damme E, Noe R.
Curr Biol. 2013 Mar 26. pii: S0960-9822(13)00210-8.
サバンナモンキー(ベルベットモンキー・ミドリザル)集団の“立入り禁止サークル”ゲーム。順位の低い個体に報酬を全員に供給する特権を与え、上位個体の行動変化をみることにより、展開型ゲームのひとつとして、囚人のジレンマ的でないナッシュ均衡をモデル化しています。
とはいえ、平和裡に社会的調和(っぽいもの)が達成されるためには観察学習や模倣、個体間の交流は必要ないって結論で、じっさい各個体だけの強化学習でぜんぶ説明できてしまう。せっかくゲーム理論を持ちだしていろいろやっているのだから、メタパラメータと相関するような行動だったり、人為的操作の影響なんかをもう少し突っ込んで解析してほしいところです。特に、ヒエラルキーの変動がなかったのかは気になるところ。いぜんの論文をみると、グルーミング行動は変化するみたいだけど……。
Current Biology - Social Coordination: Patience Is a Virtue for Vervet Monkeys
解説記事
2013/03/26
2013/03/26 渡邊言也
Visser RM, Scholte HS, Beemsterboer T, Kindt M.
Nat Neurosci. 2013 Feb 24.
ヒトの恐怖学習後の長期記憶(平均22日)の保持レベルの個人差を、学習中の脳活動から予測しようした試みです。そのためにMVPAの一種であるRepresentational similarity analysisを用いて解析しています。結果としては、特にvmPFC, Amygdala, HippocampusのBOLD信号から、長期恐怖記憶の保持の有無を予測できる可能性が示されています。
2013/03/26 鮫島
Prefrontal and striatal activity related to values of objects and locations.
Kim S, Cai X, Hwang J, Lee D.
Front Neurosci. 2012;6:108.
私の方は、ちょっと古いですが昨年出ているDeayeol Leeラボの論文を紹介します。object value の比較codingがDLPFCとstriatumに少ないけどちゃんとある、という論文です。
よろしくお願いします。
Kim S, Cai X, Hwang J, Lee D.
Front Neurosci. 2012;6:108.
私の方は、ちょっと古いですが昨年出ているDeayeol Leeラボの論文を紹介します。object value の比較codingがDLPFCとstriatumに少ないけどちゃんとある、という論文です。
よろしくお願いします。
2013/03/18
2013/03/18 木村
The primate amygdala combines information about space and value.
Peck CJ, Lau B, Salzman CD.
Nat Neurosci. 2013 Mar;16(3):340-8.
A stimulus predicting reinforcement can trigger emotional responses, such as arousal, and cognitive ones, such as increased attention toward the stimulus. Neuroscientists have long appreciated that the amygdala mediates spatially nonspecific emotional responses, but it remains unclear whether the amygdala links motivational and spatial representations. To test whether amygdala neurons encode spatial and motivational information, we presented reward-predictive cues in different spatial configurations to monkeys and assessed how these cues influenced spatial attention. Cue configuration and predicted reward magnitude modulated amygdala neural activity in a coordinated fashion. Moreover, fluctuations in activity were correlated with trial-to-trial variability in spatial attention. Thus, the amygdala integrates spatial and motivational information, which may influence the spatial allocation of cognitive resources. These results suggest that amygdala dysfunction may contribute to deficits in cognitive processes normally coordinated with emotional responses, such as the directing of attention toward the location of emotionally relevant stimuli.
Peck CJ, Lau B, Salzman CD.
Nat Neurosci. 2013 Mar;16(3):340-8.
A stimulus predicting reinforcement can trigger emotional responses, such as arousal, and cognitive ones, such as increased attention toward the stimulus. Neuroscientists have long appreciated that the amygdala mediates spatially nonspecific emotional responses, but it remains unclear whether the amygdala links motivational and spatial representations. To test whether amygdala neurons encode spatial and motivational information, we presented reward-predictive cues in different spatial configurations to monkeys and assessed how these cues influenced spatial attention. Cue configuration and predicted reward magnitude modulated amygdala neural activity in a coordinated fashion. Moreover, fluctuations in activity were correlated with trial-to-trial variability in spatial attention. Thus, the amygdala integrates spatial and motivational information, which may influence the spatial allocation of cognitive resources. These results suggest that amygdala dysfunction may contribute to deficits in cognitive processes normally coordinated with emotional responses, such as the directing of attention toward the location of emotionally relevant stimuli.
2013/02/25
2013/02/25 榎本
Dopamine encoding of pavlovian incentive stimuli diminishes with extended training.
Clark JJ, Collins AL, Sanford CA, Phillips PE.
J Neurosci. 2013 Feb 20;33(8):3526-32.
ラット、ドパミン、ボルタメトリー。古典的条件付け課題でCS→US連合学習。オーバートレーニングでドパミンのCS応答はぐんぐん小さくなるのだけれど、学習しているのはイベントの時間間隔なんかも含めたコンテクストで、じっさいCSを早めに出したりすれば、ドパミンはたくさんでる。
いぜんのNature論文にあったSign-trackingラットだけ使用(Goal-trackingなやつらは除いてる)。あと薬物注入したり。
*
おまけ
Genetic origins of social networks in rhesus macaques.
Brent LJ, Heilbronner SR, Horvath JE, Gonzalez-Martinez J, Ruiz-Lambides A, Robinson AG, Skene JH, Platt ML.
Sci Rep. 2013;3:1042. doi: 10.1038/srep01042.
Clark JJ, Collins AL, Sanford CA, Phillips PE.
J Neurosci. 2013 Feb 20;33(8):3526-32.
ラット、ドパミン、ボルタメトリー。古典的条件付け課題でCS→US連合学習。オーバートレーニングでドパミンのCS応答はぐんぐん小さくなるのだけれど、学習しているのはイベントの時間間隔なんかも含めたコンテクストで、じっさいCSを早めに出したりすれば、ドパミンはたくさんでる。
いぜんのNature論文にあったSign-trackingラットだけ使用(Goal-trackingなやつらは除いてる)。あと薬物注入したり。
*
おまけ
Genetic origins of social networks in rhesus macaques.
Brent LJ, Heilbronner SR, Horvath JE, Gonzalez-Martinez J, Ruiz-Lambides A, Robinson AG, Skene JH, Platt ML.
Sci Rep. 2013;3:1042. doi: 10.1038/srep01042.
2013/02/25 野々村
Differential effects of amygdala, orbital prefrontal cortex, and prelimbic cortex lesions on goal-directed behavior in rhesus macaques.
Rhodes SE, Murray EA.
J Neurosci. 2013 Feb 20;33(8):3380-9.
We assessed the involvement of the orbital prefrontal cortex (PFo), the prelimbic region of the medial prefrontal cortex (PL), and the amygdala in goal-directed behavior. Rhesus monkeys were trained on a task in which two different instrumental responses were linked to two different outcomes. One response, called “tap,” required the monkeys to repeatedly touch a colored square on a video monitor to produce one kind of food reward. The other response, called “hold,” required persistent contact of an identical stimulus, and it produced a different kind of food reward. After training, we assessed the effects of sensory-specific reinforcer devaluation as a way to probe each monkey's use of goal-directed behavior. In this procedure, monkeys were allowed to consume one of the two foods to satiety and were then tested for tap/hold preference under extinction. Unoperated control monkeys showed a reduction in the response associated with obtaining the devalued food, called the “devaluation effect,” a hallmark of goal-directed behavior. Monkeys with bilateral lesions of PFo or the amygdala exhibited significantly reduced devaluation effects. Results from monkeys with PL lesions were equivocal. We conclude that both PFo and the amygdala play a significant role in goal-directed behavior in monkeys. Notably, the findings for PFo challenge the idea that orbital and medial prefrontal regions are exclusively dedicated to object- and action-based processes, respectively.
Rhodes SE, Murray EA.
J Neurosci. 2013 Feb 20;33(8):3380-9.
We assessed the involvement of the orbital prefrontal cortex (PFo), the prelimbic region of the medial prefrontal cortex (PL), and the amygdala in goal-directed behavior. Rhesus monkeys were trained on a task in which two different instrumental responses were linked to two different outcomes. One response, called “tap,” required the monkeys to repeatedly touch a colored square on a video monitor to produce one kind of food reward. The other response, called “hold,” required persistent contact of an identical stimulus, and it produced a different kind of food reward. After training, we assessed the effects of sensory-specific reinforcer devaluation as a way to probe each monkey's use of goal-directed behavior. In this procedure, monkeys were allowed to consume one of the two foods to satiety and were then tested for tap/hold preference under extinction. Unoperated control monkeys showed a reduction in the response associated with obtaining the devalued food, called the “devaluation effect,” a hallmark of goal-directed behavior. Monkeys with bilateral lesions of PFo or the amygdala exhibited significantly reduced devaluation effects. Results from monkeys with PL lesions were equivocal. We conclude that both PFo and the amygdala play a significant role in goal-directed behavior in monkeys. Notably, the findings for PFo challenge the idea that orbital and medial prefrontal regions are exclusively dedicated to object- and action-based processes, respectively.
2013/02/12
2013/02/12 春野
Neural correlates of reinforcement learning and social preferences in competitive bidding.
van den Bos W, Talwar A, McClure SM.
J Neurosci. 2013 Jan 30;33(5):2137-46.
In competitive social environments, people often deviate from what rational choice theory prescribes, resulting in losses or suboptimal monetary gains. We investigate how competition affects learning and decision-making in a common value auction task. During the experiment, groups of five human participants were simultaneously scanned using MRI while playing the auction task. We first demonstrate that bidding is well characterized by reinforcement learning with biased reward representations dependent on social preferences. Indicative of reinforcement learning, we found that estimated trial-by-trial prediction errors correlated with activity in the striatum and ventromedial prefrontal cortex. Additionally, we found that individual differences in social preferences were related to activity in the temporal-parietal junction and anterior insula. Connectivity analyses suggest that monetary and social value signals are integrated in the ventromedial prefrontal cortex and striatum. Based on these results, we argue for a novel mechanistic account for the integration of reinforcement history and social preferences in competitive decision-making.
van den Bos W, Talwar A, McClure SM.
J Neurosci. 2013 Jan 30;33(5):2137-46.
In competitive social environments, people often deviate from what rational choice theory prescribes, resulting in losses or suboptimal monetary gains. We investigate how competition affects learning and decision-making in a common value auction task. During the experiment, groups of five human participants were simultaneously scanned using MRI while playing the auction task. We first demonstrate that bidding is well characterized by reinforcement learning with biased reward representations dependent on social preferences. Indicative of reinforcement learning, we found that estimated trial-by-trial prediction errors correlated with activity in the striatum and ventromedial prefrontal cortex. Additionally, we found that individual differences in social preferences were related to activity in the temporal-parietal junction and anterior insula. Connectivity analyses suggest that monetary and social value signals are integrated in the ventromedial prefrontal cortex and striatum. Based on these results, we argue for a novel mechanistic account for the integration of reinforcement history and social preferences in competitive decision-making.
2013/02/12 田中
Social network modulation of reward-related signals.
Fareri DS, Niznikiewicz MA, Lee VK, Delgado MR.
J Neurosci. 2012 Jun 27;32(26):9045-52.
The potential role of the striatum in antisocial behavior and psychopathy.
Glenn AL, Yang Y.
Biol Psychiatry. 2012 Nov 15;72(10):817-22.
セミナーでは以下の論文を紹介します。
同じ報酬でも、誰と共に得るかで、嬉しさの程度が変わるという、報酬に対する主観のmodulationに関わる論文と、共感能力が低いとされるpsychopathyに分類されるヒトの線条体に関するreviewをかいつまんで紹介させて頂きます。
よろしくお願いします。
Fareri DS, Niznikiewicz MA, Lee VK, Delgado MR.
J Neurosci. 2012 Jun 27;32(26):9045-52.
The potential role of the striatum in antisocial behavior and psychopathy.
Glenn AL, Yang Y.
Biol Psychiatry. 2012 Nov 15;72(10):817-22.
セミナーでは以下の論文を紹介します。
同じ報酬でも、誰と共に得るかで、嬉しさの程度が変わるという、報酬に対する主観のmodulationに関わる論文と、共感能力が低いとされるpsychopathyに分類されるヒトの線条体に関するreviewをかいつまんで紹介させて頂きます。
よろしくお願いします。
2013/02/04
2013/02/04 鮫島
Concurrent activation of striatal direct and indirect pathways during action initiation.
Cui G, Jun SB, Jin X, Pham MD, Vogel SS, Lovinger DM, Costa RM.
Nature. 2013 Jan 23
Rui Costaのところから出たdirect/indirect を記録し分けた論文を紹介します。
Cui G, Jun SB, Jin X, Pham MD, Vogel SS, Lovinger DM, Costa RM.
Nature. 2013 Jan 23
Rui Costaのところから出たdirect/indirect を記録し分けた論文を紹介します。
2013/02/04 渡邊言也
Kumaran D, Melo HL, Duzel E.
Neuron. 2012 Nov 8;76(3):653-66.
社会的ヒエラルキーに関するfMRIを用いた研究です。
扁桃体が社会的ヒエラルキーの構造を学習する課題特異的に関与しているということと、
社会的ランクの情報を使う課題を行うと、そのランクの順位情報が扁桃体で表現されているというお話です。
2013/01/28
2013/01/28 山中
Rapid regulation of depression-related behaviours by control of midbrain dopamine neurons.
Chaudhury D, Walsh JJ, Friedman AK, Juarez B, Ku SM, Koo JW, Ferguson D, Tsai HC, Pomeranz L, Christoffel DJ, Nectow AR, Ekstrand M, Domingos A, Mazei-Robison MS, Mouzon E, Lobo MK, Neve RL, Friedman JM, Russo SJ, Deisseroth K, Nestler EJ, Han MH.
Nature. 2013 Jan 24;493(7433):532-6. doi: 10.1038/nature11713. Epub 2012 Dec 12.
Social-defeat stressに暴露することによって、うつ病ライクな行動が誘発されるがそのときの腹側被蓋野(VTA)のドーパミンニューロン(DA)の活動を記録するとfiring rateは「上昇」し、bursticな放電が増える(Krishnan et al.,Cell,2008; Cao et al.,J.Neurosci.,2010)。このDAの活動上昇とdepression-like behaviorの発現との関係を直接的に調べるためにoptogeneticsの技術を使って調べた。
その結果、
・DAだけを選択的に光刺激(Phasic刺激が有効でありtonicな刺激は有効でない)すると、depression-like behaviorが誘発される(ストレスを受けているとき、その後でも)。
・この刺激効果はcontext-specific(ストレスを受けていないマウスでは影響なし) 。
・ストレス暴露によって、depression-like behaviorが起きるマウス(susceptible)とそうでないマウス(resilient)に分類できるが、resilientマウスであってもVTAの光刺激によってsusceptibleマウスとなる。
さらに、逆行性トレーサーを使ってNAcに投射しているVTA DAニューロンとmPFC投射ニューロンに分けて調べており、上記のようなsocial defeat stressに対する感受性を調節しているようなpathwayはVTA-NAc pathwayの方であるとしている。
おもしろいと思ったのは、
DAニューロンの活動が上がるとうつ病様行動が誘発されるといういわゆる直感に反したような結果であるということと、こういった影響がストレスを受けたという記憶や経験に基づいて起きるということ。
それとNAcのcholinergic interneuronの選択的ブロックでうつ病様行動が誘発されるというGreengardらの研究との関連も気になっています。NAc内のどのようなタイプの細胞がドーパミンや他の入力と相まってmotivated behaviorを駆動しているのか?
そもそも今回のパラダイムでマウスはストレスと感じているのか?ストレス暴露後のsocial interaction testでcontrolマウスのsocial interactionが上がっているのはなぜなのか?
---
関連論文
Dopamine neurons modulate neural encoding and expression of depression-related behaviour.
Tye KM, Mirzabekov JJ, Warden MR, Ferenczi EA, Tsai HC, Finkelstein J, Kim SY, Adhikari A, Thompson KR, Andalman AS, Gunaydin LA, Witten IB, Deisseroth K.
Nature. 2013 Jan 24;493(7433):537-41. doi: 10.1038/nature11740. Epub 2012 Dec 12.
Severe stress switches CRF action in the nucleus accumbens from appetitive to aversive.
Lemos JC, Wanat MJ, Smith JS, Reyes BA, Hollon NG, Van Bockstaele EJ, Chavkin C, Phillips PE.
Nature. 2012 Oct 18;490(7420):402-6. doi: 10.1038/nature11436. Epub 2012 Sep 19.
A prefrontal cortex-brainstem neuronal projection that controls response to behavioural challenge.
Warden MR, Selimbeyoglu A, Mirzabekov JJ, Lo M, Thompson KR, Kim SY, Adhikari A, Tye KM, Frank LM, Deisseroth K.
Nature. 2012 Dec 20;492(7429):428-32. doi: 10.1038/nature11617.
Chaudhury D, Walsh JJ, Friedman AK, Juarez B, Ku SM, Koo JW, Ferguson D, Tsai HC, Pomeranz L, Christoffel DJ, Nectow AR, Ekstrand M, Domingos A, Mazei-Robison MS, Mouzon E, Lobo MK, Neve RL, Friedman JM, Russo SJ, Deisseroth K, Nestler EJ, Han MH.
Nature. 2013 Jan 24;493(7433):532-6. doi: 10.1038/nature11713. Epub 2012 Dec 12.
Social-defeat stressに暴露することによって、うつ病ライクな行動が誘発されるがそのときの腹側被蓋野(VTA)のドーパミンニューロン(DA)の活動を記録するとfiring rateは「上昇」し、bursticな放電が増える(Krishnan et al.,Cell,2008; Cao et al.,J.Neurosci.,2010)。このDAの活動上昇とdepression-like behaviorの発現との関係を直接的に調べるためにoptogeneticsの技術を使って調べた。
その結果、
・DAだけを選択的に光刺激(Phasic刺激が有効でありtonicな刺激は有効でない)すると、depression-like behaviorが誘発される(ストレスを受けているとき、その後でも)。
・この刺激効果はcontext-specific(ストレスを受けていないマウスでは影響なし) 。
・ストレス暴露によって、depression-like behaviorが起きるマウス(susceptible)とそうでないマウス(resilient)に分類できるが、resilientマウスであってもVTAの光刺激によってsusceptibleマウスとなる。
さらに、逆行性トレーサーを使ってNAcに投射しているVTA DAニューロンとmPFC投射ニューロンに分けて調べており、上記のようなsocial defeat stressに対する感受性を調節しているようなpathwayはVTA-NAc pathwayの方であるとしている。
おもしろいと思ったのは、
DAニューロンの活動が上がるとうつ病様行動が誘発されるといういわゆる直感に反したような結果であるということと、こういった影響がストレスを受けたという記憶や経験に基づいて起きるということ。
それとNAcのcholinergic interneuronの選択的ブロックでうつ病様行動が誘発されるというGreengardらの研究との関連も気になっています。NAc内のどのようなタイプの細胞がドーパミンや他の入力と相まってmotivated behaviorを駆動しているのか?
そもそも今回のパラダイムでマウスはストレスと感じているのか?ストレス暴露後のsocial interaction testでcontrolマウスのsocial interactionが上がっているのはなぜなのか?
---
関連論文
Dopamine neurons modulate neural encoding and expression of depression-related behaviour.
Tye KM, Mirzabekov JJ, Warden MR, Ferenczi EA, Tsai HC, Finkelstein J, Kim SY, Adhikari A, Thompson KR, Andalman AS, Gunaydin LA, Witten IB, Deisseroth K.
Nature. 2013 Jan 24;493(7433):537-41. doi: 10.1038/nature11740. Epub 2012 Dec 12.
Severe stress switches CRF action in the nucleus accumbens from appetitive to aversive.
Lemos JC, Wanat MJ, Smith JS, Reyes BA, Hollon NG, Van Bockstaele EJ, Chavkin C, Phillips PE.
Nature. 2012 Oct 18;490(7420):402-6. doi: 10.1038/nature11436. Epub 2012 Sep 19.
A prefrontal cortex-brainstem neuronal projection that controls response to behavioural challenge.
Warden MR, Selimbeyoglu A, Mirzabekov JJ, Lo M, Thompson KR, Kim SY, Adhikari A, Tye KM, Frank LM, Deisseroth K.
Nature. 2012 Dec 20;492(7429):428-32. doi: 10.1038/nature11617.
2013/01/28 木村
Human dorsal anterior cingulate cortex neurons mediate ongoing behavioural adaptation.
Sheth SA, Mian MK, Patel SR, Asaad WF, Williams ZM, Dougherty DD, Bush G, Eskandar EN.
Nature. 2012 Aug 9;488(7410):218-21.
The ability to optimize behavioural performance when confronted with continuously evolving environmental demands is a key element of human cognition. The dorsal anterior cingulate cortex (dACC), which lies on the medial surface of the frontal lobes, is important in regulating cognitive control. Hypotheses about its function include guiding reward-based decision making1, monitoring for conflict between competing responses2 and predicting task difficulty3. Precise mechanisms of dACC function remain unknown, however, because of the limited number of human neurophysiological studies. Here we use functional imaging and human single-neuron recordings to show that the firing of individual dACC neurons encodes current and recent cognitive load. We demonstrate that the modulation of current dACC activity by previous activity produces a behavioural adaptation that accelerates reactions to cues of similar difficulty to previous ones, and retards reactions to cues of different difficulty. Furthermore, this conflict adaptation, or Gratton effect2, 4, is abolished after surgically targeted ablation of the dACC. Our results demonstrate that the dACC provides a continuously updated prediction of expected cognitive demand to optimize future behavioural responses. In situations with stable cognitive demands, this signal promotes efficiency by hastening responses, but in situations with changing demands it engenders accuracy by delaying responses.
Sheth SA, Mian MK, Patel SR, Asaad WF, Williams ZM, Dougherty DD, Bush G, Eskandar EN.
Nature. 2012 Aug 9;488(7410):218-21.
The ability to optimize behavioural performance when confronted with continuously evolving environmental demands is a key element of human cognition. The dorsal anterior cingulate cortex (dACC), which lies on the medial surface of the frontal lobes, is important in regulating cognitive control. Hypotheses about its function include guiding reward-based decision making1, monitoring for conflict between competing responses2 and predicting task difficulty3. Precise mechanisms of dACC function remain unknown, however, because of the limited number of human neurophysiological studies. Here we use functional imaging and human single-neuron recordings to show that the firing of individual dACC neurons encodes current and recent cognitive load. We demonstrate that the modulation of current dACC activity by previous activity produces a behavioural adaptation that accelerates reactions to cues of similar difficulty to previous ones, and retards reactions to cues of different difficulty. Furthermore, this conflict adaptation, or Gratton effect2, 4, is abolished after surgically targeted ablation of the dACC. Our results demonstrate that the dACC provides a continuously updated prediction of expected cognitive demand to optimize future behavioural responses. In situations with stable cognitive demands, this signal promotes efficiency by hastening responses, but in situations with changing demands it engenders accuracy by delaying responses.
2013/01/22 榎本
Neuronal reference frames for social decisions in primate frontal cortex.
Chang SW, Gariepy JF, Platt ML.
Nat Neurosci. 2012 Dec 23.
紹介記事
http://www.nature.com/news/monkey-brain-area-keeps-count-of-kindnesses-1.12116
http://phenomena.nationalgeographic.com/2012/12/23/social-brain-one-neuron-at-a-time/
Chang SW, Gariepy JF, Platt ML.
Nat Neurosci. 2012 Dec 23.
紹介記事
http://www.nature.com/news/monkey-brain-area-keeps-count-of-kindnesses-1.12116
http://phenomena.nationalgeographic.com/2012/12/23/social-brain-one-neuron-at-a-time/
2013/01/22 野々村
The Role of the Anterior Cingulate Cortex in Choices based on Reward Value and Reward Contingency.
Chudasama Y, Daniels TE, Gorrin DP, Rhodes SE, Rudebeck PH, Murray EA.
Cereb Cortex. 2012 Sep 3
Chudasama Y, Daniels TE, Gorrin DP, Rhodes SE, Rudebeck PH, Murray EA.
Cereb Cortex. 2012 Sep 3
2013/01/15
2013/01/15 春野
How the opinion of others affects our valuation of objects.
Campbell-Meiklejohn DK, Bach DR, Roepstorff A, Dolan RJ, Frith CD.
Curr Biol. 2010 Jul 13;20(13):1165-70.
2013/01/15 田中
Clan mentality: evidence that the medial prefrontal cortex responds to close others.
Krienen FM, Tu PC, Buckner RL.
J Neurosci. 2010 Oct 13;30(41):13906-15.
Subscribe to:
Posts (Atom)