2013/12/20 鮫島

A multiplicative reinforcement learning model capturing learning dynamics and interindividual variability in mice
Bathellier B, Tee SP, Hrovat C, Rumpel S.
Proc Natl Acad Sci U S A. 2013 Dec 3;110(49):19950-5. doi: 10.1073/pnas.1312125110.


マウスの学習の個体差を説明するちょっと変わった
強化学習モデルと、その初期パラメータについて紹介します。

モデルベースで解析する場合、学習率や探索度合いなどのメタパラメータをデータに合わせることはよくやるのですが、ほとんどの場合は学習されるパラメータの初期パラメータは固定でやります。この論文では実は個体差を説明するのは初期パラメータなんじゃないかということを主張しています。

また、モデルとして固定の学習率を使うと、行動を説明できず、学習率がこれまで学習してきた履歴に依存するような「掛け算的」なモデルだとうまくフィッティングできましたよ、とも言っています。

説明しているのは行動だけですが、神経とも対応づけたモデルの論文です。私たちもやっているupdateのモデルなどに応用できる考え方かもしれないので、ご紹介します。

PDF

2013/12/13 渡邊

Prefrontal entrainment of amygdala activity signals safety in learned fear and innate anxiety
Ekaterina Likhtik, Joseph M Stujenske, Mihir A Topiwala, Alexander Z
Harris & Joshua A Gordon
Nature Neuroscience Published online 17 November 2013

BLA-mPFCのコネクションはFear extinctionに重要であることが知られており、また最近ではBLA-mPFCのLocal field potentialのTheta oscillationの同期の関与が注目されております。
この論文ではFear discrimination (あるCueまたは状況が危険か危険ではないか)という弁別にもこのBLA-mPFCのTheta oscilattionが関与していることを報告しています。
また、単にTheta bandの同期があるということのみではなく、OscillationがmPFCとBLAでどちらが優位か(先導しているか)という点で様々な解析を行っております。結果としましては、安全なCueが提示された場合には同期のリズムがmPFC⇒BLAとなり、つまりmPFC優位になります。一方で危険なCueに対してはBLAの神経発火が上昇し、Theta oscillation同期はBLAとmPFCどちらかが先行することはなくなります。
外界から喚起される情動がどのようにコントロールされ、また反対にコントロールから解放されて強い情動を喚起するのか、示唆を与えてくれる内容です。

PDF | SUPPL | SLIDE

2013/12/13 田中

Neural traces of stress: cortisol related sustained enhancement of amygdala-hippocampal functional connectivity
Vaisvaser S, Lin T, Admon R, Podlipsky I, Greenman Y, Stern N, Fruchter E, Wald I, Pine DS, Tarrasch R, Bar-Haim Y, Hendler T.
Front Hum Neurosci. 2013 Jul 5;7:313. doi: 10.3389/fnhum.2013.00313. eCollection 2013.

今流行の resting stateの論文で、扁桃体と海馬のコネクションがストレス直後に強くなり、それが2時間経っても元のレベルに戻らないグループが存在するという事、そして元に戻らないグループは、ストレスをかけてもコルチゾル濃度が上昇しないグループだったという事を示しています。

PDF | SLIDE

2013/12/06 野々村

Cortical signals for rewarded actions and strategic exploration
Donahue CH, Seo H, Lee D.
Neuron. 2013 Oct 2;80(1):223-34. doi: 10.1016/j.neuron.2013.07.040. Epub 2013 Sep 5.

Highlights
► Monkeys exhibit win-stay behavior more frequently than lose-switch behavior
► Cortical encoding of past choices is more robust after reward
► Coding of rewarded actions in the SEF increases with switching behaviors
► Reward-enhanced encoding of past choices is task dependent in the SEF

サルを使った電気生理の研究で，SEFの活動がexprolationを誘発することに関わっているということを主張した論文になります．

PDF | SUPPL | SLIDE

2013/12/06 深代

Similarity increases altruistic punishment in humans
Mussweiler T, Ockenfels A.
Proc Natl Acad Sci U S A. 2013 Nov 26;110(48):19318-23.
doi: 10.1073/pnas.1215443110. Epub 2013 Nov 11.

人間の他者にたいする認識は、協調というコンテクストにおいて影響がin-group vs out-groupとは違う―ということを主張した論文です。

PDF | SLIDE