A multiplicative reinforcement learning model capturing learning dynamics and interindividual variability in mice
Bathellier B, Tee SP, Hrovat C, Rumpel S.
Proc Natl Acad Sci U S A. 2013 Dec 3;110(49):19950-5. doi: 10.1073/pnas.1312125110.
マウスの学習の個体差を説明するちょっと変わった
強化学習モデルと、その初期パラメータについて紹介します。
モデルベースで解析する場合、学習率や探索度合いなどのメタパラメータをデータに合わせることはよくやるのですが、ほとんどの場合は学習されるパラメータの初期パラメータは固定でやります。この論文では実は個体差を説明するのは初期パラメータなんじゃないかということを主張しています。
また、モデルとして固定の学習率を使うと、行動を説明できず、学習率がこれまで学習してきた履歴に依存するような「掛け算的」なモデルだとうまくフィッティングできましたよ、とも言っています。
説明しているのは行動だけですが、神経とも対応づけたモデルの論文です。私たちもやっているupdateのモデルなどに応用できる考え方かもしれないので、ご紹介します。
PDF
No comments:
Post a Comment