利用fMRI研究人类决策中估计误差的表征和学习的神经机制

发布时间：2017-05-02 09:03

  本文关键词：利用fMRI研究人类决策中估计误差的表征和学习的神经机制，由笔耕文化传播整理发布。

【摘要】：决策过程中,选项的实际奖赏/风险与预期奖赏/风险之间的差别,称之为奖赏/风险估计误差。强化学习的计算模型认为,估计误差的学习在强化学习过程中起到了关键作用。神经生物学的研究表明,估计误差的学习的神经基础可能存在于中脑多巴胺能神经元及其投射的纹状体和前额叶等。 然而,强化学习的估计误差处理过程中,这些脑区的作用区分、以及是否都参与了估计误差的学习,并不清楚。我们提出这个问题主要从以下三个角度考虑： 首先,不同的决策任务中,估计误差的作用不同。有的任务中,各选项的输/赢概率是明确的。此时,各选项的期望奖赏/风险可以直接估算出来。只因为是概率事件,所以即便可以计算出期望奖赏/风险,实际结果也可能和期望值之间存在差别,即奖赏/风险估计误差。但这种情况下,估计误差不代表期望奖赏/风险改变了,即不被学习,也不影响之后的预期；相反,有的任务中,各选项的概率是未知的。此时,个体预估各选项的奖赏/风险时,之前的估计误差是重要的学习内容,可以帮助修正对输/赢概率的认知和各选项的预期。由此可见,估计误差的在不同的任务中,作用不同。为了表述的方便,这里,我们把与学习或者修正无关的认知加工过程称为估计误差的表征,而用来学习和修正的认知加工过程称为估计误差的学习。 其次,估计误差的不同作用的神经机制仍然不清楚。例如,Schonberg采用了一个概率未知的决策任务,发现,最终掌握概率的学会组,在产生奖赏估计误差时纹状体激活；相反,未学会组的纹状体则没有激活。但是,在这个任务中,估计误差可能有表征和学习两个加工过程。未学会组的障碍可能是在表征,也可能是在学习,所以纹状体到底是参与了奖赏估计误差的表征还是学习仍然不清楚。此外,前人的神经成像研究,也提示了强化学习中,估计误差的处理存在不同的神经基础。在概率己知的决策任务中,风险估计误差会引起脑岛的激活。而在概率未知的决策任务中,风险估计误差不仅与脑岛有关,还与前扣带回、额叶等有关。这些结果提示,这两种不同的决策任务中的估计误差,可能有一部分共有的神经基础(如脑岛),这些脑区的神经活动可能参与了估计误差的表征；而概率未知的决策任务中,估计误差可能涉及到了额外的脑区(如前扣带回、额叶),这些脑区可能参与了修正估计,即参与了估计误差的学习。 最后,关于多巴胺的功能,目前主要的两个理论是奖赏估计误差假设和动机显著假说。前者认为多巴胺的主要功能是学习,尤其是对估计误差的学习；而后者却认为,奖赏估计误差假设存在混淆因素,即动机问题,并且认为多巴胺的功能不是参与估计误差的学习。所以,我们区分估计误差相关的脑区中的各自功能及与估计误差学习有关的脑区,有利于我们了解多巴胺系统的功能。 综上,估计误差的表征与学习的神经机制是一个有意义,但尚未解决的问题。为此,本研究采用两个对比任务,概率未知的爱荷华博弈任务(IGT)和概率已知的风险决策任务(RDT)。这两个任务中,被试都需要对多个选项做出判断,通过选择有利的选项以获得奖赏。这两个任务不同的是,在RDT中,由于奖赏/风险的大小和概率都是已知的,个体在每次选择时无需对估计误差进行学习,就能够直接做出判断；然而在IGT中,对奖赏/风险的概率和较优选项的习得需要通过学习估计误差来实现。两个任务的核心差别在于是否需要学习估计误差。所以,IGT和RDT中的共同脑区,提示着可能与估计误差表征相关；而IGT中特有的脑区,可能与估计误差的学习相关。 在本项fMRI研究中,有41名受试者完成了IGT任务,另40名受试者完成RDT任务。通过比较IGT和RDT中估计误差相关脑区的异同,我们发现：(1)在IGT和RDT中共同激活的脑区,包括双侧尾核、前脑岛和右侧颞上回；只在IGT中激活的脑区,包括喙侧前扣带回、后扣带回和左侧颞中回；(2)在两种任务中共同激活的脑区中,奖赏估计误差相关脑区为双侧尾核,风险估计误差相关脑区为前脑岛,背侧扣带回和右侧颞上回,没有发现与两种估计误差都相关的脑区；而IGT独有的脑区中,两种估计误差都和喙侧前扣带回、后扣带回和左侧颞中回相关,却没有发现只与某种估计误差相关的脑区。这些结果提示,共同脑区中的尾核参与了奖赏估计误差的表征,前脑岛、背侧扣带回和右侧颞上回参与风险估计误差的表征；而IGT独有脑区,即喙侧前扣带回、后扣带回和左侧颞中回,参与了两种估计误差的学习。特别地,两种估计误差的表征可能具有独立的神经基础,而两种估计误差的学习则具有共同的神经基础。 然而,IGT中独有的脑区,其功能可能存在其他的解释(而不是估计误差的学习),例如任务难度的增加导致的更多表征脑区。为了更直接地验证,IGT和RDT共同的脑区与IGT独有脑区的功能不同,我们做了进一步补充分析。因为估计误差学习相关的脑区,其活动水平应该与学习进程相关,所以我们分析了这两种脑区的活动与“不确定性”的关系;此外,估计误差学习相关的脑区如果参与了估计的修正,那么可能与奖赏/风险估计有关脑区的存在功能连接,因此我们用生理心理交互作用的方法加以验证。 结果发现：(1)IGT独有脑区(喙侧前扣带回、后扣带回和左侧颞中回)中,喙侧前扣带回对奖赏估计误差的响应水平随着不确定水平的降低而明显增加(p0.05),而两种任务共同的脑区对奖赏/风险估计误差的响应水平则与不确定性无明显关系；(2)在产生奖赏估计误差时,喙侧前扣带回、后扣带回与奖赏估计的相关脑区存在功能连接,而其他脑区与奖赏估计的相关脑区不存在显著功能连接。 最后,由于fMRI的数据本质上反映的是相关关系,所以我们运用多通道经颅直流电刺激(High-definition transcranial direct current stimulation, HD-tDCS),以微弱的电流暂时性抑制IGT独有的脑区(喙侧前扣带回,后扣带回)。结果发现,抑制这些脑区,降低了个体在IGT中的行为成绩,但不影响RDT的成绩。这一结果进一步提示了,IGT独有的脑区对估计误差的学习和决策优化是必要的。 总之,我们通过对比IGT和RDT中估计误差的相关脑区,获得了IGT和RDT中共有的脑区和IGT中独有的脑区,并发现,共有的脑区中,奖赏估计误差和风险估计误差有独立的神经基础,而在IGT独有的脑区中,奖赏估计误差和风险估计误差有共同的神经基础。此外,我们还进一步验证了,IGT和RDT共有的脑区和IGT独有的脑区的不同功能。最后用HD-tDCS方法验证IGT独有脑区对估计误差的学习和决策优化的必要性。我们的结果可能提供了强化学习过程中估计误差的表征和学习的神经机制。
【关键词】：决策 估计误差 表征 学习 不确定性 fMRI HD-tDCS
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：R338
【目录】：

• 摘要8-11
• ABSTRACT11-15
• 第一章 绪论15-41
• 1.1 选题背景和意义15-33
• 1.1.1 决策是人类重要的高级认知功能15-18
• 1.1.2 决策优化理论与估计误差学习18-23
• 1.1.3 估计误差的神经基础23-32
• 1.1.4 估计误差处理机制仍未解决的问题32-33
• 1.2 研究内容与预期结果33-34
• 1.3 研究的技术方法和分析方法34-41
• 1.3.1 功能磁共振成像的原理和技术发展34-35
• 1.3.2 功能磁共振数据分析原理和基本分析方法35
• 1.3.3 全脑模式分析35-36
• 1.3.4 大脑功能连接分析36-38
• 1.3.5 多通道经颅直流电刺激的原理和应用38-41
• 第二章 估计误差表征和学习的神经机制41-65
• 2.1 研究目的41
• 2.2 研究方法41-56
• 2.2.1 实验流程安排41-42
• 2.2.2 实验被试信息42
• 2.2.3 实验决策任务42-45
• 2.2.4 功能磁共振数据采集45-46
• 2.2.5 行为学模型分析46-52
• 2.2.6 行为学数据分析52
• 2.2.7 磁共振数据的预处理52-53
• 2.2.8 多重线性回归53
• 2.2.9 全脑模式分析53-56
• 2.3 研究结果56-64
• 2.3.1 行为学分析结果56-58
• 2.3.2 估计误差的表征和学习58-62
• 2.3.3 leave-5-out重复检测结果62-64
• 2.4 小结64-65
• 第三章 估计误差表征和学习的补充验证65-71
• 3.1 研究目的65
• 3.2 补充分析一方法65-66
• 3.3 补充分析一结果66-68
• 3.4 补充分析二方法68
• 3.5 补充分析二结果68-69
• 3.6 小结69-71
• 第四章 估计误差学习相关脑区必要性分析71-75
• 4.1 研究目的71
• 4.2 研究方法71-73
• 4.3 研究结果73
• 4.4 小结73-75
• 第五章 讨论75-81
• 5.1 估计误差的表征和学习75-76
• 5.2 估计误差表征和学习相关脑区的功能特征分析76-77
• 5.3 估计误差的学习是“意外”驱动的77-78
• 5.4 多巴胺能神经元投射脑区的功能78
• 5.5 其他讨论和总结78-81
• 第六章 展望81-83
• 6.1 强化学习模型中估计误差学习速率是个变量81
• 6.2 tDCS对r-ACC的抑制作用81-82
• 6.3 成瘾等导致决策学习能力下降的机制的研究82
• 6.4 从组织生化水平上对学习能力下降的机制的研究82-83
• 参考文献83-89
• 附录1 fMRI基本信息调查问卷89-91
• 附录2 fMRI实验操作步骤91-93
• 附录3 爱荷华博弈任务指导语93-95
• 附录4 风险决策任务指导语95-97
• 致谢97-101
• 作者简历及在读期间所取得的主要科研成果101-102

【共引文献】

中国期刊全文数据库 前10条

1 尹建忠;王建利;杨庆宪;祁吉;;阿尔茨海默病的嗅觉功能减退与功能磁共振成像[J];国际医学放射学杂志;2008年02期

2 汪蕾;陆强;沈翔宇;;情绪唤醒度如何影响不确定性决策——基于决策偏好的视角[J];管理工程学报;2013年04期

3 王朋朋;张劲松;;儿童与青少年攻击行为的神经病理机制及功能性磁共振成像研究进展[J];教育生物学杂志;2014年02期

4 古训瑚;霍英松;肖新兰;;心境障碍的神经通路研究进展[J];功能与分子医学影像学(电子版);2014年04期

5 陈莹;卢眺眺;朱翔贞;陈春凤;高静芳;;愤怒和恐惧情绪对抑郁症患者风险决策的影响[J];浙江中医药大学学报;2015年04期

6 白玲;景斌;叶德荣;;大脑静息态fMRI信号复杂度的年龄效应研究[J];北京生物医学工程;2015年01期

7 于凯;邢强;;感觉寻求对风险决策影响的认知神经机制[J];广州大学学报(社会科学版);2015年04期

8 石勇;刘宇红;;情感隐喻的心理层面与文明触发[J];重庆社会科学;2015年06期

9 贾欣欣;;格兰杰因果关系在神经科学领域的发展及缺陷[J];电子科技;2015年08期

10 赵健仪;尹建忠;纪东旭;赵博峰;;嗅觉脑功能MRI对阿尔茨海默病的早期诊断[J];中国医学影像学杂志;2013年05期

中国博士学位论文全文数据库 前10条

1 崔茜;欺骗的神经机制和测谎新指标初探[D];西南大学;2013年

2 杨丽琴;重度抑郁症患者静息态脑功能网络分析及大鼠脑磁共振解剖图像模板的制作[D];中国科学院研究生院（武汉物理与数学研究所）;2013年

3 方继良;电针耳迷走神经治疗抑郁症临床观察及其机理的fMRI脑功能成像研究[D];中国中医科学院;2013年

4 张莹;NHBA和B2镇静催眠作用及其机制研究[D];北京协和医学院;2010年

5 泰文娇;番荔枝酰胺衍生物FLZ的神经保护作用机制研究[D];北京协和医学院;2013年

6 马国林;早期生长反应因子3基因转染精神分裂大鼠的多模态功能磁共振成像研究[D];北京协和医学院;2013年

7 肖鑫;期待调节自上而下和自下而上加工的神经活动模式[D];首都师范大学;2013年

8 胡少华;男性同性恋大脑结构和静息态脑功能的磁共振研究[D];浙江大学;2013年

9 高峰;面向过程的动态决策方法与应用研究[D];华中科技大学;2013年

10 黄小忠;外包背景下团队问责的认知行为与神经机制研究[D];浙江大学;2012年

  本文关键词：利用fMRI研究人类决策中估计误差的表征和学习的神经机制，由笔耕文化传播整理发布。

，

本文编号：340635