400-685-1800

技术前瞻
当前位置:首页 >> 新闻资讯 >> 技术前瞻
Nature Communications|多巴胺不编码预测误差?小鼠刺激-奖励学习中的多巴胺动态可由行为表现解释
发布:管理员 日期:2026-11-12 浏览:89次

多巴胺(Dopamine, DA)是神经科学中备受关注的神经递质之一。经典的奖赏预测误差(Reward Prediction Error, RPE)假说认为,中脑腹侧被盖区(VTA)的多巴胺神经元通过编码"实际奖赏与预期奖赏之差"来提供强化学习所需的"教学信号",这一框架统治了该领域数十年。

然而,越来越多的实验结果无法用 RPE 假说解释——多巴胺似乎还与运动强度、努力调节和行为表现密切相关。一个关键原因在于:既往研究大多只记录舔舐时间戳、停留在奖励口的时长等离散指标,缺乏精确、连续的行为测量,很可能因此掩盖了多巴胺与运动之间的真实关系。

本文挑战RPE 假说。哥伦比亚大学Itamar Kahn研究团队在Science Advances杂志发表了“Dopamine release-associated striatal blood oxygenation and whole-brain dynamics during  associative learning”揭示了联想学习过程中,多巴胺释放相关的纹状体血氧变化与全脑动态活动。研究团队在测力头固定装置下训练小鼠完成经典的巴甫洛夫刺激-奖励任务,同时记录 VTA 多巴胺神经元的电生理活动并结合光遗传学与计算建模。结果表明:VTA 多巴胺神经元的活动并不编码 RPE,而是主要参与对行为表现的实时调控——多巴胺更像是行为"增益"的调节器,而非学习的教师。

s41467-025-64132-4_01 拷贝.jpg

研究团队系统性地探究了力输出与 VTA 多巴胺神经元活动之间的关系。通过在测力头固定装置下对小鼠进行行为训练,并对多巴胺神经元进行在体记录与光遗传标记,共记录 1683 个神经元,其中 948 个为推定多巴胺神经元、98 个经标记确证。

研究识别出两类具有明确力调谐特性的多巴胺神经元:正向力调谐型(Forward DA,n=341)与反向力调谐型(Backward DA,n=133),两者合计约占多巴胺神经元群体的 50%。这两类神经元分别在自发正向与反向运动发生之前出现特异性激活,其放电率与力变化呈高度线性相关(Forward DA:R²=0.97;Backward DA:R²=0.88)。进一步构建的生物物理模型(基于多巴胺释放与再摄取动力学)表明,仅基于两类多巴胺神经元的放电率即可预测力输出的方向与时间进程,无需任何参数拟合(图1)。

1.jpg

图1:两类不同多巴胺神经元群体对力方向的拮抗信号作用。

在巴甫洛夫任务中,研究者仅将奖励喷嘴位置微调 2 mm 以改变小鼠施力方向,同时保持奖励可预测性完全不变。传统分析中,将多巴胺活动对齐到 CS(条件刺激)时,两类神经元的响应并无差异;但将活动对齐到力条件反射(CR)的发生时刻后,方向选择性即刻显现——正向 DA 神经元在向前 CR 中放电更高,反向 DA 神经元在向后 CR 中放电更高,且这种偏好与自发运动中的方向偏好完全一致(图2)。这提示:把神经信号对齐到实验者定义的事件时间(CS/US)而非行为转换时刻,会掩盖真正的神经编码。

2.jpg

图2:通过将数据对齐到力 CR 起始点而非 CS,揭示预测接近过程中的方向选择性 DA 活动。

为检验刺激效价的影响,研究者在独立实验 session 中向小鼠面部施加厌恶性气流。小鼠先产生向后躲避运动,随后出现向前回弹。按 RPE 假说,意外厌恶刺激应导致多巴胺活动下降(负预测误差);但实际结果是:反向 DA 神经元在躲避阶段率先激活,正向 DA 神经元在回弹阶段激活,两群神经元均维持对各自偏好方向力的调谐(图3)。多巴胺的激活与结果效价(奖励/厌恶)无关,只反映运动的模式与时序。

3.jpg

图3:多巴胺神经元对厌恶气流刺激的激活可由双向力变化来解释。

研究进一步考察了奖励大小与概率这两个 RPE 假说的经典"支柱"实验。增大奖励使 CR 潜伏期缩短、UR(非条件反应)时程延长、施力增大,多巴胺神经元对 CS 与 US 的放电率同步升高;降低奖励概率(50%)则使 CR 施力降低、UR 时程与施力升高,多巴胺对 CS 放电降低、对 US 放电升高(图4)。也就是说,多巴胺对"奖励大小/概率"的经典响应模式,完全可以由施力幅度与时程的变化来解释。

4.jpg

图4:多巴胺活动随奖励大小或概率变化的规律,可通过施力变化来解释。

另一个 RPE 假说的标志性证据是奖励缺失后的多巴胺"dip"(负预测误差)。本研究同样观察到了这一 dip,但同步的行为记录显示:小鼠在奖励缺失瞬间骤然终止了向前施力,力的下坠与多巴胺的下沉在时间上紧密同步(图5)。研究认为,多巴胺的下沉并非在报告"预期落空",而是在执行"刹车"——低多巴胺信号导致非条件反应的提前终止。

5.jpg

图5:奖励缺失后多巴胺活动的下降可通过施力变化来解释。

在学习过程维度上,随着训练推进,小鼠力 CR 幅度逐步增大、潜伏期缩短并趋于稳定,而多巴胺神经元对 CS 的反应强度同步增强,二者峰值呈强相关(R²=0.95,图6)。单试次分析进一步显示,在 CR 潜伏期仍可变的训练中期,多巴胺放电率能精确预测 CR 何时发生(潜伏期预测 R²=0.98),但与试次编号(即学习进程)无关(R²=0.09,图7);到训练后期 CR 潜伏期稳定后,多巴胺活动也不再能预测潜伏期。这些变化反映的是行为表现的成熟,而非奖励预测的逐步建立。

6.jpg

图6:学习过程中,多巴胺活动与力 CR 同步增强且启动提前。

7.jpg

图7:多巴胺活动反映行为表现而非奖励预测误差,且与 CR 潜伏期耦合。

更直接的证据来自"无 CR 试次":即使训练充分的小鼠,只要在某个试次没有产生力 CR,多巴胺对 CS 的反应就显著降低;当 CS 恰好打断小鼠正在进行的自发运动时,CR 力变小、多巴胺信号同步减弱,且这一现象不受训练阶段影响(图8)。这进一步证明:多巴胺对 CS 的响应依赖于行为是否被启动,而非 CS 所承载的奖励预测。

8.jpg

图8:多巴胺活动与 CR 的启动相关,而非对 CS 的固有反应。

奖励传递后的分析揭示了多巴胺的另一重角色:小鼠检测到蔗糖后,施力方向短暂反转(先停住向前的接近,再转入消费),舔舐随之增加。多巴胺的激活与力的重定向同步,且先于舔舐的增加,其活动可定量预测随后的舔舐率(R²=0.81,图9)。也就是说,多巴胺并非简单地"报告奖励到来",而是组织从"准备/接近"行为向"消费"行为的切换。

9.jpg

图9:奖励传递后 DA 活动与向消费行为的过渡相关。

最后,因果层面的裁决(图10):用 ChR2 激活 VTA 多巴胺神经元无法替代奖励建立 CS-US 学习;用 stGtACR2 在 CS-US 间隔抑制多巴胺神经元,主要诱发了向后运动,但学习并未受损(小鼠甚至舔得更多);在 US 时刻抑制多巴胺以"模拟负预测误差",后续的条件性舔舐也没有减少。这些结果表明,VTA 多巴胺对刺激-奖励学习既非必要也非充分,其作用在于实时调控行为表现。

10.jpg

图10:光遗传学操控 VTA 多巴胺神经元不影响刺激-奖励学习,仅调控行为表现。

结  论

本研究挑战了 RPE 假说,并提出"自适应增益假说"(Adaptive Gain Hypothesis):多巴胺作为皮质-基底节网络中的动态增益信号,通过调节纹状体神经元的兴奋性,实时控制行为的发起(降低动作启动阈值、预测 CR 潜伏期)、维持与终止(如奖励缺失后的"刹车")、方向与强度(两类方向性多巴胺神经元),以及行为状态间的切换。

研究并未完全否定多巴胺与学习的关系,而是主张其扮演许可性(permissive)角色:增益使行为得以重复和持续,从而为长期突触可塑性创造条件。文中还对 Steinberg、Saunders、Iino、Cai 等常被引为"RPE 因果证据"的研究进行了重新解读,指出它们与自适应增益模型兼容甚至能被其更好地解释——共同症结在于缺乏连续的行为测量。

创作声明:本文是在原英文文献基础上进行解读,仅作学术分享,请参考原文深入学习。

原文链接:https://doi.org/10.1038/s41467-025-64132-4

实验延展

本研究的证据链可概括为"电生理放电率 → 生物物理模型推算多巴胺浓度 → 行为解释"。其中,多巴胺浓度这一关键环节目前依赖间接推断:模型中的释放与再摄取参数(Km、Vmax)取自既往文献,且计算中忽略了扩散、降解及胶质摄取等因素。若能将铭泰佳信自主研发的“活体脑化学物质实时分析系统”引入该研究框架,可直接在体原位实时记录多巴胺浓度变化,预计可为研究带来实质性推进。

活体脑化学物质实时分析系统 拷贝.jpg

一、直接验证多巴胺浓度动力学模型

论文图1n/o所构建的生物物理模型是全部论证的枢纽:研究假设两群多巴胺神经元的放电经释放-再摄取动力学转化为浓度差,进而决定施力方向与时程。活体脑化学物质实时分析系统可实时记录多巴胺浓度,直接测量纹状体细胞外液中真实的多巴胺浓度瞬变,检验"放电率—浓度"换算关系是否成立;若实测浓度与模型预测在行为转换瞬间出现系统偏差,恰好能揭示容积传递(volume transmission)在快速行为调控中的真实贡献。此外,该技术还可检验Forward与Backward两群神经元是否如模型假设那样投射至不同纹状体亚区、形成浓度梯度差,这是对"方向由[DA]Forward − [DA]Backward决定"这一假说最直接的实验验证路径。

二、解析放电与释放的解耦机制

多巴胺对下游的调制作用取决于末梢释放的化学浓度,纹状体局部轴突末梢可被皮层-纹状体-黑质环路或SNr/VTA GABA神经元的传出副本(efference copy)所调控。研究中提出的"执行增益"假说正依赖于基底节输出对多巴胺释放的实时调制——实时化学记录能够直接捕捉这种放电率与释放量解耦的现象,从而为自适应增益模型提供独立的实验证据。

三、覆盖受体占有率与张力性/相位性信号维度

D1受体(低亲和力)主要响应相位性浓度峰,D2受体(高亲和力)尚可感知张力性浓度背景;本研究在讨论奖励缺失后的多巴胺"dip"时,涉及D2受体-腺苷A2A受体机制。实测细胞外多巴胺浓度,能判断奖励缺失时浓度下降的幅度与时程是否足以驱动受体占据状态从D1区间切换至D2区间,这将直接决定"dip"究竟应解释为行为"刹车"信号还是负预测误差。

四、实现投射特异性验证与闭环操控

活体脑化学物质实时分析系统,可与多脑区记录结合,分别在伏隔核核心部、壳部及背外侧纹状体测量多巴胺浓度,检验两群VTA多巴胺神经元的投射特异性;进一步结合光遗传闭环刺激,可在特定行为相位(如CR启动前)对多巴胺浓度进行精确操控。以化学浓度为反馈变量更接近多巴胺的生理功能模式,因果推断的效度也更高。

五、电生理与化学记录同步联用

电生理与化学记录的同步联用,既可保留细胞亚型与方向调谐信息,又可验证化学浓度动态与模型假设,二者互补恰好覆盖本研究从"放电"到"行为"之间尚缺失的最后一环。

综上所述,活体脑化学物质实时分析技术能够让研究者直接观测下游脑区实际接收到的多巴胺信号。这既是检验其生物物理模型的试金石,也是在化学层面判定"自适应增益"假说能否成立的决定性一步。