神经调节研究进展论文

①记忆具有短暂性的最直观原因是为新记忆腾地方。②然而，大脑有很多的神经元和突触，似乎能存储的记忆比一个人实际能存储的要多很多。据估计，人类大脑中大约有800-900亿个神经元(Azevedo et al., 2009).，如果只为特定事件的记忆保留十分之一的容量，那么根据对自联想网络容量的计算估计，一个人可以可靠地存储大约10亿个人的记忆 (Amit et al., 1985)。 此外，当我们考虑稀疏编码的记忆时，这个数字可以增加几个数量级 (Amari, 1989)。③显然，记忆的容量比实际上要的多，那为什么进化却让人的大脑不能如实记忆信息？换言之，既然记忆的持久性有看似明显的好处，那记忆的短暂性是否有其他好处？①我们认为，在这一个既变化又嘈杂的世界中，记忆短暂性是必需的。在不断变化的环境中，遗忘是适应性的，因为它允许更灵活的行为；在嘈杂的世界中，遗忘是适应性的，因为它防止了对特殊事件的过度拟合。②基于这一观点，记忆的永久性并不总是有用的，例如，对于世界上短暂或不常见的方面，记忆的持久性将是有害的，因为它可能导致不灵活的行为、不正确的预测；而只有在保持经验的那些相对稳定、预测新经验的方面时，持久性才是有用的。③因此，只有通过持久性和短暂性的相互作用，记忆才能表现出真正的目的：利用过去智能指导决策(Dudai and Carruthers,2005; Schacter et al., 2007).④下面，我们回顾了使用短暂性来增加行为灵活性和促进泛化的计算案例。此外，我们还确定了短暂性在计算上的使用方式和它在大脑中的实现方式之间的相似性。 神经网络： 对于使用分布式表示的神经网络，新的学习是一个重大的挑战(French,1999;Lewandowsky and Li, 1995; McCloskey and Cohen, 1989; Ratcliff,1990)。挑战有两个方面：新的学习可能会覆盖以前的记忆（即灾难性干扰）；新的学习又会受到已有记忆的阻碍（即积极主动的相互干扰） (Burgess et al., 1991; McCloskey and Cohen, 1989; Palm, 2013; Siegle and Hasselmo, 2002)。这是神经网络中的“稳定性与可塑性”困境(Abraham and Robins, 2005; Carpenter and Grossberg, 1987)。根据传统的观点，记忆的持久性与行为的灵活性是不相容的，因为一个善于保持持久记忆的网络将很难学习新的信息，特别是如果它与以前的经验相冲突的话。 然而，最近使用外部记忆设备或突触的神经网络模型在多个时间尺度上变化，挑战了这种困境的普遍性 (Graves et al., 2016; Kirkpatrick et al., 2017; Santoro et al., 2016)。此外，大脑可以用来解决这个难题的另一个策略是使用正交表示，对经验进行稀疏编码，这可能是由模式分离过程引起的(Yassa and Stark, 2011)。记忆的语境依赖性就是这种策略的一个例子：通过保持正交模式，在特定语境中编码的记忆更可能在该语境中表达，而不是在其他语境中 (Maren et al.,2013)。这种策略最大限度地增加了可以在不受干扰的情况下可以存储在神经网络中的模式数量(Amari, 1989).。 大脑： 然而，在动态环境中，无论容量有何限制，丢弃过时的信息也很重要 (Kraemer and Golding, 1997)。如果环境改变了，但我们的记忆没有改变，那么我们可能会坚持旧记忆，损害我们自己。因此，短暂性可以通过消除过时的信息来促进决策，从而使有机体能够更有效地应对其环境的变化。 最近的研究提供了证据，证明遗忘是动态环境中灵活行为所必需的(Dong et al., 2016; Epp et al., 2016; Shuai et al., 2010)。Shuai和他的同事训练苍蝇辨别两种气味（A和B），并发现抑制Rac1能减缓遗忘。抑制RAC1的苍蝇组表现出逆转学习（A-或B+）受损，说明保留的记忆影响了新的学习；激活RAC1的苍蝇组结果相反，旧记忆的遗忘促进了逆转学习。这种模式的结果扩展到五种不同的苍蝇，它们被设计来表达与自闭症谱系障碍相关的突变，而自闭症谱系障碍也会干扰Rac的活动，所有这些Rac功能受损的苍蝇都表现出遗忘受损，而这反过来又损害了反向学习(Shuai et al., 2010) 别的研究也表明了相同的结果。Epp and colleagues (2016)研究了遗忘（由神经发生介导）后的逆转学习，实验中，他们训练老鼠在水迷宫中找到位置固定的平台，随后在同一个迷宫中对小鼠进行再训练，但平台被移到相反的位置。结果是，海马神经发生水平增强的小鼠能更有效地找到新的平台位置（海马神经发生的增加将会导致最初位置的遗忘）；而海马神经发生水平降低的小鼠时，观察到相反的模式，因为神经发生的抑制维持了最初位置的记忆，干扰了新位置的学习。 在情境-气味配对任务中也观察到类似的结果 (Epp et al., 2016)。训练后，神经发生的增加会导致已学的成对关联的遗忘，但有助于随后的反向学习。但是，这种促进并不是在任何学习中都适用，只有在与原始学习有明显冲突的情况下，才能观察到新学习的益处，比如，神经发生增加的小鼠若接受的是一种新的环境-气味配对训练时，没有表现出益处。这些发现表明，成人海马神经发生促进遗忘，遗忘通过去除或削弱过时信息增强行为灵活性。研究神经发生和灵活性之间关系的相关论文有：Burghardt et al. (2012); Garthe et al. (2009), (2016); Luu et al. (2012); Swan et al. (2014); and Winocur et al. (2012).引用文献： Azevedo et al., 2009：我们发现成年男性大脑中平均含有861±81亿个神经细胞（神经元）和846±98亿个神经细胞（非神经元）。就神经元和非神经元细胞的数量而言，人类大脑是一个等距放大的灵长类大脑。Amari, 1989：当要存储的编码模式的大部分组件是0，只有一小部分组件的比率是1时，编码方案被称为稀疏的。详细分析了稀疏编码联想存储器的存储容量和信息容量，证明了其与神经元数目n logn的比例关系，与一般的非稀疏编码方案（约）相比，该比例关系非常大。Dudai and Carruthers,2005：研究表明记忆可能是过去的印记，对未来的认知过程至关重要。Schacter et al., 2007：想象未来在很大程度上依赖于可以记忆过去的神经机制。这些发现引出了前瞻性大脑的概念，即大脑的一个关键功能是利用存储的信息来想象、模拟和预测未来可能发生的事件。根据这个想法，我们认为，像记忆这样的过程可以有效地重新概念化。French,1999：本文研究了神经网络中灾难性遗忘问题的产生原因、后果及多种解决方法。这篇综述将考虑大脑是如何克服这个问题的，同时也将探讨这个解决方案对分布式连接网络的影响McCloskey and Cohen, 1989：本文讨论连接主义网络中的灾难性干扰。当网络按顺序训练时，新的学习可能会对旧的学习产生灾难性的干扰。对干扰原因的分析表明，当新的学习可能改变表示旧学习所涉及的权值时，至少会发生一些干扰，仿真结果仅表明在某些特定的网络中，干扰是灾难性的。Ratcliff,1990：利用反向传播学习规则对基于编码器模型的多层存储器连接模型进行了评价。这些模型被应用到标准的识别记忆过程中，在这些过程中，项目被依次研究，然后测试其保留率。这些模型中的顺序学习导致两个主要问题。首先，学得好的信息会随着新信息的学习而迅速被遗忘。第二，学习项目和新项目之间的区别要么随着学习的进行而减少，要么是非单调的。为了解决这些问题，我们研究了多层模型中的网络操作和多层模型的几种变体，包括一个带有预学习内存的模型和一个上下文模型，但是没有一个解决了这些问题。所讨论的问题对应用于人类记忆和任务的连接主义模型提供了限制，在这些任务中，要学习的信息在学习过程中并不全部可用。Burgess et al., 1991：建立了一个神经网络模型，该模型能将人类记忆实验的结果记录在学习项目表上。综述了学习列表的心理学实验。Hopfield-Parisi型神经网络被用来模拟序列回忆中顺序效应的许多简单特征。用模拟的方法研究了项目的召回率与其数量、在列表中的位置和相似度的函数关系。更复杂的实验涉及不同类别的项目，使用相关的活动模式进行建模。通过考虑权重分布和信噪比参数，了解模型的工作原理。 Palm, 2013：介绍了近40年来神经联想记忆的理论、实践和技术发展。指出了关联记忆模式稀疏编码的重要性。文中还提到了联想记忆网络在大规模脑建模中的应用。Siegle and Hasselmo, 2002：连接主义模型被认为是理解心理障碍的本质和指导其评估的有希望的工具。具体来说，连接主义模型可以指导评估过程的以下方面：了解哪些结构与评估相关，设计评估这些结构的方法，以及了解评估数据中的个体差异。Abraham and Robins, 2005：记忆维持被广泛认为涉及在学习过程中在相关神经回路中设置的突触重量的长期保留。然而，尽管最近出现了令人兴奋的技术进步，但还无法通过实验证实这一直观的吸引人的假设。人工神经网络提供了一种可供选择的方法，因为它们允许在学习和保持过程中连续监测单个连接权重。在这种模型中，如果网络要在学习新信息的同时保留先前存储的材料，则需要不断改变连接权重。因此，突触变化的持续时间并不一定定义记忆的持久性；相反，很可能需要调节突触稳定性和突触可塑性的平衡，才能在真实的神经元回路中获得最佳的记忆保持。Carpenter and Grossberg, 1987：自适应共振结构是一种神经网络，它能实时地自组织稳定的模式识别码，以响应任意的输入模式序列。本文介绍了ART2，一类自适应共振结构，ART2体系结构体现了许多设计原则的解决方案，例如稳定性-可塑性权衡、搜索-直接访问权衡和匹配-重置权衡。Graves et al., 2016：人工神经网络在感觉处理、序列学习和强化学习方面有着显著的优势，但由于缺乏外部记忆，它在表示变量和数据结构以及长时间存储数据方面的能力有限。这里我们介绍了一个机器学习模型，称为可微神经计算机（DNC），它由一个可以读写外部存储器矩阵的神经网络组成，类似于传统计算机中的随机存取存储器。像传统的计算机一样，它可以使用内存来表示和操作复杂的数据结构，但是，像神经网络一样，它可以从数据中学习这样做。结果表明，DNC有能力解决没有外部读写存储器的神经网络无法完成的复杂、结构化任务。Kirkpatrick et al., 2017：以顺序方式学习任务的能力对人工智能的发展至关重要。到目前为止，神经网络还不能做到这一点。我们表明，有可能克服这一限制，并培训网络，使其能够保持对长期没有经历的任务的专门知识，我们通过有选择地减缓对那些任务重要的权重的学习来记住旧任务结果，证明了我们的方法是可伸缩和有效的。Santoro et al., 2016：在系统整合的过程中，有一个从依赖于详细的情节记忆到普遍的示意记忆的转变。这种转换有时被称为“记忆转换”，这里我们展示了记忆转换以前未被重视的优点，即它在动态环境中增强强化学习的能力。我们开发了一个神经网络，它被训练在奖赏地点不断变化的觅食任务中寻找奖赏。该网络可以使用特定位置的存储器（情节存储器）和位置的统计模式（示意存储器）来指导其搜索。我们的工作重新提出了为什么会发生记忆转换的理论问题，将焦点从避免记忆干扰转移到跨多个时间尺度加强强化学习Yassa and Stark, 2011：区分相似经历的能力是情景记忆的一个重要特征。这种能力长期以来被假设需要海马体，计算模型表明它依赖于模式分离。然而，关于海马体在模式分离中的作用的经验数据直到最近才有，本文综述了几类数据。我们讨论了老化和成年神经发生对模式分离的影响，同时也强调了跨物种和跨途径连接的几个挑战，并提出了未来的研究方向。Maren et al.,2013：语境围绕着事件并赋予事件以意义；它们对于回忆过去、解释现在和预测未来至关重要。事实上，大脑将信息语境化的能力允许巨大的认知和行为灵活性。对啮齿动物和人类的巴甫洛夫恐惧调节和消失的研究表明，包括海马体、杏仁核和内侧前额叶皮层在内的神经回路参与了学习和记忆过程，从而使情境依赖行为得以实现。Kraemer and Golding, 1997：本文综述了人类适应性遗忘的研究现状，并提出了动物适应性遗忘的观点。讨论内容包括关于遗忘的理论预设，对动物适应性遗忘的选择性现象的回顾，对这种遗忘的可能机制（可恢复性）的描述，以及这一分析对记忆的心理和神经生物学方法的影响处理。Dong et al., 2016：在这项研究中，我们使用反向学习任务来测量果蝇的行为灵活性，并确定果蝇中多个自闭症风险基因同源物功能缺失突变的影响。5个具有不同分子功能的孤独症危险基因的突变都导致了类似的行为不灵活表型，表现为逆转学习障碍。这些逆转学习缺陷是由于无法遗忘，或者更确切地说，是由于无法激活Rac1（Ras相关的C3肉毒毒素底物1）依赖性遗忘。因此，行为诱发的Rac1依赖性遗忘激活对孤独症风险基因具有聚合功能。Epp et al., 2016：通过控制海马神经发生的水平，我们发现神经发生调节这种形式的主动干预。海马神经发生的增加削弱了现有的记忆，从而促进了新的、相互冲突的信息在小鼠中的编码。相反，神经发生的减少稳定了现有的记忆，并阻碍了新的、相互冲突的信息的编码。这些结果表明，减少主动干扰是神经发生诱发遗忘的适应性益处。Shuai et al., 2010：最初获得的记忆如果不巩固就会迅速消失。这种记忆衰退被认为是由于新获得的记忆固有的不稳定性，或者是由于随后获得的信息的干扰。本文报道果蝇G蛋白Rac依赖性遗忘机制在被动记忆衰退和干扰性遗忘中的作用。Rac活性的抑制导致早期记忆衰退的减慢，从几个小时延长到一天以上，并阻断干扰引起的遗忘。相反，蘑菇体神经元Rac活性的升高会加速记忆衰退。这种遗忘机制不影响记忆获得，独立于Rutabaga腺苷酸环化酶介导的记忆形成机制。内源性Rac激活在不同时间尺度上被诱发，在被动衰退中逐渐丧失记忆，在逆转学习中急性记忆消失。我们认为Rac在肌动蛋白细胞骨架重塑中的作用可能与记忆丧失有关Burghardt et al. (2012)：海马体参与分离记忆，这是一种利用模式分离的神经过程并允许认知灵活性的能力。我们使用主动回避任务的变体和两种独立的方法，即切除成年出生的神经元、海马局部X射线照射和胶质纤维酸性蛋白阳性神经前体细胞的基因消融，评估了成年海马神经发生在认知灵活性中的作用。结果证明，当成人的神经发生需要改变对刺激诱发记忆的学习反应时，它有助于认知灵活性Garthe et al. (2009)：尽管在过去的几年里取得了巨大的进展，新生颗粒细胞对成年海马功能的具体贡献仍不清楚。我们假设为了解决这个问题，必须特别注意学习测试的具体设计、分析和解释。因此，我们设计了一个行为实验，根据计算模型得出的假设，预测新的神经元可能与学习条件特别相关，在学习条件中，新的方面在熟悉的情况下出现，从而对水迷宫的参考记忆版本中的（再）学习的质量方面提出了很高的要求替莫唑胺（TMZ）对成人神经发生的任务抑制引起高度特异性的学习障碍。小鼠在隐藏平台版的Morris水迷宫中进行测试（每天6次，持续5天，第4天平台位置反转）。在四个治疗周期结束后4周进行测试，以尽量减少测试时潜在可招募的新神经元数量。神经发生的减少并没有改变CA3和齿状回的长时程增强，但消除了齿状回LTP中属于新生神经元的部分。TMZ在测试时没有任何明显的副作用，并且治疗组和对照组都学会了寻找隐藏的平台。然而，对搜索策略的定性分析显示，治疗组小鼠并没有向空间精确的搜索策略前进，特别是在学习改变的目标位置（逆转）时。因此，齿状回中的新神经元似乎对于增加海马依赖性学习质量参数的灵活性是必要的。我们发现，缺乏成年颗粒细胞特别导致动物无法精确定位隐藏目标，这也与齿状回的特殊作用有关在生成一个度量而不仅仅是一个环境的结构图。由于成年海马神经发生受到抑制而发现高度特异性的行为缺陷，因此可以将细胞海马可塑性与理论模型中定义明确的假设联系起来。Garthe et al. (2016)：我们在此证明，生活在刺激丰富的环境（ENR）中，可以改善水迷宫学习的特定关键指标，这些指标在先前的功能丧失实验中已被证明依赖于成人海马神经发生。通过分析小鼠在水迷宫中寻找隐藏平台的策略，发现ENR通过增加使用有效搜索策略的概率来促进任务的获取。当逃生平台移到新的位置时，ENR也增强了动物的行为灵活性。替莫唑胺可以减少成年神经发生，它可以消除ENR对获得性和灵活性的影响，同时不影响水迷宫学习的其他方面。这些特征性效应和相互依赖性在第二种神经源性行为刺激——自愿性车轮转动（RUN）的平行实验中没有发现。由于成人神经发生的组织学评估必然是一个终点测量，因此只能推断整个实验过程中的神经发生水平，本研究将行为参数作为分析终点。尽管体力活动与前体细胞增殖、学习和新神经元存活之间的关系已经很好地建立起来，但这里描述的特定功能效应与干细胞生态位的动态变化之间的关系仍有待解决。然而，我们的研究结果支持这样一个假设：成人神经发生是一个关键的机制，是领导一个积极生活、丰富经验的有益影响的基础Luu et al. (2012：海马齿状回成体神经发生在学习记忆中起重要作用。然而，新神经元对海马功能的确切贡献仍然存在争议。新的证据表明，当相似的项目必须在不同的时间学习时，神经发生对于模式分离和减轻干扰是重要的。在本研究中，我们使用最近开发的具有这些特定特征的嗅觉记忆任务来直接测试这种预测。在这项任务中，老鼠学习两个高度干扰的气味对列表，一个接一个，在相同或不同的环境中。与我们的假设一致，局灶性颅骨照射导致齿状回内的神经发生选择性减少，显著削弱了学习第二个列表期间克服干扰的能力。学习单一气味清单的能力没有受到影响。我们还发现，在海马依赖性空间交替任务中，辐射对学习没有影响。尽管这两项任务都涉及到学习干扰反应，但学习干扰项目的时间过程有所不同。学习干扰气味列表是在几个会话过程中顺序进行的，而学习干扰空间位置是在每个会话中同时进行的。因此，新神经元的逐渐增加可能为嗅觉任务而不是迷宫任务提供了模式分离机制。这些发现证明了神经发生在解决干扰中的作用，并且它们与模型一致，表明神经发生在模式分离中的关键作用。Winocur et al. (2012)：在高干扰或低干扰条件下，给予低剂量辐射抑制海马神经发生或假治疗的大鼠视觉辨别任务。一半的老鼠从事跑步活动，另一半没有。在非跑步者中，照射对学习没有影响，在低干扰条件下也没有记忆辨别反应，但照射治疗增加了他们对干扰的易感性，导致先前学习辨别的记忆丧失。参与跑步活动的受照大鼠表现出神经生长增强和对记忆损伤的保护。研究结果表明，成年期海马细胞在区分冲突性、语境依赖性记忆方面发挥了作用，进一步证明了神经发生在海马敏感记忆任务中的重要性。这一结果与海马功能的计算模型一致，海马功能的计算模型明确了神经发生在学习和记忆过程中干扰影响的调节中的中心作用