脑科学与生产线的研究论文

深度神经网络（DNNs）是 AI 领域的重要成果，但它的 “存在感” 已经不仅仅限于该领域。 一些前沿生物医学研究，也正被这一特别的概念所吸引。特别是计算神经科学家。 在以前所未有的任务性能彻底改变计算机视觉之后，相应的 DNNs 网络很快就被用以试着解释大脑信息处理的能力，并日益被用作灵长类动物大脑神经计算的建模框架。经过任务优化的深度神经网络，已经成为预测灵长类动物视觉皮层多个区域活动的最佳模型类型之一。 用神经网络模拟大脑或者试图让神经网络更像大脑正成为主流方向的当下，有研究小组却选择用神经生物学的方法重新审视计算机学界发明的DNNs。 而他们发现，诸如改变初始权重等情况就能改变网络的最终训练结果。这对使用单个网络来窥得生物神经信息处理机制的普遍做法提出了新的要求：如果没有将具有相同功能的深度神经网络具有的差异性纳入考虑的话，借助这类网络进行生物大脑运行机制建模将有可能出现一些随机的影响。要想尽量避免这种现象，从事 DNNs 研究的计算神经科学家，可能需要将他们的推论建立在多个网络实例组的基础上，即尝试去研究多个相同功能的神经网络的质心，以此克服随机影响。 而对于 AI 领域的研究者，团队也希望这种表征一致性的概念能帮助机器学习研究人员了解在不同任务性能水平下运行的深度神经网络之间的差异。 人工神经网络由被称为 “感知器”、相互连接的单元所建立，感知器则是生物神经元的简化数字模型。人工神经网络至少有两层感知器，一层用于输入层，另一层用于输出层。在输入和输出之间夹上一个或多个 “隐藏” 层，就得到了一个 “深层” 神经网络，这些层越多，网络越深。 深度神经网络可以通过训练来识别数据中的特征，就比如代表猫或狗图像的特征。训练包括使用一种算法来迭代地调整感知器之间的连接强度（权重系数），以便网络学会将给定的输入（图像的像素）与正确的标签（猫或狗）相关联。理想状况是，一旦经过训练，深度神经网络应该能够对它以前没有见过的同类型输入进行分类。 但在总体结构和功能上，深度神经网络还不能说是严格地模仿人类大脑，其中对神经元之间连接强度的调整反映了学习过程中的关联。 一些神经科学家常常指出深度神经网络与人脑相比存在的局限性：单个神经元处理信息的范围可能比 “失效” 的感知器更广，例如，深度神经网络经常依赖感知器之间被称为反向传播的通信方式，而这种通信方式似乎并不存在于人脑神经系统。 然而，计算神经科学家会持不同想法。有的时候，深度神经网络似乎是建模大脑的最佳选择。 例如，现有的计算机视觉系统已经受到我们所知的灵长类视觉系统的影响，尤其是在负责识别人、位置和事物的路径上，借鉴了一种被称为腹侧视觉流的机制。 对人类来说，腹侧神经通路从眼睛开始，然后进入丘脑的外侧膝状体，这是一种感觉信息的中继站。外侧膝状体连接到初级视觉皮层中称为 V1 的区域，在 V1 和 V4 的下游是区域 V2 和 V4，它们最终通向下颞叶皮层。非人类灵长类动物的大脑也有类似的结构（与之相应的背部视觉流是一条很大程度上独立的通道，用于处理看到运动和物体位置的信息）。 这里所体现的神经科学见解是，视觉信息处理的分层、分阶段推进的：早期阶段先处理视野中的低级特征（如边缘、轮廓、颜色和形状），而复杂的表征，如整个对象和面孔，将在之后由颞叶皮层接管。 如同人的大脑，每个 DNN 都有独特的连通性和表征特征，既然人的大脑会因为内部构造上的差异而导致有的人可能记忆力或者数学能力更强，那训练前初始设定不同的神经网络是否也会在训练过程中展现出性能上的不同呢？ 换句话说，功能相同，但起始条件不同的神经网络间究竟有没有差异呢？ 这个问题之所以关键，是因为它决定着科学家们应该在研究中怎样使用深度神经网络。 在之前 Nature 通讯发布的一篇论文中，由英国剑桥大学 MRC 认知及脑科学研究组、美国哥伦比亚大学 Zuckerman Institute 和荷兰拉德堡大学的 Donders 脑科学及认知与行为学研究中心的科学家组成的一支科研团队，正试图回答这个问题。论文题目为《Individual differences among deep neural network models》。 根据这篇论文，初始条件不同的深度神经网络，确实会随着训练进行而在表征上表现出越来越大的个体差异。 此前的研究主要是采用线性典范相关性分析（CCA，linear canonical correlation analysis）和 centered-kernel alignment（CKA）来比较神经网络间的内部网络表征差异。 这一次，该团队的研究采用的也是领域内常见的分析手法 —— 表征相似性分析（RSA，representational similarity analysis）。 该分析法源于神经科学的多变量分析方法，常被用于将计算模型生产的数据与真实的大脑数据进行比较，在原理上基于通过用 “双（或‘对’）” 反馈差异表示系统的内部刺激表征（Inner stimulus representation）的表征差异矩阵（RDMs，representational dissimilarity matrices），而所有双反馈组所组成的几何则能被用于表示高维刺激空间的几何排布。 两个系统如果在刺激表征上的特点相同（即表征差异矩阵的相似度高达一定数值），就被认为是拥有相似的系统表征。 表征差异矩阵的相似度计算在有不同维度和来源的源空间（source spaces）中进行，以避开定义 “系统间的映射网络”。本研究的在这方面上的一个特色就是，使用神经科学研究中常用的网络实例比较分析方法对网络间的表征相似度进行比较，这使得研究结果可被直接用于神经科学研究常用的模型。 最终，对比的结果显示，仅在起始随机种子上存在不同的神经网络间存在明显个体差异。 该结果在采用不同网络架构，不同训练集和距离测量的情况下都成立。团队分析认为，这种差异的程度与 “用不同输入训练神经网络” 所产生的差异相当。 如上图所示，研究团队通过计算对应 RDM 之间的所有成对距离，比较 all-CNN-C 在所有网络实例和层、上的表示几何。 再通过 MDS 将 a 中的数据点（每个点对应一个层和实例）投影到二维。各个网络实例的层通过灰色线连接。虽然早期的代表性几何图形高度相似，但随着网络深度的增加，个体差异逐渐显现。 在证明了深度神经网络存在的显著个体差异之后，团队继续探索了这些差异存在的解释。 随后，研究者再通过在训练和测试阶段使用 Bernoulli dropout 方法调查了网络正则化（network regularization）对结果能造成的影响，但发现正则化虽然能在一定程度上提升 “采用不同起始随机种子的网络之表征” 的一致性，但并不能修正这些网络间的个体差异。 最后，通过分析网络的训练轨迹与个体差异出现的过程并将这一过程可视化，团队在论文中表示，神经网络的性能与表征一致性间存在强负相关性，即网络间的个体差异会在训练过程中被加剧。 总而言之，这项研究主要调查了多个神经网络在最少的实验干预条件下是否存在个体差异，即在训练开始前为网络设置不同权重的随机种子，但保持其他条件一致，并以此拓展了此前与 “神经网络间相关性” 有关的研究。 除了这篇 这篇 研究以外，“深度学习三巨头” 之一、著名 AI 学者 Hinton 也有过与之相关的研究，论文名为《Similarity of Neural Network Representations Revisited》，文章探讨了测量深度神经网络表示相似性的问题，感兴趣的读者可以一并进行阅读。 Refrence： [1] [2]

Hello， 这里是 行上行下 ，我是 喵君姐姐 ~心仪科技为帮助广大学者更好的了解所学知识如何运用于科研中，在科研中遇到问题如何得到解决等相关问题，开展了“博导带你做科研”系列活动。 在往期转录中，李红教授介绍了 如何成为优秀的研究生 。本期，将继续介绍心仪科技“博导带你做科研”系列活动第二期“脑电的现在与未来”。 主讲人： 尧德中教授 ■ 全国人大代表 ■ 长江学者特聘教授 ■ 国家杰出青年科学基金获得者 ■ 中国脑电联盟理事长 ■ 中国生物医学工程学会副理事长 ■ 脑电零参考技术（REST）发明人 ■ 四川省脑科学与类脑智能研究院院长本期主要从以下三个部分进行介绍： 1.人类脑电的发现 1924年，Hans Berger发现了人类脑电。直到1929年，他才正式发表人类头表脑电。此外，Hans Berger首先命名了α波和β波，而且他还是第一个采用EEG作为脑电图缩写的人。2.脑电的内涵与特点 不管大脑是处于正常的脑功能状态，或者是脑疾病状态，只要我们的大脑还在运转，那么大脑里边就存在神经活动。神经活动会产生电信号，电信号传播到头表面，如果在头表面插上电极，我们就可以观测到脑电图。 通过脑电图可以获得两种基本信息：空间分布和时间进程。 脑电的时间分辨率很高，这取决于方差期的采样率可以非常快。 但是一般来说，脑电的时间分辨率是毫米级的，脑电可以跟踪毫米级的大脑功能和疾病事件。 而脑电的空间分辨率有限。 这不是因为电极数不够，而是脑电信号从大脑传输到头表后，相当于经历了低通滤波，所以有研究者认为头表脑电记录仪的空间分辨率在5mm以上的，实际上这也很难达到，通常脑电的空间分辨率是厘米量级。因此，只能说大概在哪个脑区。3.脑电中的理论和技术 了解脑电的基本情况后，脑电研究中到底可以研究哪些东西呢？下图给出了总结。通过神经活动可以产生地形图和时间进程。 有地形图以后，就可以推测大脑的什么位置存在神经活动，从而实现空间的定位，这称为脑电的定位问题或者反演问题。相反，如果知道源，来求头表定位，成为正演。以前主要做空间定位，现在随着技术的进步，大家觉得这种定位比较粗糙，人们还想知道大脑里的回路机制，但是这个难度比较大。另一方面，根据时间过程，我们可以进行附列变换和小波分析获得时间频率的信息，比如小波分析可以获得“时频特征”，即在某一个时间点的频谱特征。通过这些脑电结果，可以帮助我们了解大脑的认知过程或者脑疾病，之后能采取调控措施和干预手段，调控后脑电会发生变化，这样就可以治疗疾病或者提高认知能力。归纳起来，脑电涉及的技术问题可以用4S表示：stimulus（刺激），sense（感知），sites（空间位置），spectra（原型）。同时，也包括四个科学问题，用4W表示：where，when，what，why。这代表脑电的神经活动事件在大脑的什么地方，什么时候，发生了什么事情以及为什么发生这个事情。4.脑电技术的大事件 脑电发生的历史具体如下图： 5.诱发脑电ERP的价值 在认知心理学中，早期的行为研究比较看重两个参数，一个是准确率（accuracy），一个是反应时（reaction time）。 ERP应用于心理学时，有人把它成为21世纪的反应时，认为它是认知过程中的更精确刻画。因为行为研究中的反应时是大脑做出反应后再传到外周神经，然后手再按键反应，比较慢。而通过ERP知道，大脑在什么时候发生了一个脑电事件，ERP给出了更精确的脑电事件时间，它可以称为头表二维空间中的反应时。6.脑电EEG的临床价值 目前主要的两个应用：一是癫痫的诊断标准，有脑电异常和行为异常；另一个是根据不同阶段的脑电特征，作为睡眠阶段分期的基本依据。通过上述讲解，脑电（ERP/EEG）到底有什么独特的地方呢？ 第一，时间分辨率很高（High time resolution）； 第二，脑电测量仪便携（Portable）； 第三，非常便宜（Very cheap），某些国产的脑电仪三四千块钱就能买到。 第四，它是神经活动的直接反应（Direct reflection ofneural activity ）； 第五，它是无创的（Noninvasive），它接收的是大脑产生的信号； 第六，局限是空间分辨率低（Limited spatial resolution）。 不管怎么说，脑电（ERP/EEG）的优势决定在观测大脑时它是一个不可替代的技术。1.脑电功率谱分析 脑电功率谱分析仍然是脑电应用中最主要的方面。早在1938年没有计算机时，grass和gibbs（1938）用机械式的频率分析手段做出了不同状态功率谱的差异。闭眼的时候，alpha波非常强；睁眼的时候，alpha波幅度会降下来；睁眼阅读时，alpha波幅度更低。alpha波可以认为是大脑放松状态的参数，伴随着认知任务逐渐降低。基于功率谱分析，可以衍生定量许多参数。但是，功率谱分析受到参考电级的分析非常明显。 下图是功率谱分析的结果， alpha波被分成了两个频段（，）。用左耳（Left ear）参考，功率谱偏向右端。用连接耳（Linked ears）的时候，功率谱上移，因为耳朵发附近的信号被减去了。用平均参考（AR）的时候，信号往下沉，整个信号部分都变了，真正的结果应该是零参考（REST）。从这可以看出，如果选用的参考电极不合适，得到的结果差异很大。建议大家用零参考，零参考是目前公认的理想参考电极。2.脑电网络分析 1）网络差异可以区分文理科学生 左边的图代表闭眼静息状态，红色线条表示文科生连接显著强于理科生，蓝色线条表示理科生连接显著强于文科生，而蓝色线条只有一条。但是在逻辑运算任务状态，很多红色线条变成了蓝色线条，这就体现了理科在其中的价值。 2）网络差异可以预测运行想象脑机接口的能力 脑机接口取决于两个方面，好的算法和好的被试。 比如运动想象能力，有些被试可以达到100%，而有些被试只能达到随机水平50%，究竟是什么原因导致了这种差异？我们可以很简单地说，脑袋不一样，那到底是什么不一样，我们可以从大脑发出的脑电信号看是否一样。经过研究发现，脑电脑网络的效率可以预测被试的运动想象能力，网络效率越高，被试的运动想象能力越强。3）脑网络分析受参考电极的影响 同一组数据在零参考网络和在其他参考网络下会不一样，只有零参考网络的时候和真正的网络是一致的，这再次告诉我们参考电极是非常重要。4）脑电网络分析受伪迹干扰影响 脑网络分析受噪音影响较大，但是如果有比较好的方法，也可以得到比较好的结果。3.诱发脑电差异波分 析 1）差异波分析是诱发脑电研究中的常用方法 比如正常人和精神病人的差异波有所不同，在心理学研究中差异波分析非常有用。2）差异波分析受参考电极的影响 同时给被试视觉刺激和听觉刺激，一种情况是让被试只注意视觉刺激，另一种情况是让被试只注意听觉刺激。 这两种情况下差异波的分布，用连接耳（LM）做参考电极时，差异波主要在额叶；用平均参考（AR）做参考电极时，差异波在额叶和枕叶都有；但是用零参考（REST），差异波在枕叶。 同一个实验，选用的参考电极不同，得到了三种结果。结合差异波在大脑皮层的源分布，发现零参考的结果是正确的。4.脑电成像分析 脑电研究的重要一面是想知道，头表面观察到的现象究竟是大脑什么区域发生的。从大脑表层去找大脑里面发生的事情就称为脑电逆问题，这个问题在数学和物理上是一个非唯一问题，也就是说，同样的头表脑电在大脑里面可能有多种情况可以产生相同的头表脑电。 在心理学和临床研究中，解决脑电逆问题非唯一的办法就是引入各种假设和约束。5.同步脑电-磁共振成像 磁共振信息可以作为脑电逆问题的约束信息，由此发展了一些方法，如本征空间最大信息典型相关分析法（emiCCA），优势是同时获取脑电-磁共振线性和非线性相关成分。还有磁共振网络信息约束的脑电逆方法（NESOI）。   6.开放技术时代 1）EEG/ERP零参考软件（REST） 现在脑电技术有一种开放的趋势，很多方法技术变成了开源软件，放在网上供大家免费使用。脑电零参考软件在几年前就成为了开源软件，在EEGLAB里面就可以直接使用REST。2）同步脑电-磁共振分析技术软件（NIT）同步脑电-磁共振分析算法也变成了开源软件，这个软件里面包括三大模块：基本功能磁共振、基本脑电处理、EEG-fMRI融合模块。软件说明论文： Dong et al, Frontiers inNeuroinform, .宽频脑电信息挖掘 国际上非常著名的一本脑电技术书《lectroencephalography》提到了21世纪的脑电。 书中将到80Hz称为现在的脑电，而21世纪的脑电要从0-1000Hz ，也就是说， 超低频（）和超高频（80-1000Hz）的脑电 是我们现在和未来要努力挖掘的信号 ，未来宽频脑电技术有望在各个领域应用。 是基于零参考的多参数定量脑电图研究和应用。在计算机出现之前，脑电图就在进行功率谱分析。计算机出现后，发展应用更多，而这些都可以看做是定量脑电图。 但是到目前为止，定量脑电图的使用并不是十分理想，尤其是临床领域，大部分人用脑电图仍然是凭眼睛看，极少使用定量脑电图。这主要是因为定量脑电图的标准化不够，采用的处理方式和参考电极没有统一标准，导致重测信度不够。3.计算神经科学模型 与此同时，脑电的发展方向不止是基于数据的分析，可能未来基于模型的脑电分析会越来越多。如皮层-丘脑-基底节环路模型可以用来检测全面性癫痫的发作与终止。4.脑电因果网络模型 前面讲的脑网络主要是功能网络，只是说明了两个电极相关，没有涉及因果关系。未来的发展方向可能会研究脑电的因果网络，目前已经有磁共振因果网络，但是时间分辨率不高，而脑电的时间分辨率较高，所以脑电因果网络模型会更有价值。5.云脑科学浪潮 国际脑科学的发展越来越趋于开放科学，很多数据技术软件开源。2017年国际上建立了一个国际脑实验室，通过云端合作。未来云脑科学会逐渐兴起，这能很好的将工程师和科学家联系起来，使得工程师的方法和科学家的问题研究相结合，他们在云端就可以实现共享合作。今天的分享就到了这里了！更多详细的内容可以在后台获取视频链接哦！直播活动主题： 心仪科技“博导带你做科研”直播周 直播主讲题目： 脑电的现在与未来 主播主讲人： 尧德中教授，中国脑电联盟理事长。中国生物医学工程学会副理事长，脑电零参考技术（REST）发明人，四川省脑科学与类脑智能研究院院长。 直播主办方： 上海心仪电子科技有限公司本期主要讲解了脑电技术的内涵、脑电技术的现在和脑电技术的未来，希望能对大家有所帮助！在这里也十分感谢“心仪科技”的支持以及尧德中教授的讲授。整理/排版：upmer 校对：喵君姐姐

我认为现如今这款技术发展的还是比较成熟的，现如今大脑数据也是可以上传到云端的，而且也有利于人们的思考，将会加强这方面的防控与管理，而且这一技术的成熟对于后续技术的发展以及其他方面的发展都会带来积极的影响。