模态融合的论文参考文献

多模态融合与媒体传播效能（一）媒体融合媒体融合的概念源于19世纪中期美国Rosenberg首次提出的技术融合思想。继而麻省理工学院媒体实验室创始人Langlois认为媒体融合是应用计算机技术的网络终端来传输数字形态信息，带来的不同媒体间的互换和互联。1983年马萨诸塞理工大学IthielDeSolaPool正式给出了媒介融合的概念，认为数码科技技术使得原来泾渭分明的传播形态发生聚合，各种媒介呈现出多功能一体化的趋势。自此，媒体融合成为业界与学界探索的焦点。1.媒体融合的概念和认知维度。对媒介融合概念界定主要有狭义与广义两种认识。狭义上指不同媒介形态融合在一起产生质变，形成一种新的媒介形式。广义上指一切媒介及其相关要素的结合、汇聚甚至融合。显然，媒体融合是技术迭代下一种从低级向高级逐渐发展的媒介互融与交融过程。2.媒体融合的诱因。学者们主要将其归因为技术、经济和市场三方面。然而从媒介发展史的角度追溯，媒体融合不仅有技术或经济等方面诱因，还有可感知的需要、竞争及政治压力，以及社会和技术革新的复杂要素相互作用引起。由此，黄金认为社会和文化因素应视为经济动因、政治动因和技术动因联合起来的黏合剂。3.媒体融合的影响与发展趋势。罗杰·菲德勒指出媒体融合是传媒业不分领域全面竞争的大媒体时代到来，是一种旧媒介形态由积累、转换，进而产生演变到自身独特的存在形式当中的新媒介。Norris从互动社会语言学视角，分析媒体融合应以人类即席交流的距离、坐姿、视角等模态转化为被新媒介交流中的表情符号、表情包、语音、短视频等数字化模态所取代。有关媒体融合的理论探索与实践应用从媒介技术融合，向媒介的内容生产、组织转型、文化融合以及多模态融合等多层面展开。（二）媒体传播效能及评价最早传播效能主要指涉新闻传播宣传的效果。随着互联网的崛起，传播效能评价研究在传统媒体与网络媒体之间出现分野，就现实发展而言，学术界对网络时代传播效能评价目前仍处于探讨层面。1.媒体实践维度上，传播效能的探索聚焦于解释媒体传播效能内涵，探讨如何提高传播效能的手段和途径。蓝燕玲给出了媒体传播效能内涵、传播价值及提升策略；曲升刚和张广星分别对媒体传播效能构建与实践路径、如何重塑媒体传播效能进行了深入探究；陆华从媒体融合的背景分析了如何提高媒体传播效能。但这类文献的主旨均侧重媒体业务实践分析，包括网络背景下媒体的传播力、引导力等媒体业务实践，提出提升传播效能的建议与策略。2.媒体学理维度上，主要从媒体本身的传播能力、媒体传播效能显现以及媒体信息传播效能三方面进行研究。此外，还有一些从媒体信息传播效能角度的研究成果，如张瑞静借鉴网络议程设置理论，立足于“新媒体即关系”的传播结构，建立新型媒体传播效能的二级量化评估指标。还有诸如谣言传播、重大突发事件的信息传播等传播效能分析的文章，主要基于某类现象的分析，通过采集非一手数据对具体传播现象和传播效能加以考察，多数仅以“议程设置”“沉默的螺旋”等理论作为标签。（三）多模态数据分析的媒体信息传播模态是结构系统的固有振动特性。多模态指事物呈现或体验的不同形式，常见的多模态信号有图片、声音、文字、视频等。多模态信号分析不仅存在于新闻传播学，它也需要信息科学、符号学、语言学、心理学等跨学科的理论架构和知识采纳。新媒体多模态数据分析在信息科学基础上，主要通过建立模型来关联与处理多模态的媒体数据。可概括为多模态数据的数据表示、数据映射、数据对齐、数据融合以及协同学习五个层次。其中大部分围绕数据间的多模态数据映射展开。主流的多模态数据映射方法为：基于现有映射关系，首先将现有的多模态数据符号向量化，以此作为神经网络的输入端，结合已有的对应关系，映射到另一模态，基于海量数据不断训练后，得到具有普适性的跨模态数据映射模型。在心理学基础上，主要从心理和生理测量维度针对不同通道的媒体感知信息对用户体验效果进行了较多研究。Leckner对视觉通道感知信息进行研究发现，文本内容在左侧会首先被看到，而且时间最长；大尺寸的产品比小尺寸的产品更容易被看到，用户停留的时间也更长；而动画广告在读者中并不受欢迎，不会引起更早的关注，也不会被更好地记住；虽然视差滚动技术可以提升用户体验，但是如果网站的视差滚动技术不是生动新鲜酷炫又容易使用的话，也不会受到用户认可。Vraga利用眼动技术分析包含不同的内容状态、链接和图片的Facebook内容，以及社交、新闻和政治帖子等不同类型的Facebook新闻时，发现相比于政治类帖子，新闻类帖子和社交类帖子则获得了更多的关注，人们的观看时间更长，并且在控制所有字符的情况下，人们看图片的时间明显增加。（四）关于媒介融合与多模态传播研究的问题与缺陷1.缺失媒体融合时代研究媒体传播活动及其具体形态的有效视角。无论是媒体本身的传播效能还是其信息的传播效能分析，学者们多以一种分散的、单一模态视角，将其视为一个相对静止、单一的整体，而较少深入、立体地探讨多种模态间的互动及其意义，但“连接”个人用户、建立“开放型”媒体，是媒体融合进一步深化的方向，也是打造新型媒体必须突破的难点。多模态数据正积极参与到媒体传播活动中，进而形成一套复杂的、有效的多模态符号与意义表达系统。因此，多模态数据是不可割裂的整体，媒体如何运用多模态融合数据提升传播效能是当前全媒体融合实践中亟待解决的问题。2.未能建立起媒介融合背景下完备的科学评价体系。关于媒体传播效能评价的研究侧重于对策分析和评价指标体系构建，忽略对于媒体融合的实际考察，至今还没建立起一个能涵盖媒体信息加工、处理、表达与传播机制等多维媒介信息交互演化全过程系统的完备的评价体系。3.研究方法多以定性为主，定量研究较少。国外有关媒体传播效能理论和实证研究不仅揭示了受众的信息认知与处理过程，实现了媒体传播效能的提升，还成为制定公共政策的依据，发挥推动改善媒体内容的社会效益的作用。而国内关于媒体效能的研究刚刚起步，学者们还只习惯于通过对个别事物的观察，或相关传播现象的讨论、思辨来获得提高媒体效能的对策。鲜有学者开展媒体效能评价的实证研究，多数偏重对媒体静态的信息传播现象的描述，而对动态的受众、媒介、社会等因素如何对媒体传播效能起作用的关系性研究甚少，在传播效果理论指导下旨在测量与发展传播学理论的实证研究更是罕见，缺乏定量与定性实证研究方法，系统探索信息传播与媒体传播效能机制。二、多模态融合视域下传播的效能提升及其评估模式（一）研究思路这个问题的研究总体上应该沿着“现实问题-理论建构-实证验证-对策建议”的逻辑思路展开。通过媒体融合下媒体传播的动、静传播效能相关因素的发现，建立影响媒体传播效能的核心因素；引入光散理念、多模态融合研究范式针对影响媒介交互传播的核心因素进行测量，应用机器学习和深度学习方法对真实的媒体中不同模态下的数据进行挖掘，完成多模态融合的媒体传播效能评价模型的构建，验证并调整实验结果，最终提出媒体传播效能的提升策略。（二）研究维度及结构在全媒体融合时代的信息传播过程中，媒体特定信息的表达与诠释对该信息的传播效果及受众的认知程度影响极大。传播效能客观评价方法对优化设计媒体融合时代的媒体信息加工、处理、表达与传播机制有着重要的意义。本项研究将在构建信息的多模态融合传播数据库的基础上，探究姿态、表情、文本、语音等各模态的特征表达。以往研究中，对媒体信息的分析，多以一种分散视角看待信息传播的路径及演变规则，实际在媒体融合环境中所传播的信息是一种多模态、多维度叠加后的复合信息，不同维度的媒体信息在特定条件下呈现不同的传播强度和广度，已然不能用传统的媒体信息框架来全面诠释，可借助光散射模型加以解释。将光学模型中各种色彩是基于红、绿、蓝三原色的各种组合叠加的呈现原理，对应从叠聚-辐射视角审视媒体传播中的信息构成，进而探讨基于符号、情感、情境三维度信息分量间的融合规律及传播效果。1.多模态融合对媒体传播效能影响的元分析通过文献计量法，整合媒体传播效能评价已有的影响维度，同时挖掘媒介形态嬗变下媒体信息传播现象中影响传播效能的关键要素。并结合媒介融合的演进过程，从受众、媒介、社会等维度剖析出影响传播效能的动态特征要素。整合出静态与动态层级下的关键影响因素，依据媒体融合下成功典型案例分析，构建媒体传播效能的概念模型，解析出动、静效能各维度的内容构成，及其在媒体传播效能间的关联关系模型，并对其价值及作用进行检验。在媒体传播动、静效能形成和影响因素研究的基础上，确定出传播效能形成的前置因素。2.多模态融合的媒体信息传播的叠聚-辐散传播效能的前置因素分析和验证发现，多模态聚合的媒体信息最终呈现是由符号、情绪、情境这三维度信息的叠加得以表征。同时，三维度信息会因媒体传播中的触发物而引发传播路径上的辐散，使得受众在不同的接受节点和叠聚-辐散状态下产生不同的信息行为。由此，提出多模态融合的媒体信息传播的叠聚-辐散效应模型，同时构建出信息辐散度与信息主导度的二变量对多模态融合信息传播的叠聚和辐散状态进行度量。3.多模态融合的媒体信息传播的叠散演化评估模型借鉴光的叠散理念构建媒体信息传播演化模型。根据受众在媒体平台中形成的数个交流子圈群，各子圈群的信息可通过平台采集的评论量、播放量与点赞量三种典型行为数据，分别表征为媒体信息传播中的符号、情绪与情境三个维度。在符号信息维度上，使用LDA模型对媒体信息传播的标题简介进行主题建模，得到其主题向量，每条主题向量代表该媒体信息的符号信息。并通过圈群受众所发信息之间的主题向量的相似度来计算受众之间信息传播的量；在情绪信息维度，可以使用积极和消极的两种类别作为情绪信息的分析粒度。通过机器学习的朴素贝叶斯分类模型得到积极与消极情绪分类概率权值，这个值作为媒体信息的情绪信息，测度出媒体信息之间情绪信息的差值来作为情绪信息的传播值；在情境信息维度，主要度量媒体信息发布的时间与空间特征，探讨从事件情境和主体情境两维度定义情境信息。结合媒体信息在传播过程中三维度信息处于辐散状态的大小程度，以及三维度信息中某一维度占主导地位，对媒体信息传播总态势的主导信息进行评测。4.媒体传播效能提升策略的研究路径在总结归纳多模态融合的媒体传播的呈现机制与传播规律、阐释论证其对传播生态的影响因素和传播路径的基础上，再对其在传播过程中的价值导向与责任引领进行效果检视，确定媒体传播效能提升策略。例如，建立“ToB”服务的新型媒体生态位、构建社群-媒体社群化运营系统-融合政策体系的责任引领、搭建小程序场景服务模式的价值引领等。寻找影响多模态融合的媒体传播效能的关键因素。本项研究的重点、难点之一即为寻找影响多模态融合的媒体传播效能的关键因素。致使传播效能形成的静态影响因素较易归纳，例如规模、时间、方向等，传统研究已做了一些这方面的工作。但是有些致使传播效能形成的动态因素，例如受众、媒介、社会等引起的认知、情绪和行为的影响，如何将这部分主观因素与传播现象中归纳的静态因素整合为传播效能评测的关键因素为本研究的重点和难点问题。如何从叠散原理对多模态融合的媒体交互传播过程进行评估建模。叠散是依据光的色散效应，映射到媒体传播效能的关键影响因素在信息传播中的触发物引发传播路径发生叠散，最终带来受众在不同传授点和叠散状态下产生的不同信息行为。在这个叠散演化中，媒体交互传播各要素构成了复杂、统一的整体，且各要素及其内在机制间形成紧密的依赖关系。在此基础上，通过建立数学模型或者各要素的关系，从而逐步发掘出产生这种色散变化的因果关系。而建立这种色散效应关系的数学模型是本研究的重点和难点。三、结语借鉴光学中色散模型构建多模态融合的媒体传播交互评价模型，能对媒体信息传播的本质变化及多模态信息之间的交互演化状态加以识别和量化。一方面针对多模态复合媒体信息传播效能精准预测出不同模态下信息交互演化的关键传播节点和预测其传播效能走势，为媒体传播效能评测及其管理提供实践支持；另一方面从单模态、多模态及复合叠加模态下进行媒体信息传播模式的探究，厘清不同模态的媒体信息在某一媒介中所引起的用户交互行为和方式，将此数据作为多模态媒体信息传播效能分析的主要原料，通过交互信息对当前媒体信息交互演化模式进行捕捉，完成媒体内容信息及用户交互信息的效果反馈，从而反哺于媒体传播效能提升的设计之中。（载《传媒观察》2021年12月号。原标题为：多模态融合：媒体传播的效能提升及其研究模式。全文约7000字，此为节选。图表、注释从略，学术引用请参考原文。）