试论体验时代基于新媒体技术的博物馆交互展示

作者：包晗雨  傅 翼

摘要：

体验时代的到来和“新博物馆学”的发展推动博物馆越来越重视为观众提供多样化、高质量的体验。在这样的背景下，基于新媒体的交互展示发展迅速。结合文献考察以及对国内外运用了新媒体交互展示的展览的实地调查，对“交互展示”“新媒体交互展示”进行了概念辨析，提出了新媒体交互在博物馆展览中得以运用的主要类型和核心优势，从而探讨其对于博物馆的意义。新媒体交互展示不仅能更及时、有效地传播和反馈信息，而且能使观众的参观过程更具有社交性，从而给观众带来更“真实的”多感官体验、情感体验、认知体验和沉浸体验。随着数字技术的迅速发展，博物馆可以通过开发更优质的新媒体交互展示来创新展览内容和形式，为观众提供更好的参观体验。

背 景

二十一世纪经常被称为是一个“体验时代”，它反映了“体验”深刻地影响了社会发展的各个方面，包括经济、文化、民生，尽管它最初来源于约瑟夫·派恩(Joseph Pine)和詹姆斯·吉尔摩(James Gilmore)于1998年提出的一个关于经济形态的概念——“体验经济”。

他们认为，经历了农业经济、工业经济、服务经济之后，体验经济正在成为大多数社会的第四个经济发展阶段。在这个时代里，人们在经济文化生活中追求的是“自我实现”这样的高级需求。

尽管博物馆不是商品，但是，在这样的时代特征下，博物馆、美术馆的展览也不可避免地被卷入与其他以提供“体验”为主的文化休闲产业的竞争中来。许多展览的观众不再满足于传统的参观模式，而是更加追求参观过程中个性和情感需求的满足，汲取物质现象背后的文化精神。为了吸引更多的观众，近几年的博物馆和美术馆也不断地走向公众，包容不同的文化和社群，提供多元、新颖的体验。其中最明显的变化在于：观众的“感觉”和“情感”在博物馆体验中的重要性越来越受到关注，使得诸如“交互式”“沉浸式”“体验式”等展览形式日渐普遍。

与此同时，科技的进步给新的展览形式的诞生创造了良好的条件。全息投影、多媒体触摸屏、传感器、互动游戏、虚拟现实等技术被越来越多地应用在实体展览中。运用新媒体技术的交互展示正是在这样的背景下兴起的一种展示手段，它在展览中的应用有独特的优势和意义。

就宏观层面来看，中国的博物馆事业在过去十多年经历了高速发展的阶段，尤其是在数量和规模上取得了举世瞩目的成果，如今正在探索持续高质量发展的路径和模式。

2021年5月，中央九部门联合印发的《关于推进博物馆改革发展的指导意见》正是最好的例证之一，其高瞻远瞩地为中国博物馆事业未来若干年的发展做出了判断和布局。其中，“科技支撑”被明确为“提升博物馆服务效能”的重要途径。本文认为，“新媒体交互展示”正是一种由发展迅速的数字技术推动的、可以不断创新的、服务公众的手段和文化产品，值得引起业界的讨论和持续关注。

交互展示

“交互(interaction)”一词原是一个社会学的概念，指人与人、人与社会、人与环境之间的互相作用；用在传播学领域指传播媒介与受众之间的信息交流。在展览中，交互存在于人、展品、空间的互相作用中。在这里，人，即展览观众；展览，可以被解构为“空间”和“展项”两个部分。“空间”，通俗理解就是容纳展项的展厅。“展项”，广义上包含所有展品、辅助展品、说明牌等等展览中的实体存在。在广义上，“人之于其他客体的一切行为”都属于交互。

在这种定义下，展览中观众的所有选择、观看、反应行为均可纳入交互范畴。但是显然，这种交互的范畴过大，其中大部分的交互程度较低，并不能造成理想的体验效果。因此本文主要围绕狭义上人与展览空间、展项的交互进行讨论。判断这种交互的核心在于：它需要观众与某空间或展项形成双向交流，即作为交互“主体”的观众能主动地向展览输入某种“信息”，而作为交互“客体”的展览也可以输出某种“信息”来反馈给观众。

从技术层面来看，交互展示的重要形式之一是人机交互(Human-Computer Interaction)。其聚焦于计算机技术的设计，特别是人类（用户）与计算机之间的交互。在展览中，人机交互能采用多通道用户界面、计算机协同工作、三维人机交互等手段与观众实现互动[1]，给观众提供丰富的观展体验，是现阶段交互水平较高、交互效果较好的展览交互手段。

运用新媒体技术的交互展示

“新媒体”的概念自诞生以来，它的内涵和外延就随着技术、用户以及社会文化环境的发展而不断变化。彭兰通过总结它的演变过程、基本特征和使用情境，提出新媒体是指基于数字技术、网络技术及其他现代信息技术或通信技术的，具有互动性、融合性的媒介形态和平台[2]。

与电报、电视、书籍和杂志等印刷品这些旧媒体相比，新媒体的两大特点在于：

一，由于它们与特定媒体平台的链接更少，即物理的绑定更少，所以借助新媒体传播的信息通过数字化形式储存，无需被编码到物理对象中，从而更容易在设备之间进行转移。

二，新媒体的传播更具个人性和社会性的特点。一方面，新媒体中消费者和生产者间的界限被模糊了，以往“被动接收”的用户能够加入信息的生产、加工和传播当中，从而有更大的自由来“个性化”他们的媒体体验。另一方面，个人媒体设备的交互网络使人与人之间的联系、合作、分享更加容易，增加了这些技术的社会属性[3]。

目前比较有代表性的新媒体应用有：网站、博客、邮件、社交媒体、网络直播、虚拟现实和增强现实。

在展览领域中，交互展示因为能充分发挥新媒体的交互性，成为新媒体技术应用的重要场景之一。不同的研究领域对展览运用新媒体技术进行交互展示的方法有不同的理解。从展示设计的角度来看，邵晨卉[4]、李华新[5]等人提出了“数字化展示与查询”“沉浸式虚拟展示”“体验型互动展示”为分类的交互展示；从所用新媒体技术的角度来看，吕燕如和张利[6]、谷晓[7]等人提出了“基于交互触摸屏的交互”“基于传感器的交互”“基于虚拟现实的交互”几种交互；从广义的展览交互设计的角度来看，郑璇[8]、黄鑫和李女仙[9]、沈悦[10]等人提出了“人与环境的交互设计”“人机交互设计”“人际间的交互设计”的分类；从人机交互的角度来看，周波、杨京玲[11]等人提出了“基于计算机视觉、听觉、触觉、嗅觉、味觉和多通道的交互”。

“交互性”被许多学者认为是新媒体技术的核心特征之一，其中包括罗纳德·赖斯(Ronald E. Rice)[12]、尼古拉·尼葛洛庞帝(Nicholas Negroponte)[13]、匡文波[14]、彭兰等等。但不可否认的是，不同的新媒体技术能实现的交互程度有很大不同。一些新媒体技术在展览中的运用，本质上并没有实现人与展览的双向交流，如单纯通过全息投影进行图像展示，实际上依旧是观众在单方面被动地接受展览“信息”。

正如列夫·马诺维奇(Lev Manovich)在他的《新媒体的语言》一书中提出交互性是一种“错觉”(illusion)[15]。他认为，在强大的计算机面前，人们逐渐忽略了旧媒体与受众之间存在的交互，因而放大了新媒体的交互能力。

比如在许多新媒体交互中，用户只能与设计人员已经编程到“交互”对象中的那些选择进行交互，所以所谓的“交互”只是在通过分支树结构遵循设计者的预想路径。

但不能忽视的一个现实是，当前新媒体艺术中的“交互性”表现得十分突出，用户不再是简单地观看，而是明显与对象产生相互作用，获得不同的用户交互“体验”。所以，就目前而言，我们认为新媒体可以发挥的交互功能参差不齐，差异较大，这也跟新媒体本身的多变性有关。

尽管“新媒体”和“交互”都是来自传播学的概念，但在实际应用当中，“新媒体技术”和使用新媒体的“交互设计”都与计算机技术密切相关，因为新媒体本质上是一种基于计算机语言的数字媒体。就博物馆而言，利用新媒体技术在展览中达到人与空间或展项的交互设计，实际上都离不开人机交互，即人与计算机或搭载计算机的载体之间的交互。

由此，运用新媒体技术的交互展示需要符合两个基本条件：运用的是新媒体；实现了人与展览空间或展项的双向交流。当前，展览中符合这两个特征的新媒体交互技术主要可以被总结为以下几种类型：相比于不运用这种交互方式的展览展示，运用新媒体技术的交互展示的优势在两个方面尤其突出。

第一，这种交互展示能更及时、有效地传播信息，并对观众产生反馈。首先，新媒体交互展示构建了一个即时的多感官信息传播环境。展品、图版、说明牌等传统的展览内容要求观众在有限的时间内，高强度地依赖比较单一的感官获取信息，很容易产生体力和注意力的迅速消耗，从而影响观众情绪和认知效果。

尽管一些交互展示手段已经突破了基于单一的感官通道传播信息的模式，但是由于传播速度和传播信息容量的限制总是很难提供同时调动多感官感受的丰富体验。依赖数字技术的新媒体交互展示（表1），由于可以迅速实现信息在不同设备之间的转移，所以能为观众创造一个包裹着即时的视觉、听觉、触觉、嗅觉、身体感觉等多感官感知的信息环境，它更具象、多维，且较少受到时空限制。这不仅分摊了观众的“视觉负担”，而且使他们的整个参观过程更生动、有趣。

其次，传统展览的传播往往是单向的、直线的、单一路径的，观众很难将自己对展览（包括展项和空间）的反应即时反馈出去，更谈不上对展览产生影响。但是新媒体交互展示不仅可以迅速获取观众参观展览的反应，而且可以由此建立迅速、有效的互动沟通机制。

第二，这种交互展示使得观众的参观过程更具有社交性。在不使用新媒体交互展示的展览空间中，社交很难在陌生的观众之间发生。这是因为在这种情境下，社交是一种物理上“身体对身体”的社交。

观众很难牺牲有限的参观时间与陌生人进行这种社交，这也导致展览作为公共文化交流空间的功能实现不足。而借助新媒体技术，交互项目可以为观众制造出“虚拟身体”，比如通过“不约而同”地触摸虚拟展项进行合作、交流、学习。放下真实社交的负担，观众身体和感官的社交性也能被充分激发。

同时，由数字技术产生的“虚拟身体”因为聚焦于交互的功能，往往以比较统一、抽象和中性的虚拟形象代替了现实中真实的人像呈现。这使得其在无形中消弭了观众之间由于外在的社会陈规造成的身份壁垒，打破了陌生人间互动的隔阂，乃至在参与项目的人群间形成一种包容的集体共识[16]，从而在展览中创造了一种自然、轻松的社交氛围，吸引更多的观众主动参与到展览交互中。

展览交互展示提供的参观体验

基于以上的优势，运用新媒体技术的交互展示可以从多个维度给观众带来独特而又丰富的体验。在以往的观众体验研究中，学者们提出了观众在博物馆参观过程中的多种体验，比如实物体验(object experience)，认知体验(cognitive experience)，内省体验(introspective experience)，社会体验(social experience)，复原体验(restorative experience)，沉浸体验(flow experience)，情感体验(emotional experience)，转化体验(transformative experience)，精神体验(spiritual experience)等等[17-22]。但是从未有学者就展览的交互展示能带来怎样的体验展开具体研究。

本文结合现有文献中有关新媒体交互展示案例的讨论以及我们的实地考察，从认知心理学的角度出发，将交互产生体验的过程看作一个完整的心理机制，认为其从输入到输出的过程中主要有感官体验、情感体验、认知体验、沉浸体验四种体验产生。

（一）激发多感官体验

“感觉为人类提供了内外环境的信息，保证了机体与环境的信息平衡，是一切较高级、较复杂的认识活动的基础，也是人全部心理现象的基础。”[23]

随着一场“感官转向(sensory turn)”在社会科学和人文科学领域内的兴起，身体和感官的重要性在博物馆内也被人们重新认识。在展览参观中，人的身体行为同样不能与思维和情感分离，感官体验的激发对观众在展览中的认知体验和情感体验都有影响。尤其在认知方面的研究中，不少学者将具身认知理论引入博物馆学，强调认知对身体的依赖以及身体与环境的交互性，说明身体、环境共处于认知加工系统当中[24]。

观众在展览中的感觉体验受到展览展示方式的影响。杰玛·曼乔内(Gemma Mangione)曾在美术馆和植物园的观众研究中证明了策展人员可以通过设计不同的展示塑造不同的观众感觉(sense)[25]。感觉的多样性由刺激的广度和深度决定[26]。

正如前文（第3节）所讨论的，相比于传统展览中“视觉中心主义”的参观方式，运用新媒体技术的交互展示借助数字技术带来的信息传播速度和信息容量的优势，能“及时”激发更多种类的感官感受或者加深某种感受的程度，制造丰富的感官体验。

图1 虚拟展厅现场照片①

新媒体引起的多感官感受的结合可以使体验更加丰富和生动。在维也纳音乐博物馆(The Haus der Musik Vienna)四楼的“虚拟指挥”展厅（图1）中，观众可以拿起指挥棒，体验指挥维也纳爱乐乐团演奏《蓝色多瑙河》《匈牙利5号圆舞曲》等著名乐曲。随着指挥棒挥动的速度、高度、位置、质量的变化，乐曲会呈现相应的演出效果[27]。

这一展示使用传感器、特殊设计的时间拉伸算法和四个音频通道的混合，实现了观众与展项的交互。观众在对身体、听觉、视觉的同时调动之中，能够较好地了解指挥交响乐团的感受和乐曲的演奏原理。

（二）增强情感体验

在参观展览的过程中，观众最主要的反应可以分为认知性(cognitive)和情感性(emotional)两种。而随着新博物馆学的发展，观众在展览中产生的情感受到学界越来越多的关注。情绪本身就是一种重要的参观体验，它先于认知而发生。现代社会的博物馆和美术馆被视作放松和“逃避”日常生活的空间，良好的情绪反应是最基本的参展需求。

与此同时，情感在人的主观判断和自动反应中具有重要作用，它能影响人的学习和理解，对世界和自己的描述和反应。研究证明，对观众而言，那些与人情感链接更强的环境比“中性的”情绪环境更加真实和具有吸引力[28]。合理地运用展览调动观众情绪，有助于激发观众的想象力，联系个人经验，唤起情感共鸣，鼓励更深层次的关注和参与。

正如有学者提出“参与性强”“交互性强”是注重观众情感体验的展览的重要特征[29]，展览交互对观众情感起到的作用是不可忽视的。尤其在一些纪念性的博物馆中，新媒体技术的应用能帮助唤起人们对事件的共鸣，为纪念和讨论这一事件提供理解的基石。

在帝国战争博物馆(Imperial War Museum)的第一次世界大战画廊(First World War Gallery)中，ISO团队为展览设计了大量的新媒体装置，以呈现第一次世界大战的历史。其中在“战壕(The Trench)”这一展示中，展览将新媒体技术与情景再现结合到了一起：观众在走过一条仿真的战壕时，战壕尽头士兵们的黑白照片会渐渐地恢复真实的色彩，重现当时士兵们的风貌。同时，一战时著名的索普威斯·骆驼式战斗机和马克5型坦克会以投影的形式从观众的头顶和身边经过（图2）。

图2 第一次世界大战画廊现场照片②

这些影像和场景的结合，将战场上的紧张感带给观众，使在场者能对当时战争的残酷感同身受。

（三）促进认知体验

在心理学上，认知是人接受外界输入的信息，并将这些信息经过神经系统的加工处理，转换成内在的心理活动，进而支配人的行为的过程。这一过程与感觉、知觉、记忆和思维均有密切的关系。在安德鲁·佩卡里克(Andrew J. Pekarik)等人对观众体验的研究中，认知体验是对解释和吸收展品或展览的认知内容的智力刺激，目的是获得知识或丰富自己的理解[30]。

近年来，不少博物馆都在探索“体验式学习”的模式，希望借此鼓励观众通过亲身体验的方式来获得知识。

交互展示因为能以更加生动、直观的方式解释难懂的现象和原理，而经常被用于自然、科技类的展览当中，以帮助观众认知。在新加坡科学中心(Singapore Science Centre)中，一个名为“E3”的展厅使用Unreal游戏引擎构建了一个虚拟森林，并使用实时3D渲染技术将投影映射到了墙上（图3）。

图3 E3展厅现场图片：虚拟森林③

观众可以在展厅中体验日夜的转变、天气的变化，和中央河沿岸的鱼群进行互动，理解生态系统的运作。展厅中还有一个显示了3D可视化的有关活体动物和人体解剖结构的信息的触控桌（图4）。

图4 E3展厅：触摸桌面④

观众可以自由地触摸显示屏，探索感兴趣的对象的内部[31]。这一展厅以一种完全“非文本”的方式向观众传达了多样的信息，无形中促进了观众的认知体验。

（四）制造沉浸体验

沉浸体验(flflow experience)，又称为心流体验，是由心理学家米哈里·契克森米哈(Mihaly Csikszentmihalyi)于1975年提出的概念。沉浸一种将个人精力完全投注在某种活动上的心理状态，个体在获得该体验时会有高度的兴奋及充实感[32]。

在展览领域，契克森米哈将它用于解释博物馆中审美体验(aesthetic experience)产生的心理机制，并在它的基础上建立了审美体验的概念模型，包含感知维度(perceptual experience)、情感维度(emotional dimension)、智力维度(intellectual dimension)和交流维度(communication dimension)。可见，当观众在感官体验、情感体验、认知体验上有较好的反应时，沉浸体验也会出现。

沉浸体验往往是一种具有极高参与感和愉悦感的体验。当观众获得沉浸体验时，他们能更全神贯注于展览当中，并对展览内容留下更深的印象。关于沉浸体验在展览中的产生机制有许多讨论：王思怡认为博物馆中的沉浸体验是由特定的“时空体验”造成的，物理空间、环境反馈、多感官刺激、社会参与、心理意象和光线效果等因素都能促使观众沉浸体验的产生[33]。Harvey等人则认为，观众与所给反馈的交互、多感官刺激、引起心理图像的角色扮演和制造氛围的展览光线是引起沉浸感的因素[34]。

沉浸的出现与高程度的交互是分不开的。一些学者认为，沉浸(immersion)是一种关于感官体验、交互、在场(presence)和一定的个人自主权的概念[35][36]。学者Bitgood将展览中观众的“immersion”分为交互沉浸(interactive immersion)、媒体沉浸(media immersion)、审美沉浸(aesthetic immersion)和戏剧沉浸(dramatic immersion)[37]。由此也可见，当交互达到一定程度时，可以给观众带来沉浸体验。

虚拟现实、增强现实、混合现实这一类新媒体能制造出极其强烈的沉浸感。在芬兰国家博物馆(National Museum of Finland)中，芬兰最大的VR工作室Zoan Oy和博物馆合作制作了一幅可以穿越的历史图画。带上VR头盔，观众就可以走进R.W. Ekman的画作“亚历山大二世1863年饮食的开幕(The Opening of he Diet 1863 by Alexander II)”当中（图5），看到当时芬兰国会大厦的景观，并和皇帝以及不同社会阶层的代表交谈[38]。

图5 “亚历山大二世1863年饮食的开幕”VR体验截图⑤

通过VR这种新媒体的应用，展览能构造出一个如同真实世界一般的虚拟空间，模糊用户意识中对物理空间和媒介空间的感知，给观众带来沉浸体验。

日本新媒体艺术团体teamLab创作的“无界(borderless)”展览是本研究团队实地调查的一个案例，并认为它是将新媒体技术在沉浸式展览中运用到“极致”的一个典型案例。展览中，teamLab充分运用了各种新媒体技术，让展品和展厅合而为一形成了一个个完整的、流动的包裹着观众的空间，鼓励观众在其中自由地活动、探索，充分地与展品达成互动。除了展品本身以外，没有其他的任何光源，观众对于展品的视觉、听觉、触觉、身体感受也因此极度放大，促成了极强的沉浸感。在这样的设计中，整个展览为观众打造了一个“无界”的空间（图6），即突破观众与作品、环境、他人之间的“边界”的空间。

图6 《在人们聚集的岩石上，注入水粒子的世界》（Universe of Water Particles on a Rock Where People Gather）⑥

茶屋（En Tea House）是展览当中的一个独特的多功能（展览）空间。它本身是博物馆里的咖啡店，但teamLab通过新媒体技术展示，将展览巧妙地延伸到这一博物馆内的休闲、社交空间中，给观众带给了独特的休憩和参观体验。在品茶过程中，观众可以看到茶碗里投影出不断绽放的花朵。这些花朵影像并不是预先制作好的，而是由电脑程序根据传感器收集到的信息实时绘制的。当观众拿起茶碗时，花瓣会自然地随之散落茶碗之外。根据碗中所剩茶的多少，花朵的大小也会发生改变，直到茶被饮尽，花朵会在碗中消失（图7、图8）。

图7 《绽放在茶碗里那无限宇宙中的花朵》（Flowers Bloom in an Infinite Universe inside a Teacup）⑦

图8 茶屋现场照片⑧

值得一提的是，这些花朵的种类不是一成不变的，而会根据不同的花期出现，也就是说，在一年里不同的时间里到访“茶屋”，观众会看到不一样的花朵，拥有独一无二的体验。

在这一充满着交互概念的体验中，展览通过传感器、投影器和电脑程序的设计和应用，对碗中茶水水位进行实时捕捉，产生与之对应的动态花朵意象，实现了对观众品茶行为的即时反馈，从视觉、听觉（展厅背景音效）、味觉三个维度为观众提供了全方位的感官体验。

与此同时，艺术家通过作品展现出了一个无限绽放的世界，并使观众品茶的行为与这个世界产生交互，形成了观众体验和展览内涵的双重构建。让观众在享受放松的品茶时光的同时，欣赏自然之美，引发对物哀、生命、世界的思考。

结 语

在体验时代的博物馆展览行业，面对着来自观众体验需求不断升级的挑战。新媒体交互技术的出现契合了这样的时代大背景。现阶段，博物馆里已经有触控、传感、识别、显示、声频、虚拟现实等等新媒体技术的应用。依靠强交互性的特点，新媒体交互展示促进了观众与展览空间、展项的双向交流，也带来了观众之间的多向交流，充分展现了其调动观众的多元感官感受，与（帮助）观众达成及时、有效的互动，提升参观的社交性的优势。

在上文讨论过的成功的展览交互案例中，这些优势使得观众能在参观中获得更丰富的感官体验、情感体验、认知体验和沉浸体验，实现整体体验的升华。

值得注意的是，当前新媒体交互展示的应用仍有很多问题，包括交互程度低、交互不畅等，它们会降低观众的体验质量。但是，作为一种新兴的、不断发展进步当中的展示手段，它在展览中的运用是展览更加包容、走向观众的一种积极尝试。对于当前的中国博物馆来说，学习拥抱新媒体技术给展览的发展带来了无限可能。它不仅帮助展览更好地阐释文化，弥补传统媒介的不足，而且促进展览的不断创新，切中数字化时代下人们的喜好。

随着技术的进步和文化的发展，类似这样的融媒体、数字技术将进一步地进入博物馆的阐释体系，值得引起博物馆更大的关注。

来源转载自：文博圈