博物馆光场夜——虚拟现实技术与博物馆的奇妙碰撞，互动多媒体系统

一．虚拟现实的发展历程

虚拟现实是一种存在于计算机和互联网环境中人工制造的虚拟环境，人们能够以接近自然的方式与这个虚拟环境进行交互，从而产生身临其境的沉浸感。由于虚拟现实有着传统人机交互无法比拟的真实感，使人们能够如同感知真实世界一般接触虚拟空间，为人类文化的传承和发展创造了新的可能，对教育培训、文化旅游、社交活动、电子商务、生物医学等领域都有深远的意义。
光场虚拟现实技术在传统虚拟现实技术的基础上，结合计算机图形学、计算机视觉、计算机摄影学中涌现的最新成果，不仅能让人无法区分虚拟和现实，还能实现人与虚拟环境的自然互动，进一步增强用户的真实体验。

“小孔成像”的发现

自从墨子发现了“小孔成像”现象以来，人们逐渐掌握了用光学成像技术观察和记录世界的能力。

照相机的发明

1826年，法国人约瑟夫·尼塞福尔·尼埃普斯发明了世界上第一台照相机，并在巴黎拍摄了现存最早的一张照片。

各式光学仪器的出现

此后，各式各样的光学仪器如雨后春笋般纷纷出现。其中，双目立体镜的出现标志着虚拟现实雏形的诞生。人们能够通过双目立体镜观看三维图像，相比平面照片而言真实感更为强烈，

现代虚拟现实技术的起源

真正意义上的现代虚拟现实技术起源于1965年，被誉为“计算机图形学之父”的美国人伊万·萨瑟兰发明了一台名为“达摩克利斯之剑”的机器，能够向双眼显示不同视角的图像，实现立体显示，同时对头部能够进行位置跟踪，实现人与虚拟环境的简单互动。

互动多媒体系统

虚拟现实走进大众视野

进入21世纪以来，伴随着可穿戴设备等移动终端的爆发式增长，个人设备的计算能力越来越强大，虚拟现实头戴式显示设备得以迅速兴起，虚拟现实从科学家的实验室一跃进入万千大众的视野。经过近两年的快速发展，虚拟现实技术相关的产业生态链逐步形成，Oculus Rift、HTC Vive、PlayStation VR等硬件产品相继走入市场，各种应用也随之产生并推广。

二．虚拟现实的三大难题

虚拟现实之所以瞩目，在于其能创造出一种全新的虚拟场景，使人们能够产生身临其境的体验。这就要求虚拟的场景必须是立体的全景式图像或视频，能够适应人类头部的运动，同时提供深度信息和聚焦变化，使大脑能够判别近、远景。

虚拟现实所需要满足的生理要求

制作优秀的虚拟现实内容并不简单，必须满足人类在自然状态下观看外部世界的条件。人的眼睛是获取外界信息最主要的渠道，经过长时间的生理进化和日常训练，形成了感知外部世界的一种本能，且非常挑剔。其中很重要的一点就是感知深度信息，这包括双目视差、运动视差、遮挡和聚散等几种方式。
当人在自然状态下观察目标时，眼睛在不断地变焦，并且通过前庭眼反射消除画面切换时的抖动和模糊。这是因为在人眼的周围有无数的光线，眼睛通过改变焦距，采集来自不同方向和位置的光线，聚焦在不同的平面。加上头部的运动，人可以在很大的范围内聚焦在所关心的物体上。
在佩戴头盔的情况下，人眼实际是聚焦在头盔的屏幕上，而虚拟现实技术则试图“欺骗”挑剔的人眼和大脑，仿佛双眼是聚焦在不同的距离。一旦显示的内容稍有差错或延迟，人眼就会敏感地察觉到，并造成相应的神经系统功能紊乱，引发诸如头痛、眩晕、疲劳等不适症状。

虚拟现实的三大难题

传统的虚拟现实技术目前还远远不能达到这些要求。人工合成的360°全景图像或视频无法产生立体视觉效果，即便采用立体相机拍摄三维空间信息，取得双目立体视差，也仍然缺乏运动视差，不能形成进入走出的沉浸感。还需要加入聚焦变化，即人眼对焦在不同深度时，由于双眼的聚散程度不同，对焦所在的平面是清晰的，而其他平面则是模糊的。真实世界的景物是一个高维度的复杂数据，只有完全记录其中的所有信息，并且进行不失真的重现，虚拟环境才能淋漓尽致地表现出来。
因此，虚拟现实要取得成功，就必须解决立体视觉、运动视觉和动态对焦这三大问题。

三．光场虚拟现实的最新成果

为了创造出人眼难以分辨的虚拟现实，人们需要运用光场技术，并结合计算机视觉的方法，来实现这一目标。而光场技术是计算成像/摄影领域发展起来的最新技术。
光场的概念早在1936年就被提出，是指光通过空间中某一点时在给定方向上的辐亮度。如图1所示，人眼在观察世界时无时无刻不在收集周围的光场信息。我们可以用全光函数的概念来描述光场（图2），其包括3D的空间变量和2D的方向变量，即全光函数是一个5D函数。在自由空间传播时，光的辐亮度沿光线传播方向保持不变，用光线在两个任意平面上的交点坐标表示，可以将光场简化成一个4D函数。
光场记录了光线的所有空间信息和方向信息，因此可以很容易地通过光场重建不同对焦平面的图像，或渲染不同视角下的图像，甚至合成一个不存在的虚拟图像。
在虚拟现实中，相比传统的双目视觉法，通过光场构建的立体图像效果更加真切。这是因为通过双目视觉合成的立体图像本质上还是平面的，而通过光场合成的立体图像则真正是立体的。
光场技术的发展给虚拟现实领域带来了巨大的变革，它几乎满足了人们对于虚拟现实的所有要求：
立体视差可以带来最真实的感受；
运动视差让进入走出更加自然；
重对焦使人们更加惬意地体验而不至于引起任何身体的不适。
但是光场虚拟现实任需要解决三个方面的关键技术问题：光场的拍摄；光场的渲染；光场的显示。
光场的拍摄

光场虚拟现实技术的核心目标就是记录光场，并且把光场无损地再现给人眼。光场的拍摄主要通过两种方式实现：一是采用相机阵列拍摄，二是采用光场相机拍摄。
相机阵列拍摄：采用相机阵列的方式，可以捕获来自不同视角的高分辨率图像，每一幅图像相当于4D光场的一个2D切片，如果采集足够多的不同2D切片，就可以重建完整的4D光场。上海科技大学和叠境数字科技（上海）有限公司合作搭建了一种向内环视的光场拍摄系统，能够对小型文物进行拍摄和建模，可用于精细展示（图4）。该系统采用80个单反相机同步触发，拍摄处于中心区域的目标，再利用光场重建技术对目标进行处理和建模，得到被拍摄物的3D模型。
光场相机拍摄：另一种获得光场信息的方法是采用基于微透镜阵列的光场相机。光场相机是一种全新的相机，可以实现先拍照后对焦的全新成像模式。单镜头的光场相机通过微透镜阵列来采样角度信息。每个微透镜覆盖一定数量的像素，对应来自主透镜一个子孔径的光锥，经过每个微透镜成像在探测器的不同位置，这种位置的变化就记录了光线的方向以此类推，将主透镜的孔径划分为若干采样单元，每个微透镜本身便记录了光场的位置信息，从而实现四维光场的记录。
光场相机能够通过对光线的重新排布实现对任意平面的重对焦。光场相机记录了光场的位置信息和角度信息，采用两平面光场表示法，根据几何关系，计算并渲染出一个虚拟的重对焦平面上的图像（图6）。计算时，指定重对焦平面上的一点，可以找到在透镜平面和探测器平面的坐标位置，从光场中取出这些对应的光线进行积分，就能得到在该平面上的图像。这个虚拟的重对焦平面可以任意指定，因此便实现了一定景深范围内任意平面的重对焦功能。事实上，这些光场拍摄系统也能应用在博物馆行业。例如，谷歌公司的360°全景摄像装置Google Jump采用16个GoPro相机，形成了一个向外观看的环形相机阵列，能够实现3D全景高清视频的拍摄，可以展示整个展厅甚至整个博物馆的全貌，提升虚拟博物馆的体验。

互动多媒体系统

首先，通过相机阵列或光场相机得到同一物体或场景在不同视角下的一系列图像，再通过多视角几何关系估计出场景中的深度，获得粗略的几何信息。同时，光场相机通过重新排布光线，实现先拍照后对焦，在一系列的焦平面位置进行图像渲染，获得图像中的深度信息。
其次，在光学成像系统中，焦平面附近的发光强度分布具有对称性。利用这个性质，通过检测不同对焦图像附近的光强分布，计算出不同物点的深度信息。比较而言，这种方法在图像噪声 和采样欠缺的情况下具有更强的抗变换性。

另外，可以利用场景中的遮挡性进行深度估计。在无遮挡的情况下，场景中的物体颜色分布是均匀的，而有遮挡的部分则会出现颜色混合。在光场相机中，从不同视角下渲染出的图像具有不同的统计特性，根据表面统计数据检测遮挡情况，作为评判一致性的指标，可以计算出深度信息。

所有这些检测图像中几何信息的方法，综合起来就可以帮助我们获得完整的几何信息来辅助光场渲染，得到逼真的图像。采用这种方法对博物馆进行建模和处理，所产生的渲染图像可以方便地显示在虚拟现实头盔的屏幕上，为观众呈现藏品的全部光场信息，从各个角度自然地观看藏品的虚拟模型，再配合手柄等操作设备，就能产生进入走出的运动视觉，提高互动感受。

光场的显示

由于光线可逆，光场显示过程与光场成像过程互为对偶关系，因此将捕获的光场信息通过光场显示器件表现出来后，人眼即可看到“真实”的虚拟世界。

微透镜阵列和光场渲染技术：美国英伟达公司最近发明了一种近眼光场头盔。该头盔采用微透镜阵列和光场渲染技术，使人们能够自由调节对焦，观察到正确的聚散程度、双目视差和深度信息。其基本原理是在有机发光二极管显示器上覆盖一层微透镜阵列，在人眼的调节距离内快速合成虚拟的3D景物。由于此类显示设备的尺寸小、佩戴轻便，为下一代光场显示和虚拟现实设备的开发提供了新的思路。尽管这种光场头盔的分辨率较低，还不足以实现商业化用途，但随着硬件器材和计算机算法的不断完善，未来将有巨大的发展潜力。

压缩光场显示：另一种光场显示技术称为压缩光场显示，也是光场显示方向颇具潜力的解决方案之一。例如，麻省理工学院开发的多层压缩光场显示装置采用若干层掩膜和透明间隔实现光场显示，通过张量分解的方法优化每层掩膜板的透过率，将二维图像投射到三维空间。