在游戏引擎中可视化点云

何将源自3D映射的密集点云转化为有用的游戏引擎场景？本文考虑的问题包括 VR 应用的点分类和分割、几何精度和点着色。

【资料图】

在虚拟世界中直接使用密集的彩色点云有很多原因。点云本身可以通过 3D 映射方法高效生成。新VR技术提供的沉浸式可视化非常适合几何复杂的数据集，例如室内点云。随着与点云兼容的计算机硬件解决方案和游戏引擎的发展，VR中的点云可视化变得越来越容易实现，因此也与地理信息学相关。

得益于3D测绘技术的不断进步，获取3D点云的效率从未如此之高。彩色点云既可以使用测量级系统（例如车载移动激光扫描）和消费技术（例如移动设备中的激光雷达传感器）获得。同步定位和映射 （SLAM） 系统使室内和室外的 3D 映射成为可能。当代室内SLAM系统可以在几何复杂的环境中以高测绘效率运行。除了激光扫描系统，摄影测量软件的不断发展不仅为市场带来了更先进的专业工具，还引入了更多人性化的开源软件进行摄影测量三维重建。这在使用无人机（无人机或“无人机”）进行 3D 测绘方面尤为重要;毕竟，相机仍然是他们最重要的传感器有效载荷。如今，即使是消费级迷你无人机也配备了陀螺稳定高分辨率相机。

在消费技术领域，深度摄像头以及最近的激光雷达传感器已被集成到手持设备中，可实现近乎实时的3D重建。它们还用于3D扫描仪和自主机器人设备。由于这些发展的结合，日常生活中遇到的大多数环境现在可以在三维空间中数字化。

密集的彩色点云以高细节描绘真实世界的环境，并且可以在合适的可视化环境中产生近乎逼真的场景。

从地图映射到沉浸式体验

因此，使用3D传感技术的挑战正在从数据采集转向数据利用。由于点云仍然是3D传感中的最低公分母，因此它们是最具吸引力的数据类型。可以利用点云的解决方案与各种传感技术兼容。最简单的应用形式是点云的可视化。在台式计算机和传统显示器上，这可以通过多种商用和开源软件解决方案来执行。同样，基于浏览器的点云可视化是由许多公开可用的Javascript库和在线服务实现的。

在过去十年中，使用头戴式显示设备（HMD）的虚拟现实（VR）可视化已经成熟为一种消费技术。设备可从多个制造商获得，但发布应用程序的业务生态系统正在围绕几个主要参与者融合。以类似的方式，可以支持多种VR HMD的开发工具和开放标准（如OpenXR）已经出现，简化了应用程序的开发。为了构建超越数据可视化的交互式VR应用程序和体验，商业游戏引擎是事实上的标准环境。在这里，VR社区受益于庞大的开发人员库，他们可以将他们对游戏开发的经验和热情转移到商业游戏引擎中。对于游戏开发者来说，进入VR相对容易，而且有据可查。

虚拟现实和点云

由于大多数用于 HMD 的 VR 应用程序都是使用游戏引擎构建的，因此这些游戏引擎能够支持点云非常重要。幸运的是，点云已通过内置功能或可用插件直接作为数据类型在许多游戏引擎中提供。然而，由于渲染的严格性能要求，尤其是高要求的帧率，VR中的点云可视化变得更加复杂。在通过普通显示器研究的交互式可视化中，低帧速率最多很烦人。在VR中，渲染速度的降低会导致渲染图像与人类感官系统不匹配。这会导致用户感到不适，在极端情况下会导致实际的身体症状，例如恶心。

VR为探索点云提供了完整的六个自由度。

点云的VR可视化需要高效的系统进行空间索引，细节级别处理和拒绝渲染（剔除）中不可见的点。这些系统允许引擎确定虚拟摄像机实际看到点云的哪些部分，并仅渲染具有足够细节水平的部分。此外，渲染必须运行，以便在从云的更远部分完成渲染时以最少的处理完成更少的点。通过将空间索引与剔除和多个细节层次（由距离确定）相结合，以及通过调整栅格化点的大小，可以将要渲染的点总数保持在限制范围内。

由于VR可视化本质上也提供第一人称视角，因此通常存在潜在的透视效应和密度变化引起的问题，尤其是对于非结构化的室内点云。因此，必须实现动态点大小调整。在游戏引擎中，这与用于实际绘制点的方法相关联。最常见的是，这些点可以直接绘制为像素集，也可以通过几何对象（如正方形或圆形）绘制，这些对象用于代替点，并通过引擎的传统三角形渲染管线进行渲染。

动态资产支持丰富的交互

虚拟环境和用户之间的丰富交互通常是游戏引擎可视化兴趣的关键驱动因素。传统的游戏引擎场景是由一组网格模型、摄像机、灯光、演员等构建而成的。通过动态的脚本交互，这些交互将场景从静态渲染转变为交互式环境。为了尽量减少计算资源的使用，通常组装虚拟场景，以便只有用户可以与之交互的对象才能响应模拟碰撞、重力和更复杂的照明模型。简化的几何形状（如基本形状和凸包）用于模拟碰撞和检测重叠。

如果点云的使用要超越简单的可视化，那么点云还必须与游戏引擎应用程序中常用的功能兼容，例如实时照明、模拟碰撞和交互式对象。在这里，照明主要是渲染问题，与可视化系统有关。然而，实现单独的对象也对点云本身提出了要求。

因此，将密集点云转换为有用的游戏引擎场景需要将点云分离成可交互的对象，并与其简化版本相结合，以实现动态模拟。同时，使用的索引和渲染解决方案必须与场景中移动的对象兼容。

密集的点云分割成八叉树结构，细胞被隐藏并根据虚拟摄像机的视锥体显示。

结论

在研究文献和软件开发中，已经提出了许多解决方案，用于将源自3D映射的密集点云转换为有用的游戏引擎场景。许多类似游戏的属性，如可交互对象和动态光照，已经通过点云完成了。然而，一些专题研究问题仍然存在。对于要在游戏引擎中应用的点云，将点分类为简单的对象类型（如建筑物或植被）是不够的。生成交互式游戏引擎场景需要更精细的、对象级别的分割和语义理解。对于点云中物体的分类和分割，仍然需要更多的研究和更复杂的解决方案。

在现有的研究中，对使用不同3D映射技术获得的点云质量的大部分评估主要集中在它们的几何精度上。然而，VR应用还需要足够好的点着色才能作为3D传感的一部分来实现。这强调了点云的辐射质量，因为这在其可视化中起着重要作用。

从计算的角度来看，纹理网格模型是目前在游戏引擎可视化中表示几何体的最有效方法。然而，使用点云具有许多潜在的好处，例如简化来自不同地图系统的数据集成以及提高数字化现实环境的效率。此外，VR提供了一种自然的方式来探索具有完整六个自由度的几何复杂数据集，身临其境地导航它们，甚至可能与点进行交互。因此，点云的VR可视化实验仍然是测绘学界的热门话题。

点云可以分割成单独的对象进行游戏引擎交互，也可以在VR中身临其境地编辑。