斯坦福大学的研究人员，利用最近对神经辐射场 (NeRF)的兴趣，设计了一种训练无人机在逼真和高度准确的环境中导航的新方法。

无人机可以在直接从现实生活位置映射的虚拟环境中进行训练，无需专门的 3D 场景重建。在该项目的这张图片中，风扰被添加为无人机的潜在障碍，可以看到无人机暂时偏离其轨迹并在最后一刻进行补偿以避免潜在障碍。

该方法提供了在虚拟场景中对无人机（或其他类型的物体）进行交互式训练的可能性，这些虚拟场景自动包含体积信息、直接从现实生活照片中提取数据，帮助训练无人机的图像识别网络和真实世界的照明，以确保将各种照明场景训练到网络中，避免对场景的原始快照过度拟合或过度优化。

沙发对象在复杂的虚拟环境中导航，在传统的 AR/VR 工作流程中使用几何捕获和重新构造很难映射到该环境，但它是在 NeRF 中根据在该位置拍摄的有限数量的照片自动重新创建的。

典型的 NeRF 实现不具有轨迹机制，因为过去 18 个月内的大部分 NeRF 项目都集中在其他挑战上，例如场景重新照明、反射渲染、合成和捕获元素的解开。因此，这篇新论文的主要创新是将 NeRF 环境实现为可导航空间，而无需大量设备和繁琐的程序，而无需将其建模为基于传感器捕获和 CGI 重建的 3D 环境。

这项工作提出了一个导航框架，该框架为机器人提供了一个预先训练好的 NeRF 环境，其体积密度为设备划定了可能的路径。它还包括一个过滤器，用于根据机器人车载 RGB 摄像头的图像识别，来估计机器人在虚拟环境中的位置。

通过这种方式，无人机或机器人能够更准确地“幻化”它在给定环境中预期看到的东西。

该项目的轨迹优化器通过巨石阵的 NeRF 模型导航，该模型通过摄影测量和图像解释生成到神经辐射环境中。 轨迹规划器在建立拱形上的最佳轨迹之前计算许多可能的路径。

该项目的轨迹优化器通过巨石阵的 NeRF 模型导航，该模型是通过摄影测量和图像解释（在本例中为网格模型）生成的，进入神经辐射环境。轨迹规划器在建立拱形上的最佳轨迹之前计算许多可能的路径。

由于 NeRF 环境具有完全建模的遮挡，无人机可以更轻松地学习计算障碍物，因为 NeRF 背后的神经网络可以映射遮挡之间的关系以及无人机机载基于视觉的导航系统感知环境的方式。自动 NeRF 生成管道提供了一种相对简单的方法，只需几张照片即可创建超真实的训练空间。

为斯坦福项目开发的在线重新规划框架，促进了弹性且完全基于视觉的导航管道。

斯坦福大学的倡议是第一个考虑在可导航和身临其境的 VR 风格环境中探索 NeRF 空间的可能性。神经辐射领域是一项新兴技术，目前受到多个学术努力的影响，以优化其高计算资源需求，以及解开捕获的元素。

由于 NeRF 环境是一个可导航的 3D 场景，自 2020 年出现以来，它已成为一种被误解的技术，通常被广泛认为是一种自动创建网格和纹理的方法。

事实上，NeRF 环境更像是一个“实时”渲染空间，其中像素和光照信息的融合被保留并在一个活跃和运行的神经网络中导航。

NeRF的关键在于它只需要有限数量的图像来重建环境，并且生成的环境包含高保真重建所需的所有信息，而无需建模师、纹理艺术家、灯光师的服务专家和成群结队的“传统”CGI 贡献者。

语义分割

即使 NeRF 有效地构成了“计算机生成图像”（CGI），它也提供了一种完全不同的方法和高度自动化的管道。此外，NeRF 可以隔离和“封装”场景的移动部分，以便它们可以添加、删除、加速，并且通常在虚拟环境中作为离散的方面运行，这种能力远远超出了当前的技术。

不过，NeRF 的架构有点像“黑匣子”，目前无法从 NeRF 环境中提取对象，使用传统的基于网格和基于图像的工具直接操作它。