神经网络可以学习解决各种问题，从识别照片中的猫到驾驶自动驾驶汽车。但是，这些强大的模式识别算法是否能够真正理解它们正在执行的任务？

例如，一个负责让自动驾驶汽车保持在车道上的神经网络可能会通过观察路边的灌木丛来学习这样做，而不是学习检测车道并关注道路的地平线。

麻省理工学院的研究人员现在已经表明，某种类型的神经网络，能够了解正在训练执行的导航任务的真实因果结构。由于这些网络可以直接从视觉数据中理解任务，因此在复杂环境（例如树木茂密的位置或快速变化的天气条件）中导航时，应该比其他神经网络更有效。

未来，这项工作可以提高执行高风险任务的机器学习代理的可靠性和可信度，例如在繁忙的高速公路上驾驶自动驾驶汽车。

这些机器学习系统能够以因果方式进行推理，可以知道并指出它们如何运作和做出决策。这对于安全关键型应用至关重要。

神经网络是一种进行机器学习的方法，其中计算机通过分析许多训练示例，通过反复试验来学习完成任务。神经网络会改变它们的基本方程，以不断适应新的输入。

这项新研究借鉴了先前的工作，其中 Hasani 和其他人展示了一种称为神经回路策略(NCP)的受大脑启发的深度学习系统，由液体神经网络细胞构建，能够自主控制自动驾驶车辆，一个只有 19 个控制神经元的网络。

研究人员观察到，执行车道保持任务的 NCP 在做出驾驶决定时，将注意力集中在道路的地平线和边界上，就像人类驾驶汽车时一样。他们研究的其他神经网络并不总是专注于道路。

这是一个很酷的观察，但不签还没有对其进行量化。因此，需要找出这些网络为何以及如何能够捕获数据的真正因果关系的原理。

他们发现，当 NCP 被训练完成一项任务时，网络学习与环境交互并解释干预。本质上，网络识别其输出是否因某种干预而改变，然后将因果关系联系在一起。

在训练期间，网络向前运行以生成输出，然后向后运行以纠正错误。研究人员观察到，NCP 在前向模式和后向模式期间关联因果关系，这使网络能够非常关注任务的真实因果结构。

Hasani 和他的同事不需要对系统施加任何额外的限制，也不需要为 NCP 执行任何特殊设置来了解这种因果关系。

“因果关系对于飞行等安全关键应用的表征尤为重要，”Rus 说。“我们的工作证明了用于飞行决策的神经回路策略的因果关系特性，包括在具有密集障碍物的环境中飞行，如森林和编队飞行。”

风化环境变化

他们通过一系列模拟测试 NCP，其中自主无人机执行导航任务。每架无人机都使用来自单个摄像头的输入进行导航。

无人机的任务是前往目标物体、追逐移动目标或在不同环境（包括红杉林和社区）中跟踪一系列标记。他们还在不同的天气条件下旅行，如晴朗的天空、大雨和大雾。

研究人员发现，在天气良好的情况下，NCP 在较简单的任务上的表现与其他网络一样好，但在更具挑战性的任务上表现得更好，例如在暴雨中追逐移动的物体。

“我们观察到，NCP 是唯一一个在完成导航任务的同时，在不同环境中关注感兴趣对象的网络，无论您在哪里测试，以及在不同的照明或环境条件下。这是唯一可以随意执行此操作并实际学习我们希望系统学习的行为的系统，”他说。

他们的结果表明，使用 NCP 还可以使自主无人机在条件不断变化的环境中成功导航，例如突然变得有雾的晴朗景观。

“一旦系统了解了它实际应该做什么，它就可以在它从未经历过的新场景和环境条件下表现良好。这是当前非因果机器学习系统的一大挑战。我们相信这些结果非常令人兴奋，因为它们展示了如何从神经网络的选择中产生因果关系，”他说。

未来，研究人员希望探索使用 NCP 来构建更大的系统。将数千或数百万个网络放在一起可以使他们处理更复杂的任务。

这项研究得到了美国空军研究实验室、美国空军人工智能加速器和波音公司的支持。