随着自动驾驶汽车开始在城市运营，如何让它们在电信基础设施有限的农村地区也能正常运行仍然是一个问题。据外媒报道，华盛顿州立大学（Washington State University）的一项新研究提出了一种潜在的解决方案，该研究表明，运行压缩的大语言模型的小型、经济型计算机可以有效地辅助自动驾驶汽车进行决策。

图片来源：华盛顿州立大学

华盛顿州立大学温哥华分校工程与计算机科学学院院长、计算机科学副教授、该论文的通讯作者Xinghui Zhao说道：“对于自动驾驶来说，我们需要立即做出决策。如果后端拥有强大的云平台，就可以轻松训练和改进感知模型，从而辅助车辆决策，但这仅限于网络连接良好的城市地区。而农村地区的网络连接则不稳定，甚至时断时续。在这种情况下，就需要具备实时处理数据的能力。”

该项目是Zhao及其同事持续研究的一部分，旨在解决自动驾驶汽车在农村地区面临的挑战。相关研究成果已在第十届ACM/IEEE边缘计算研讨会论文集（Proceedings of the Tenth ACM/IEEE Symposium on Edge Computing）上发表。

自动驾驶汽车仍处于早期发展阶段，它们已开始出现在一些主要城市，并且各种系统正在开发中。人们对将汽车开发成“边缘”设备非常感兴趣，这种设备可以在一个独立的系统中收集、处理和分析数据，而无需依赖遥远的数据中心进行处理。这种去中心化计算可以提高效率、降低成本和能耗，并保护隐私。

Zhao表示：“我们可以从越来越多的设备中收集数据——各种传感器、小型麦克风，甚至小型摄像头。所有这些设备都在收集数据。如果我们依赖后端数据中心，那就意味着每个设备都需要将数据发送到数据中心进行处理。越来越多的人倾向于使用能够在数据收集设备上直接处理数据的应用程序。”

自动驾驶汽车使用三个主要计算层：感知，即收集和解释来自摄像头、雷达和其他传感器的数据；推理，即实时分析传感器数据以选择驾驶动作；以及行动，即执行这些决策。

在这个新项目中，研究人员专注于推理。一些自动驾驶系统依赖于一种称为深度强化学习（DRL）的人工智能（AI）技术，这种技术必须使用海量数据进行训练，并通过反复试验不断改进。DRL技术成本高昂，并且在遇到不可预见的情况时可能不太可靠。

另一方面，大语言模型（LLM）擅长更高层次的推理，并且能够利用上下文信息在遇到新情况时做出决策。但它们也需要大量的计算资源，并且依赖于云计算。

该论文第一作者Ishparsh Uprety表示：“LLM模型非常庞大，如果要在汽车上运行它，计算量会非常大。我们的想法是：不如优化一下LLM模型，让它更小一些？”

华盛顿州立大学的研究团队着手测试了一种独立式LLM模型的性能。这种模型的数据和内存占用都经过压缩，从而加快了决策速度，但可能会损失一些精度。他们使用了开源LLM模型Mistral，并将其压缩到一个Jetson Orin Nano计算模块上。该模块只有8GB，比一本平装小说还要小。

研究人员利用开源的AI系统测试平台，在七个驾驶场景中比较了压缩后的LLM模型和完整版ChatGPT模型的推理能力。

在大多数情况下，这两个系统都能做出安全且性能相近的决策，但Mistral版本在一个场景中崩溃了。研究人员得出结论：鉴于其计算占用空间大大减少，初步结果表明，压缩后的LLM模型最终可能适用于自动驾驶汽车的边缘计算——尽管在这样的系统能够上路之前，还需要进行更多的测试。

这项研究在开源仿真器上进行，同时也为高效驱动其他类型的应用（例如农业机器人）提供了一种可能的方法。