OmniDrive：利用LLM进行3D感知、推理和规划的全自动驾驶框架

在自动驾驶领域，大型语言模型（LLM）因其强大的推理能力备受关注。然而，将其推理能力从2D空间扩展到3D空间，对于自动驾驶来说是一个重大挑战。

近日，来自北京理工大学，NVIDIA和华中科技大学的研究团队发表了“OmniDrive: A Holistic LLM-Agent Framework for Autonomous Driving with 3D Perception, Reasoning and Planning”，提出了一种名为OmniDrive的框架，旨在实现LLM与3D驾驶任务之间的强一致性。该框架采用了一种新颖的3D多模态语言模型架构，并提出了一个新的基准测试，涵盖全面的视觉问答任务，用于推理和规划。OmniDrive展示了在复杂3D场景中进行推理和规划的能力。

添加图片注释，不超过 140 字（可选）

论文地址：OmniDrive: A Holistic LLM-Agent Framework for Autonomous Driving with 3D Perception, Reasoning and Planning

添加图片注释，不超过 140 字（可选）

虽然有个Git地址，不过里面几乎是空的，就一个视频。以下为论文呢的主要内容：

OmniDrive-Agent是一个端到端的自动驾驶框架，利用大型语言模型（LLM）进行3D感知、推理和规划。该框架的创新之处在于采用了Q-Former3D架构，将视觉特征压缩成固定数量的查询，并通过3D位置编码实现了对高分辨率多视图视频输入的高效处理。

添加图片注释，不超过 140 字（可选）

此外，它整合了多个Q-Former3D模块，支持多任务学习，如中心线构建和3D对象检测。时序建模模块的加入，使得模型能够有效处理视频输入。OmniDrive-Agent的训练策略分为2D预训练和3D微调两个阶段，这有助于充分利用2D预训练知识，同时获得3D空间理解。具体参数的精心设置，如查询数量和学习率，进一步提升了模型性能。

OmniDrive-Agent通过其创新性的模型设计和详细的训练策略，在自动驾驶领域展现出了强大的感知、推理和规划能力。

OmniDrive-nuScenes 是一个基于nuScenes数据集构建的新颖基准测试，旨在全面评估自动驾驶系统中大型语言模型（LLM）的感知、推理和规划能力。该基准测试通过GPT4自动生成问题回答对，涵盖了丰富的视觉问答任务，包括场景描述、交通规则理解、3D定位、反事实推理以及开环规划等。这些任务挑战了模型在3D空间中进行真正理解和长视距推理的能力，因为它们需要模型进行几秒内的规划模拟来获得正确答案。

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

OmniDrive-nuScenes 还提出了一个在线生成各种定位问题的流水线，这可以看作是一种隐式数据增强，有助于提升模型在3D空间理解和推理方面的能力。此外，基准测试不仅评估了模型在场景描述和反事实推理方面的性能，还通过开环规划评估了其在真实3D环境中的规划能力。

OmniDrive-nuScenes 提供了一个全面的基准测试，用于评估和推动自动驾驶系统中LLM在感知、推理和规划方面的进展。它要求模型进行长视距的3D推理和规划，对提升模型在这方面的能力具有重要意义。

该文详细介绍了OmniDrive-Agent的实现细节，并进行了多方面的分析。结果显示，OmniDrive-Agent在场景描述和反事实推理方面表现突出，同时也展示了在开环3D规划方面的竞争力。基准测试结果也验证了OmniDrive在感知、推理和规划方面的强大能力。

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

OmniDrive填补了现有自动驾驶系统中2D到3D理解的鸿沟，并提供了更全面的基准测试。OmniDrive框架在LLM与3D自动驾驶任务的对齐方面取得了突破。它不仅采用了创新的3D多模态语言模型设计，还提出了一个更具挑战性的基准测试，超越了单一专家轨迹。实验证明，OmniDrive在复杂的3D场景中展现了出色的推理和规划能力。该研究为利用LLM进行端到端自动驾驶提供了一个全面和原则性的框架。