导读
随着自动驾驶技术快速发展，有效的仿真环境成为验证与增强这些系统的关键。来自上海人工智能实验室的研究团队推出了LimSim Series——一个革命性的自动驾驶仿真平台，它巧妙解决了行业面临的三大挑战：仿真精度与持续时间的平衡、功能性与实用性的冲突，以及评估系统的全面性。
该平台采用兴趣区域创新性地优化计算资源，支持模块化、端到端及知识驱动型自动驾驶系统，并通过多维度评估指标提供深入系统性能分析。让一起探索LimSim Series如何加速自动驾驶技术的迭代与突破！
©️【深蓝AI】编译
论文题目：LimSim Series: An Autonomous Driving Simulation Platform for Validation and Enhancement
论文作者：Daocheng Fu, Naiting Zhong, Xu Han, Pinlong Cai, Licheng Wen, Song Mao, Botian Shi, Yu Qiao
论文地址：https://arxiv.org/pdf/2502.09170
论文代码：https://github.com/PJLab-ADG/LimSim
LimSim Series 是对原始 LimSim 的全面升级和扩展，它不再仅仅是一个交通模拟器，而是发展成为一个专门支持自动驾驶系统验证和增强的综合平台。主要升级体现在：增加了对不同自动驾驶技术路线（模块化、端到端和知识驱动）的全面支持；引入了“感兴趣区域“(AoI)概念来优化计算资源分配；增强了与SUMO和CARLA等现有模拟引擎的跨平台协同能力；添加了多模态大语言模型的应用支持，特别是在场景理解和决策制定方面；开发了更加独立的轻量级引擎；完善了交互式模拟策略，更精确地确定何时由模拟器控制车辆以及何时应遵循真实世界数据。这些升级使LimSim Series成为一个能够平衡模拟精度与持续时间、功能性与实用性，并为自动驾驶技术提供合理评估系统的综合平台。
1、研究背景
在近期智能交通研究领域中，在封闭循环仿真环境中验证和增强自动驾驶系统（ADS）已成为关键焦点。这类环境提供数据收集、模型训练和性能评估的连续循环，通过提供宝贵的反馈循环来扩展ADS的能力。从时间维度来看，封闭循环环境使决策和规划的长期性能探索成为可能；从空间维度看，它们提供多样化和动态的场景，有助于发现边缘情况；从控制连续性角度看，封闭循环仿真评估不同系统模块的交互，从而揭示潜在弱点。这使得封闭循环仿真在自动驾驶系统的开发和改进中不可或缺。
然而，构建有效的闭环自动驾驶仿真必须在真实性、系统需求和性能之间取得平衡。实现这一点不仅需要设计真实的驾驶场景，还需要满足自动驾驶技术多样化和不断发展的需求。当前的自动驾驶仿真平台仍面临几个关键挑战：首先是平衡仿真精度与持续时间的难题。其次是功能性与实用性之间的冲突。第三是缺乏全面且合理的评估系统。
为解决这些挑战并进一步推进封闭循环环境中ADS的验证和增强，作者开发了LimSim Series，一个综合仿真平台。通过整合来自道路网络的多类型信息，LimSim Series通过类人决策制定和规划算法控制背景车辆，为算法测试创建逼真的驾驶场景。这种方法通过引入兴趣区域（AoI）的概念来平衡仿真效率与质量，优化计算资源，并实现宏观-微观交互仿真。LimSim Series还提供各种基准算法和用户友好的接口，促进各种ADS和算法的快速部署。这些特性支持多种技术管道的灵活验证，使研究人员能够高效测试不同模块和配置。此外，LimSim Series纳入了多维评估指标，为系统性能提供详细见解，帮助研究人员快速识别问题和改进领域。
图1：LimSim仿真器
2. LimSim仿真框架
本文提供了一个自动驾驶仿真的综合框架，包括多个必要模块（如图2所示），以支持不同技术管道的部署。作者接着分享了设计这一框架的一些考虑和见解。
图2：LimSim仿真系统
2.1 仿真模块
驾驶引擎
在LimSim Series中，作者非常注重独立性和与现有仿真引擎的兼容性问题。独立仿真引擎至关重要，因为它允许用户完全部署和测试基于该平台的算法，有效获取仿真过程的所有动态和静态信息。这种完全访问对于在受控环境中评估自动驾驶系统至关重要。此外，LimSim Series设计成与广泛使用的开源仿真引擎（如SUMO和CARLA）无缝集成，增强其多功能性。通过提供跨平台通信能力，LimSim Series允许联合开发，使用户能够利用每个平台的优势。例如，SUMO以其高速交通流仿真而著称，非常适合大规模交通管理研究，而CARLA则以逼真的3D渲染见长，非常适合可视化复杂城市环境。通过整合这些平台，LimSim Series可以支持各种自动驾驶技术管道，使用户能够在多种仿真场景下测试和验证其算法。
地图构建
LimSim Series中的交通网络地图构建设计为灵活和用户友好，支持导入ASAM OpenDRIVE格式等格式的地图文件。此外，用户可以通过跨平台通信获取地图信息，确保平台适应各种数据源。网络的几何信息和拓扑关系在仿真过程中至关重要，有助于建立车辆与道路之间的有效关系，从而间接构建车辆与周围交通参与者之间的关系。此外，为准确定位车辆位置，LimSim Series采用了由笛卡尔坐标系和Frenet坐标系组成的双坐标系统。笛卡尔坐标系提供车辆的绝对定位，这对分析车辆冲突和评估驾驶性能至关重要。例如，通过使用笛卡尔坐标，用户可以跟踪车辆在变道或接近交叉口时的反应。另一方面，Frenet坐标系对局部轨迹规划特别有用。它简化了靠近道路中心线的轨迹生成，无需详细的道路几何。这种双重方法确保了精确定位和有效路径规划，即使在复杂环境中也是如此。
场景理解
交通场景可定义为目标车辆或目标道路点周围的道路区域，包括指定范围内的所有交通参与者。通过与CARLA等3D场景仿真器交换信息，LimSim Series提供详细的3D道路场景数据，包括来自多个视角的原始传感器数据——如相机和激光雷达传感器的图像和点云。这些数据可与传统感知算法一起使用，识别和标记场景中的交通参与者，以及估计其运动状态（如速度和方向）。此外，这些传感器数据也可以输入到端到端深度学习架构中进行场景的隐式编码，或输入到多模态大型模型中进行一般上下文理解，实现更复杂的场景解释。
决策与规划
LimSim Series提供多种轨迹规划方法，适合简单和高级用例。基线方法包括传统的跟随和变道模型，为自动驾驶仿真新手提供起点。例如，智能驾驶员模型（IDM）和MOBIL模型的组合提供了一种简单而有效的方法来模拟交通中的车辆移动。这些模型帮助用户理解车辆行为的基本机制，如保持安全跟车距离和执行平稳变道。虽然控制模式简单，但这些模型也作为评估交通流仿真性能的基准。对于更复杂的场景，LimSim包括一个采用双层逻辑结构的联合决策规划模型。上层利用蒙特卡罗树搜索（MCTS）进行决策，帮助模拟车辆的高级行为，如决定是否超车或在交叉口停车。下层执行轨迹规划，使用并行处理生成特定轨迹点，确保实时响应。此外，先进技术如大型语言模型可以集成，基于场景分析输出决策元动作。例如，大型语言模型可以解释周围交通条件并决定车辆是否应该加速、减速或变道。
性能评估
为评估算法性能，LimSim Series引入了一套全面的性能指标。对于单个车辆，封闭循环仿真指标主要关注车辆的操作状态，包括效率、舒适度和安全指标。例如，效率可通过驾驶任务的完成时间衡量，舒适度可通过车辆行驶的平稳度评估，安全性可通过碰撞或近碰撞频率评估。这些指标的量化可帮助用户识别特定场景中的算法失败，从而识别边缘情况并支持算法迭代和优化。例如，车辆反复无法安全变道的场景可能突显需要改进车辆的决策或感知模型。此外，为进一步增强仿真的真实性，用户可以校准模型参数以匹配真实世界数据集的统计特性，如平均速度、车头时距（两车之间的时间间隔）和饱和流量（在给定时间内可通过交叉口的最大车辆数量）。这确保了仿真结果代表真实交通条件，增强了测试环境的有效性。
2.2 设计考虑与见解
效率与规模之间的权衡
随着平台上运行的车辆数量增加，模拟其交互所需的计算负载也呈指数增长。在有限的计算资源下，仿真平台面临的常见挑战是效率和规模之间的权衡。简单来说，你想要模拟的车辆和详细交互越多，所需的计算能力就越大。在现有仿真器中，这种权衡通常通过减少仿真粒度来解决——这可能包括降低渲染帧率或减少轨迹更新频率。然而，这类简化可能牺牲真实性和准确性，特别是在车辆行为至关重要的关键场景中。
为平衡这些相互冲突的需求，LimSim Series引入了兴趣区域（AoI）的概念，如图3所示。AoI将计算资源集中在感兴趣车辆周围的局部区域，确保仿真在必要处保持高度详细，在不太关键的区域计算效率更高。在AoI内，车辆行为以高粒度模拟，使用模拟真实世界决策的复杂控制策略。例如，当车辆即将合并到另一车道时，它将应用微妙的控制策略来评估和应对附近交通。在AoI外，仿真粒度降低，车辆默认使用简单、高效的行为，如车道跟随或基本速度控制。这种方法允许一个可扩展的解决方案，使仿真器能够处理大量车辆而不会使系统超负荷。未来，作者还计划探索分布式仿真策略，车辆控制可以分散并由分布式中心网络管理。这将提供更大的灵活性和可扩展性，同时保持统一的场景渲染接口，确保所有仿真模块的一致视觉表示。
图3：AoI区域
真实数据与仿真平台的整合
基于仿真的研究中的一个关键挑战是整合真实世界数据以提高仿真环境的真实性。导入真实交通数据，如道路网络布局和历史交通流，可增强仿真交通条件的准确性。然而，这种整合可能导致车辆之间动态交互的丧失，而这对于模拟真实行为至关重要。
为解决这一问题，LimSim Series将交互式仿真策略作为核心功能开发。这些策略帮助确定车辆何时应由仿真器控制，何时应遵循真实世界数据。这种动态方法增强了真实性和交互性，使仿真能够适应交通动态的复杂性。例如，如图4所示，当车辆进入AoI并可能与其他车辆发生潜在冲突（如造成追尾碰撞）时，仿真器将用默认控制策略覆盖车辆的轨迹，以防止事故或不自然行为。一旦冲突解决或车辆离开AoI，仿真器将恢复车辆的轨迹，使其与真实世界数据保持一致。这确保了车辆的行动虽然动态调整以避免碰撞，但在AoI外仍保持与真实世界交通模式的基础联系。在之前的工作中，作者还探索了3D场景重建与LimSim Series的整合。这种结合允许以更详细地复制真实世界交通环境，并提供灵活性任意编辑车辆轨迹。这种整合为模拟复杂城市驾驶场景开辟了新的可能性。
图4：仿真策略
3. 实验
3.1 实验设置
LimSim Series提供各种基线模块和算法，以及用户友好的API，使其能够与主流自动驾驶系统无缝集成。它为不同自动驾驶系统提供便捷的仿真和验证功能，帮助探索其性能边界。此外，LimSim Series完全支持高清地图解析，允许在各种道路类型和场景中进行仿真实验。
在本节中，作者在不同场景中对各类自动驾驶系统进行了仿真实验。评估的系统包括：
1. PDM（Dauner等人，2023年），代表模块化自动驾驶系统；
2. Interfuser（Shao等人，2022年），代表端到端自动驾驶系统；
3. VLM-Agent（Wen等人，2023a；Fu等人，2024年），代表知识驱动自动驾驶系统；
4. LimSim-TM（Wen等人，2023b），LimSim Series提供的基线交通控制器。
PDM包括几个模块，如智能体预测、轨迹提议和轨迹细化，为车辆提供适当的轨迹。它使用基于规则的预测规划器获取轨迹提议，并使用学习的自我预测模块细化轨迹。InterFuser是基于多传感器和集成变压器方法的安全增强自动驾驶策略，使用可解释特征增加自动驾驶的安全性。VLM-Agent利用GPT-4o进行自动驾驶决策制定，采用零样本方法。该模型基于LimSim Series提供的全景图像进行场景分析、行为预测和行动决策。该模型的决策结果将由LimSim Series解析，并最终应用于自我车辆。LimSim-TM通过搜索使用几个不同模块实现预测、决策和规划功能。决策模块引入了社会价值取向（SVO）分组决策，使车辆行为更接近真实世界情况。
作者为这些实验选择了几个代表性场景：多车道高速公路、匝道、交叉口、环岛和一个定制设计的长路线，后者整合了多个复杂情况。这些场景的鸟瞰图，如图5所示，是使用CARLA捕获的。
图5：实验场景
3.2 各种自动驾驶模型的性能评估
为全面评估上述场景中自动驾驶系统的性能，作者从四个指标评估仿真结果：路线完成率（%）、驾驶分数、平均决策时间（秒）和成功率。驾驶分数是一项整体指标，考虑了乘坐舒适度、驾驶效率和安全性。有关详细定义和参数值，请参考作者之前的工作（Fu等人，2024年）。在每个场景中，生成10个随机背景交通流以验证模型在各种交通条件下的性能。成功率计算为这10个实验中成功测试的数量。实验结果的均值和标准差如表1所示。
表1：实验结果
由于驾驶分数反映了综合性能评估，LimSim-TM展示了最一致和卓越的整体性能。PDM和VLM-Agent在不同场景中表现出有竞争力的性能，而Interfuser始终表现不佳，特别是在环岛场景中。该模型经常将车辆驶入环岛中央，导致环岛场景的性能不理想。相比之下，模块化方法和知识驱动方法都展示出正确的决策能力。这并不意味着端到端自动驾驶系统本质上较差，而是突显了数据驱动方法对训练数据分布的敏感性。由于Interfuser未在所选环境中训练，它无法充分展示其潜力。相反，依赖基于规则决策的PDM和LimSim-TM，即使在不熟悉的场景中，也能通过采用基于搜索的方法产生相对强大的决策。
值得注意的是，零样本VLM-Agent即使没有事先接触这些场景，也具有强大的泛化能力，利用其强大的常识推理能力。然而，VLM-Agent由于VLM的推理延迟而受到推理速度限制。它在各种场景中的平均决策时间约为10秒，这使其难以满足实时要求。未来研究可能专注于提高模型的推理速度或减少输出中的标记数量，以弥合数据驱动方法与实际应用之间的差距。
实验表明，LimSim Series为不同类型的自动驾驶系统提供了丰富的仿真环境，支持多样化交互和仿真结果的多维评估。实验结果表明，LimSim Series提供的评估非常适合各种模型的特性。其实时记录系统还有助于识别边缘情况，辅助模型迭代和改进。
4. 结论与未来工作
本文探讨了ADS的开发和验证，将其分类为模块化、端到端和知识驱动三种方法。然后介绍了LimSim Series，一个通过驾驶引擎、地图构建、场景理解、决策和规划以及性能评估等模块支持各种ADS类型的综合仿真框架。在多样化场景中的实验证明了所提出平台有效评估ADS性能的能力。
未来，用于ADS的仿真系统需要在以下关键领域取得突破，以满足实际需求：
● 支持高保真传感器仿真：未来仿真框架可能整合3D高斯溅射和扩散技术，实现准确的3D场景重建，为模型测试提供更真实、多样化的传感器信号输入。应特别强调确保高渲染效率以优化仿真性能。
● 异构交通流仿真：道路网络中常见的人车混合交通场景，需要模拟行人与车辆之间的交互。此外，系统应适应特殊用途车辆，如公交车、出租车和救护车，捕捉它们独特的行驶轨迹和行为。
● 综合测试场景库：强大的仿真平台应提供多样化、全面的测试场景集。除了基于日志案例编辑的场景外，未来研究应关注由特定指令引导的AI驱动生成方法。这种方法对于生成罕见且难以收集的边缘情况特别有价值，促进在复杂和边缘条件下更全面的测试。