自动驾驶中常提的世界模型是什么？

[首发于智驾最前沿微信公众号]在很多厂家的技术方案中，会提到世界模型的介绍。世界模型，就是自动驾驶系统内部用来表示外部世界并预测未来演变的一组模型或表征。换句话说，世界模型就是把传感器看到的东西（摄像头画面、激光雷达点云、雷达回波、定位速度等）组织起来，变成车能“理解”和“推演未来”的内部信息，然后用这套信息去预测接下来几秒钟可能发生的事。

紧急刹车，图片源自：网络

这个“内部信息”有两种常见风格。一种是把外界拆成一堆具体对象，每个对象有位置、速度、大小、类别这些东西，然后去预测这些对象会怎么动。另一种是把环境做成一张网格或地图（比如俯视下的占用格子），在格子上直接学它们如何变化。前者容易理解、能跟物理约束结合；后者在处理复杂道路或车流时更直观一些。但无论哪种，目的都是让车不仅知道“现在怎样”，还能估计“下一秒、两秒后可能怎样”。

世界模型既可以是基于物理规则写出来的，也可以是用机器学习从大量数据里学出来的。常见的做法是把这两者结合，先用简单的物理模型提供基线，再用学习模型去修正那些物理模型覆盖不了的复杂行为。这样既有解释性，又能利用数据提升精度。

在自动驾驶里，世界模型到底做什么？

世界模型其实可以实现几件事，第一件事是把“现在”的观测变成稳定的信息。传感器会有噪声、遮挡、时间延迟等问题，世界模型会用历史信息把这些瞬时的、零散的观测整合成连续的状态估计。举个容易懂的例子，当一个行人被路边车挡住了镜头一小会儿，模型不会立刻断定人消失了，而是根据之前的速度和道路位置合理估计他的可能位置，继续保留这个目标的存在。

第二件事是给出“多步的未来预测”。这比只看现在重要得多。预测不是只说“物体现在在哪”，而是输出未来几秒钟里物体可能的轨迹。对于自动驾驶汽车来说，未来往往不止一种可能，那个行人可能继续直走，也可能突然加速或停下。世界模型要能表示这种多样性，告诉下游的决策模块“有这几种大概率发生的未来”。

车辆轨迹预测，图片源自：网络

第三件事是当作“模拟器”给规划器用。规划器在做决策时需要评估不同动作的后果。世界模型可以在车内做很多“如果……会怎样”的试算，把候选动作代入模型，看到每种动作会带来什么风险和结果，然后选一个既安全又高效的动作。这种方式在控制里叫模型预测控制，世界模型让这种思路能在复杂交通里用上。

第四件事是生成训练数据或丰富仿真。现实世界里很难收集到所有极端情况，世界模型能在仿真里复现一些复杂交互场景，帮工程师训练感知和决策模块，尤其是那些在现实里很少见但很重要的危险边缘场景。

世界模型为什么重要？它会带来哪些影响？

世界模型给自动驾驶带来的最直观的好处是让系统变得更“前瞻”。当车能提前预测周围人的下一步动作，规划器就可以提前减速、调整轨迹，避免紧急刹车或碰撞。这也让自动驾驶系统处理不确定性的能力变强。对于现实的交通情况来说，是非常复杂的，不确定性会很多，世界模型通常会以概率或多个备选方案来表示未来的可能，这样自动驾驶系统不会仅依托唯一一个可能的路径。世界模型也让自动驾驶的工程效率得到提升，把世界动态学到模型里之后，可以在仿真里快速试验策略，减少实车试错成本。世界模型也让自动驾驶的可解释性在一定程度得到改善，尤其是采用对象级表示时，人可以比较容易看懂“为什么车做了这个决策”（因为模型预测行人会这样做）。

图片源自：网络

当然，世界模型很大程度上会比较依赖数据。如果训练数据里很少见某类场景，模型在这类场景上预测可能会出大偏差。此外，长时预测会积累误差，模型每一步都可能有小错，错会逐步放大，几秒钟后预测可能完全偏离真实。这会误导规划器做出不合适的动作。可验证性问题也是世界模型继续解决的问题，当世界模型是一个深度网络时，它内部的推理过程难以用传统方法证明是安全的，这给安全认证带来麻烦。计算与实时性更是世界模型在设计时需要解决的难题之一，多步、多模态的预测如果不做优化，算力开销大，推理延迟高，这在实时系统里是不能接受的。

世界模型既然可以提升自动驾驶的性能，那它应如何应用到自动驾驶中？一种方法是把学习到的世界模型作为建议器，用来产生候选未来，但把最后的安全检查和约束放在规则化的决策层或简单可靠的安全过滤器里。还有一种方法是把世界模型尽量压缩并优化成能在车端快速运行的版本，同时把复杂的长时预测放在云端或离线训练里做支撑。总之，把世界模型当成辅助决策的强力工具，同时保留冗余和规则化的安全网，是当前大多数技术方案的解法。

最后的话

世界模型并不是一个遥不可及的高深概念，它更像是让自动驾驶汽车学会“思考”的工具。有了它，自动驾驶汽车不再只是依赖当下看到的画面去做反应，而是能结合经验和预测，把眼前的情况和未来的变化联系起来。这种能力，就好比让汽车学会了“未雨绸缪”，能更冷静、更聪明地处理复杂环境。

不管是提升自动驾驶的安全性，还是减少对昂贵传感器和高精地图的依赖，世界模型都可能发挥关键作用。未来谁能把世界模型用得更好，谁就可能在自动驾驶的竞争中走得更快、更稳。对普通人来说，世界模型最终会体现在更安心的出行体验上，世界模型会让你感受到，车越来越像一个真正可靠的驾驶伙伴，而不仅仅是一台听指令的机器。