7月5日，联想汽车发布基于端到端模子、VLM视觉言语模子和寰球模子的全新自动驾驶技能架构，并开启新架构的早鸟见解。联想汽车智能驾驶研发副总裁郎咸一又暗示，从2021岁首始全栈自研到今天发布全新的自动驾驶技能架构，联想汽车的自动驾驶研发从未住手探索的脚步。联想连结端到端模子和VLM视觉言语模子开yun体育网，带来业界首个在车端部署双系统的决策，也初次将VLM视觉言语模子成效部署在车端芯片上。

双系统算法原型，让自动驾驶拟东说念主念念考

联想汽车的自动驾驶全新技能架构受诺贝尔奖得主丹尼尔·卡尼曼的快慢系统表面启发，在自动驾驶领域模拟东说念主类的念念考和决策经由，造成更智能、更拟东说念主的驾驶照拂决策。

据先容，快系统即“系统1”，善于处理轻便任务，是东说念主类基于教养和习尚造成的直观，足以应付驾驶车辆时95%的成例场景。慢系统即“系统2”，是东说念主类通过更深远的理解与学习，造成的逻辑推理、复杂分析和打算能力，在驾驶车辆时用于照拂复杂以致未知的交通场景，占宽泛驾驶的约5%。“系统1”“系统2”互相结合，差别确保大部分场景下的高恶果和少数场景下的高上限，成为东说念主类默契、理解寰球并作念出决策的基础。

联想汽车基于快慢系统系统表面造成自动驾驶算法架构的原型。“系统1”由端到端模子好意思满，具备高效、快速反映的能力。端到端模子罗致传感器输入，并凯旋输出行驶轨迹用于已矣车辆；“系统2”由VLM视觉言语模子好意思满，其罗致传感器输入后，经过逻辑念念考，输出决策信息给到“系统1”。双系统组成的自动驾驶能力还将在云霄控制寰球模子进行磨练和考据。

端到端模子无缝输出

端到端模子的输入主要由录像头和激光雷达组成，多传感器特征经过CNN骨干网罗的提真金不怕火、和会投影至BEV空间。为擢升模子的表征能力，联想汽车还联想了顾虑模块，兼具期间和空间维度的顾虑能力。在模子输入中，联想汽车还加入车辆状况信息和导航信息，经过Transformer模子的编码，与BEV特征共同解码转移态阻止物、说念路结构和通用阻止物并打算出行车轨迹。

多任务输出在一体化的模子中得以好意思满，中间莫得轨则介入，因此端到端模子在信息传递、推理打算、模子迭代上均具有显耀上风。在实质驾驶中，端到端模子展现出更浩大的通用阻止物理解能力、超视距导航能力、说念路结构理解能力及更拟东说念主的旅途打算能力。

VLM视觉言语模子高上限

VLM视觉言语模子的算法架构由一个长入的Transformer模子组成，将Prompt（辅导词）文本进行Tokenizer（分词器）编码，并将前视相机的图像和导航舆图信息进行视觉信息编码，再通过图文对都模块进行模态对都，最终长入进行自追想推理，输出对环境的理解、驾驶决策和驾驶轨迹，传递给端到端模子扶助已矣车辆。

联想汽车的VLM视觉言语模子参数目达22亿，对物理寰球的复杂交通环境具有浩大的理解能力，即使面临初次履历的未知场景也能舒服应付。VLM模子不错识别路面平整度、明后等环境信息，辅导端到端模子已矣车速，确保驾驶安全闲适。此外，VLM模子具备更强的导航舆图理解能力，不错结合车机系统修正导航，辞让驾驶时走错路子。同期，VLM模子不错理解公交车说念、潮汐车说念和分时段限行等复杂的交通轨则，在驾驶中作出合理决策。

寰球模子“重建+生成”相接结

联想汽车的寰球模子连结了重建和生成两种技能旅途，将真确数据通过3DGS（3D高斯溅射）技能进行重建并使用生成模子补充新视角。在场景重建时，其中的动静态成分将被分离，静态环境赢得重建，动态物体则进行重建和新视角生成。尔后，再经过对场景的重新渲染，造成3D的物理寰球，其中的动态钞票不错被任性剪辑和转化，好意思满厂景的部分泛化。比拟重建，生成模子具有更强的泛化能力，天气、光照、车流等条款均可被自界说改换，生成允洽真确礼貌的新场景，用于评价自动驾驶系统在多样条款下的适合能力。

重建和生成两者连结所构建的场景为自动驾驶系统能力的学习和测试创造更优秀的臆造环境，使系统具备高效闭环的迭代能力，确保系统的安全可靠。

北京商报记者 刘洋开yun体育网