现场实录 | 王亚锋：仿真赋能、数据驱动，助力智能网联商用车安全落地
2023年3月28日-29日，首届中国商用车论坛在湖北十堰举办。本届论坛由中国汽车工业协会、湖北省经信厅、东风公司和十堰市人民政府共同主办，以“应变 求变 谋变——共创商用车发展新局面”为主题，共设“1场闭门峰会+1个大会论坛+4个主题论坛”，旨在联合能源、交通、信息等各方力量，共同探讨商用车产业发展趋势，推动商用车高质量发展。其中，在3月29日下午举办的“商用车智能网联应用”主题论坛上，苏州智行众维智能科技有限公司CMO王亚锋发表精彩演讲。以下内容为现场发言实录：
大家好！我是来自苏州智行众维智能科技有限公司的王亚锋，下午从协会王耀博士，到朱教授，再到东风主机厂，一汽解放，大家可能都听到了关于自动驾驶落地的场景，另外中汽中心标准所，中国汽研检测中心，襄阳达安检测中心的专家同时都提到高级别自动驾驶准入里面一个很重要的技术验证体系——三支柱法，包括：虚拟仿真测试，整车测试，道路测试。我们面向行业的痛点，结合行业的需求，通过数据驱动，加快产品的迭代，通过仿真赋能，能够使我们的产品更快落地，助力商用车产业转型升级。
接下来通过PPT展示的几个章节，希望能给大家带来一些启发或找到一些思考点。首先介绍的是自动驾驶仿真测试所需要的整个工具链，对于自动驾驶开发，像东风的李洋博士提到的，需要落地场景，无论是无人港口、无人矿卡，还是干线物流，当我们在做产品开发的时候，这些场景将帮助我们实现仿真测试验证。为了功能安全以及预期功能安全，我们需要积累海量商用车落地应用的各种工作场景、危险场景、以及极端场景，这里面就需要一个生产仿真测试场景并进行仿真测试验证的完整工具链。无论是乘用车、商用车、无人矿卡等的研发验证，都离不开目前展示的这整个工具链。
在该工具链的顶端，首先是数据采集，我们分为两个方面来介绍。
一种是车端的数据采集，我们通过车端收集真实道路自然交通流的一些有效数据。第二种是路端数据采集。随着现在中国C-V2X的发展，大家知道在智能网联先导示范区，例如苏州、武汉，重庆、上海、北京亦庄等地，有很多V2X的路侧设备。我们通过路侧采集设备，能够获取实时的交通流，把这些真实数据流可以用于仿真场景重构或者算法的训练。总之我们通过数据采集，无论是来自车端的，还是路端的，这些数据可以服务于自动驾驶算法，去做感知训练、算法测试、迭代。我们通过采集车和路侧设备采集真实道路数据，希望能够不仅仅只用于这个车型，可以用于轿车，也可以用于卡车等不同车辆，那采集到的数据，怎样才能复用于其他车型呢？这里就需要我们把真实采集的数据生产成数字孪生仿真场景。换句话说，我们把自然驾驶场景数据在虚拟世界里还原。基于虚拟的仿真测试场景，在数字孪生世界里进行轿车算法，卡车的算法，或者无人矿卡等不同车型的测试验证。
所以说自动驾驶的商业落地需要场景，我们的方案称之为“水木灵境”场景工场。有一位造车新势力的副总裁提到，如果是L4的车，它需要的基础训练场景是以百万、千万的片段作为基数，同时基于百万、千万的场景数据，再进行场景的泛化，这个场景数据量可能是上亿、几十亿的量级，这也是为什么大家前几年听到Waymo已经做数百亿英里的仿真训练，需要大量的仿真场景。总之我们通过数据采集和仿真场景构建，一方面训练感知算法，另一方面打造自动驾驶算法测试验证所需要的场景，这些场景是服务于SIL、MIL、HIL、VIL等仿真测试的基础。
通过仿真场景，我们再回到中间所示的X-in-Loop®技术闭环体系。整个IAEX-in-Loop®技术体系，可以用于支撑前面几位主机厂演讲嘉宾所提到的V字开发流程，V流程源自汽车传统性能开发流程，对于自动驾驶系统的开发，也是基于这样的V流程。V流程实现开发过程的技术闭环和数据闭环，从仿真测试到道路测试，包括封闭道路试验场以及开放道路测试，组成了现在工信部等国家主管部门提出的“三支柱法”：虚拟仿真，整车仿真测试，道路测试，来保证自动驾驶算法的安全性、可靠性，安全冗余，保障智能网联车辆安全运行。
接下来我们展开一下，什么是X-in-Loop®技术体系，这个X就是我们的被测对象，对自动驾驶算法，我们从在前期概念阶段所谓基于模型阶段的MIL，或者说做软件代码层级的SIL，同时在概念设计阶段，可以进行智能座舱开发，智能座舱可以基于驾驶员在环DIL进行测试验证。通过左侧的虚拟仿真的验证，再到右侧的半实物、整车级验证、道路测试验证，完成整个V流程开发。对智能驾驶车辆来说，可能要应对无穷尽的不同场景，商用车的场景也千变万化。
怎么能够让算法在SIL阶段满足这样海量测试场景的验证呢？答案是基于云计算能力的海量场景仿真。基于私有云或公有云，在云端布署成百上千、上万的计算节点，算法可以同步实现几百上千个节点并发，可以想象下，同时有1000台虚拟车同步运行不同的测试场景，或者说1个算法同时跑1000个不同场景，都可以在云端实现自动化部署，这样会大大加速自动驾驶算法的仿真测试。现在在苏州高铁新城我们已经建设了400多个仿真节点，可以实现日行百万公里以上的虚拟仿真测试。
X-in-Loop®的技术体系是以数据为驱动的，我们需要海量的仿真测试场景作为数据基础。对于IAE“水木灵境”场景工场（智能驾驶仿真场景数据库）来说，这一页给大家展示的就是典型场景元素，一个场景里有静态的元素，例如道路的基础设施，包括路牌、车道线等这些，还有动态场景,例如交通参与者等，这些元素组成各种逻辑关系，会形成一个非常复杂的交通场景，例如深夜、暴雨天，路面结冰，再结合没有遵守交通规则的机动车辆、行人，这些场景对于自动驾驶来说都是极限危险场景。
基于这样的场景元素组成，目前我们在“水木灵境”场景工场中不断为行业提供以下三大类场景，第一类是有迹可循，这个“迹”是基于高精地图，无论是现在L3的车，还是L4的，大家很多都基于高精地图定位。在仿真测试的时候，算法在测试的时候，所需要的场景也要需要和高精地图匹配。目前场景工场中覆盖了从北方长春的高速，到南方的海口的场景，同时也包括苏州、广州、重庆、上海等城市的数字孪生场景。在我们公司所在地苏州，我们把高铁新城整个区域都进行了数字孪生，以服务区域内上下游产业链企业对场景仿真数据的极大需求。同时还包括自然驾驶场景，以及真实驾驶过程的交通事故场景，即CIDAS中国交通事故复现场景。第二类是有法可依，国内外公布了一些法规，基于相关法规，如ENCAP、CNCAP、ISO这些法规去建立标准法规测试场景，来通过这些法规仿真测试，同时包括还有V2X的场景，中国交通规则场景等等。第三类是有需可取。我们刚才谈到无人矿卡所需的场景，无人农机场景等，可以帮助客户实现定制，包括预期功能安全的大量场景。
下面展示部分典型仿真场景，例如3D斑马线、出入口闸机、环岛，法规场景，城市场景，CIDAS场景等。CIDAS相关场景，是把真实道路中发生的交通事故场景在仿真环境中重构出来，包含了车速、轨迹等信息。假如说一个左转车辆碰到了行人，是由于A柱盲区造成的，如果在仿真环境中车辆加上BSD功能，在这样的场景下就可以验证BSD功能。
除了这些仿真场景之外，基于路侧设备收集道路交通数据，每天每时每刻可以重构不同的场景。大家现在看到的是中午时刻在苏州高铁新城一个交叉口的交通流场景。目前路侧设备上基本都部署有激光雷达，或者是毫米波雷达，以及摄像头，通过这些设备采集的数据可以建立上帝视角的路口交通流仿真场景，在后续仿真阶段，该类仿真场景就会用到我们的算法验证上。
下面是与刚刚东风商用车讲到的商用车落地场景直接相关的仿真场景。大家可以看到，这一页的场景和上一页的场景不太相同。上一页场景里是结构化道路。而对于无人矿卡就是有一些路基，或者能看到一些指示牌等这些，所以在这种场景里面搭建非结构化道路的场景，比如农机、农田里面的路面的起伏等特点。另外就是无人码头港口的场景，如果需要开发无人卡车用于集装箱运输的项目，在项目早期就可以通过无人码头数字孪生仿真场景，进行规控算法等的仿真测试，而不是直接到码头上去进行场地测试，这样可以极大缩短产品的迭代周期。
刚才谈到的这些仿真测试场景，都是如何构建的呢，这就需要一套工具链支撑。首先，在采集场景之前，对于一个场景数据采集车辆来说，需要进行传感器的标定，无论采集车装的是摄像头还是激光雷达，最后生成的场景都是以传感器的视角呈现进行对比验证的。假如说采集时用的是激光雷达，他的安装位置，对地的高度，安装角等会有误差，所以一般会对采集车传感器做一个标定，下面是我们做的一个卡车传感器标定系统的设计图。
标定以后，通过我们自研的采集设备iTTPlus采集激光雷达、毫米波雷达、摄像头等相关信息，得到这些信息之后，需要对原始信息进行各种预处理，生成目标列表到仿真软件中，以用于动态、静态的仿真场景构建。这是目前我们自研的一套场景生产工具链，能够对场景数据进行回放、切片，提取动态的目标列表等。高精度静态场景加上动态交通流就可以形成一个真实的、高精度的动态数字孪生仿真场景。
下面是两个实例，视频右上角是前置摄像头采集的真实视频，下面是重构的数字孪生仿真场景，可以达到场景真实还原。右边的是自然驾驶环境中的cut-in场景重构。
接下来再谈一谈仿真场景如何去应用。第一个方面：基于“水木灵境”场景工场生成训练数据集，包括不同的天气，不同时间段的数据，等等。数据采集的时候不可能是深夜、雨天，但是做感知算法训练的时候，需要极端天气条件下的感知能力训练，这怎么办呢？我们就通过对采集的原始数据进行场景的衍生、泛化，改变里边的天气条件，交通流等要素，达到训练感知算法的目的，这相当于是通过仿真场景提取一些图片训练感知能力。对于图片质量要求很高的客户，我们可以基于场景进行unreal渲染，使得场景的颗粒度更细，逼真度更高。
针对商用车的LKA需求，是不是专门用LKA算法进行车道线识别训练？我们就可以给出不同种类关于车道线的训练集，达到LKA算法对于不同车道线的精确识别。同时这里还有目标检测、路牌识别、交通信号灯检测，语义分割数据集，可以提供数据集去训练相应的感知算法。
接下来谈谈基于仿真场景和X-in-Loop®技术体系怎么实现自动驾驶算法开发流程中的连续仿真测试，就是基于“水木灵境”场景工场，可以实现软件在环、硬件在环、整车在环等仿真测试。
下面是给大家举个例子，这里首先看到的是在苏州高铁新城基于阿里云部署的，“水母”云算力海量仿真平台的技术架构，同时在这个云仿真平台上建立了基于海量场景仿真的评测体系。 例如在这个云仿真平台上跑100万公里，几十万个场景，哪些场景PASS，哪些场景失效了，是非常巨大的工作量，但是在云仿真平台根据我们设定的各种阈值和边界条件，可以自动筛选出在这100万公里中有多少是失效场景（红色标注），有多少危险场景（黄色标注），针对危险和失效场景单独进行算法迭代测试，同时我们可以提取这些极端场景、危险场景、失效场景，用于后续HIL和高级整车在环等测试。
第二个是针对单机运行算法的MIL/SIL仿真测试，左边是一个感知+规控算法联合仿真测试，右边是一个L3级商用车规控算法在苏州高铁新城数字孪生场景里的SIL测试案例。我们结合ADAS和自动驾驶算法开发了这些测试用例，例如下面表格列出ACC的规则，我们可以基于算法规则来设定这些场景以及参数条件。
通过海量场景仿真或单机运行算法的MIL、HIL仿真以后，需要将软件算法代码植入到域控制器里面，对域控制器进行硬件在环的测试，对于电子电气部门的工程师而言，HIL这个已经是非常成熟的技术手段，只是ADASHIL跟传统的控制器HIL不一样的是，需要上位机的场景仿真软件，结合各种传感器的模拟器，输出传感器信号给自动驾驶域控制器，激活它的ADAS或AD功能，来验证智驾域控制器的功能逻辑、可靠性、安全性等。
进行域控制器阶段的验证以后，一定要进入到整车系统级的验证阶段，针对商用车车辆在环技术体系，包括PGVIL—基于封闭道路或试验场的场地车辆在环，VaHIL—高级整车在环，和VTHILS—车辆环境交通在环系统。在PGVIL整个系统里，包括真实的车辆，真实的域控制器，虚拟的传感器的信号通过上位机注入域控制器，在一个真实的封闭道路或试验场进行测试。在上位机场景仿真软件里面车辆模型是怎么获得实车的信息？可以在实车安装iTT惯导及数据采集设备，它实时给上位机输出车辆速度以及位姿等信息。PGVIL车辆场地在环测试，可以满足实际边界负载下，进行整车功能安全、功能逻辑的测试验证，可以测试整车的系统响应，同时可以进行传感器信号故障注入研究控制策略的安全冗余等。
那接下来基于整车测试边界，怎么把感知系统验证也考虑进来，尤其是在恶劣气象条件下？感知就像车的眼睛，怎么验证呢？答案就是车辆环境交通在环试验室，在一个可控的室内空间里，通过真实光照的模拟、真实雨雾环境的模拟、真实道路摩擦系数的模拟，真实的交通流，交通标识等元素，C-V2X通讯模拟，营造一个可控并且可变的复杂环境条件，来验证单个感知系统、多传感器融合结果，执行机构响应，最后到实车的响应，我们把这个实验室作为整车道路测试前的终极考核。
最后就是道路测试，首先是通过假人、假车，在一个封闭道路或试验场上去做测试，跟刚才讲的PGVIL场地在环类似，在这个试验测试里面只是把虚拟注入的目标变成了交通参与者的真实模拟道具。另外就是开放道路测试，在一些智能网联示范区，进行实际道路的单车和车路协同功能测试。
通过虚拟仿真、整车仿真测试、道路测试，构建整个智能网联商用车X-in-Loop®闭环技术开发体系，涵盖了准入的三支柱法测试验证体系。从海量场景仿真到极限场景验证，进行功能安全和预期功能安全测试验证，通过数据驱动，仿真赋能，进行快速迭代，缩短产品开发周期，加速产品商业落地。
谢谢大家。
（注：本文根据现场速记整理，未经演讲嘉宾审阅）
