2023汽车半导体生态峰会 || 中汽创智张振林：面向量产的智能驾驶感知研发与实践
以“链启芯程 · 智造未来”为主题的“2023汽车半导体生态峰会暨全球汽车电子博览会”，由广东省工业和信息化厅、深圳市工业和信息化局、中国能源汽车传播集团指导，《中国汽车报》社主办，爱集微承办，于2023年9月26日至27日在深圳福田会议中心隆重召开。
本届峰会坚持行业领袖峰会的高端定位，全面助力产业间深度融合与创新，推动上下游产业链伙伴携手合作，共同构建具有全球竞争力的汽车科技创新新生态。
峰会现场，多领域、多视角开展的20场特色活动，囊括主峰会、技术研讨、项目路演、专业展览、交流盛宴等，汇聚政、产、学、研、用、投等多个产业圈层，围绕全球及中国汽车半导体产业热点展开交流，峰会重点聚焦新技术、新趋势，深入剖析汽车半导体各细分领域的发展机遇和挑战，近百个精彩纷呈的演讲，共同呈现出一幅专业而全面的思维图景。
其中，在9月26日举办的“感知专场”，中汽创智科技有限公司智能驾驶首席技术官张振林做了题为《面向量产的智能驾驶感知研发与实践》的精彩演讲。以下内容为现场演讲实录：
张振林：非常高兴有这样的机会来跟大家分享一下中汽创智在自动驾驶特别是感知领域所做的一些思考和尝试。
中汽创智科技有限公司智能驾驶首席技术官 张振林
首先跟大家简单分享一下从我们的视角看，自动驾驶行业所面临的趋势和挑战。
就像刚刚主持人提到，自动驾驶比作人类的司机，感知就相当于人类的五官，特别是现在在车端的搭载方面，一些核心的传感器，包括激光雷达、摄像头、毫米波雷达，性能不断提升、成本不断下降，而且车规化的搭载也越来越多。
自动驾驶从ADAS到L2级辅助驾驶，目前的市场占有率或者说搭载率已经上升到30%甚至更多。我们认为自动驾驶已经进入到全场景量产落地的时期，但是在全场景落地的过程中，从安全到成本、工程化、商业模式都充满了未知数。
随着自动驾驶的车端搭载量产落地，目前已经基本形成了以特斯拉为代表的以视觉为主、多传感器融合的方式。特别是现在视觉与多传感器融合的BEV（Bird's Eye View，鸟瞰视角）感知端到端的大模型成为技术落地的一个大的趋势和方向。
BEV的落地，背后涉及到大量的数据，包括测试里程。特斯拉提到要超越人类的智能驾驶能力，至少需要百亿公里驾驶数据。自动驾驶落地面临着众多的挑战，任何数据的采集和获取都面临很多的困难，包括范围受限、样本不足，成本高昂。因为数据匮乏，导致算法的泛化性非常差，开发的进展过程非常缓慢。同时目前仿真数据，特别是合成类数据的使用量还是不足的。
回到自动驾驶这一块，感知系统作为我们的眼睛和五官，要研究的关键问题是什么？
我们列举了感知系统要攻克的五大关键技术：一是模型泛化能力；二是模型能力；三是模型的计算效率，特别是对于CPU和GPU的计算效率；四是自动化标注，在自动驾驶感知算法开发过程中，为了准备神经网络所需要的大量数据，需要用自动化的标注来替代人类的标注，节省时间和成本；五是数据灵活性，使用仿真类数据和生成类数据提供更多场景的数据。
当然我们在这一块还是有信心的，特别是在全球自动驾驶感知技术处于快速的发展时期，中国在感知技术领域的专利数占据了全球的半壁江山，这也给了我们很大的信心。
感知技术除了刚才讲的五大方向，它的核心无非是要解决包括目标的检测和追踪、对道路的语义分割、对目标深度的估计、对行为位置的估计，以及现在正在用BEV做的实时地图的生成，这是我们现在重点研究的技术和方向。
大家知道在10年前一辆自动驾驶车要实现完全自动的驾驶是没有问题的，但之所以到今天我们还在讨论安全员要不要去掉，在某些地方还在进行无安全员的示范运营和尝试，其实背后就是要解决一些极端场景的问题，特别是中国的道路交通中非常有特色的行人乱穿、加塞、道路施工等场景。
要想解决这些场景，背后需要大量的高质量的标注数据，以及超高的算力提供支撑。但是在数据和算力背后，它的成本是谁都没有办法面对的问题。当然前面讲了数据，我这边也提一下算力，去年年底我们买了一批A800的服务器，当时的价格是80万一台，到今年一台A800的训练服务器的价格已经涨到120万-150万，所以这里面的成本是非常高的。
中汽创智怎么来解决这个问题？很多人可能对中汽创智不是很了解，我们其实也是一家比较新的公司，我们是2020年在国资委指导下，由中国一汽、东风公司、兵装集团、长安汽车和南京江宁经开科技，共同投资160亿成立的一家汽车科技公司，我们聚焦在智能底盘、新能动力、智能网联三大领域，目前主要为我们的股东方提供赋能，同时也在开展相应的合作。
结合中汽创智独特的定位，我们也一直在思考怎么提高自动驾驶的算法性能，同时降低相关的成本。在之前我们的三家股东方，包括一汽、东风、长安，他们都有自动驾驶的研发团队，现在任何一家整车厂和任何一家自动驾驶公司都是这么做的，面临的问题是数据样本十分受限、算力成本非常高昂、模型泛化的能力不足。
我们最近正在建设“基于数据联盟的AI基础服务平台”。通过共采、共标、共享交易和提供基础模型的方式，结合大数据、大模型来打造AI技术服务平台，打通数据壁垒，把算力进行整合。最终实现大模型的开发，为股东方提供基础模型。
我们从基础服务的云存储、计算以及各家的数据，都是由他们各家自己做开发，相关的数据和算力，我们会统一同时接入到我们在做的AI技术服务平台上。在这个平台上，我们对所有的数据进行合规化的处理，从数据的采集、预处理到合规化，再到标注、场景挖掘，整个过程通过合规的方式来进行。同时，在整个数据里面，数据的所有权仍然属于每一家联盟方，由我们在合规的情况下推动数据的交易和共享。在此基础上，我们来开发大模型，特别是现在以BEV为核心的端到端的大模型，同时还有预训练大模型、场景挖掘大模型，最终赋能合作伙伴、联盟方，进行算法的开发。
（见PPT）这个数据闭环的流程大家已经非常熟悉了，我们现在通过“基于数据联盟的AI基础服务平台”统一采集标注，用预处理工具、标注工具，推动数据交易。采集的时间和资金的用量会大幅度缩短，合规性满足国家对自动驾驶在整个过程中的要求，极大缩短开发周期，同时节省资金。
中汽创智虽然是很年轻的公司，但是我们也做了很多的工作，具备了很强的能力。首先我们具备了甲级互联网地图服务测绘资质，还有合规工具、数据闭环工具、交易工具，我们也拿到了央企数字化转型典型场景的证书，我们正在跟国资委进行相应的央企数据要素确权保护课题的研究合作。
接下来分享一下中汽创智目前的一些进展。
刚刚我花了很多时间在讲数据来源，数据拿过来之后我们怎么用？首先是基于数据驱动，我们自研了一个跨平台解耦式感知和融合技术，支撑L2到L4的感知需求，包括前视、BEV周视、环视、激光雷达检测、路端检测。这套感知算法也是为了解决卡脖子的问题，我们实现了多个平台的兼容，包括华为的MDC、黑芝麻A1000，地平线J5、Orin和其它的自主芯片平台。在整个过程中，我们的跨平台，包括检测的类别非常丰富，资源的占用率很低，特别适用现在一些低算力的平台，算法的性能相对来说也是比较优秀的。
我们目前正在从传统感知，包括二维图像感知、二维单帧图像感知到人工编制，往下一代感知进行研发和跃进，这里面包括视频流感知、多相机BEV感知、融合相机和激光雷达的前融合、多模态感知等等。在背后的数据上，我们有多传感器视频数据、长尾数据挖掘系统，同时在这些数据的处理和标注方面，我们引入了预标注大模型，用自动化融合标注取代人工标注。
这里给大家看看我们目前做的一些效果。我们这套感知算法实现了软硬解耦，包括前视目标检测，我们支持检测150米的范围内的行人、骑行车、交通灯、标牌等。周视方面我们支持2D、单目3D和BEV三种方案，也是为了适应不同的算力和芯片的限制。环视方面主要是用于自动泊车的场景。点云这一块，包括我们的目标检测、可行驶区域、静态车道线的识别功能。
我们也开发了一套基于BEV架构的新一代感知，在一阶段的时候我们在BEV的空间里对图像的特征和提取的点云特征进行视角转变，对BEV的特征做时序融合。二阶段再对它进行特征提取，直接输出BEV感知所需要的特征要素。这一套算法我们不仅仅是基于传统的道路上的交通参与者的动态目标，同时也在以目前的重感知、轻地图的方式进行道路的静态要素的感知。
（见PPT）给大家看看我们目前在不同的场景下，包括高速、城区的融合感知，包括在城区BEV矢量地图的感知。
既然要做多传感器的融合，感知的背后有一套非常精准的时空同步，包括多传感器标定的方案，就是支撑它落地的基础，目前我们做到了像素级的匹配和精度。
刚刚提到重感知、轻地图研发的策略，也是为了解决目前国家对我们自动驾驶开发过程中安全合规的问题，以及高精度地图的准确度，以及使用中较高的依赖问题，特别是限速、匝道、道路施工、范围受限等，还是结合BEV这套算法来解决对于高精度地图的依赖。
我们开发的这套大模型，利用大小两个模型对同一图像的推理差异，筛选有标注价值的图像，这也是提高模型性能、节约成本的一个非常重要的手段。在BEV的背后需要有很好的标注手段，目前我们在逐步取代纯人工的通过2D、3D联合标注的方式，采用自动化的方式来进行标注，目前我们的自动化标注项目对效率的提升已经达到了50%，我们的目标是明年它的效率提高能达到75%。
结合我们这些感知，我们推出了两个产品，一个是领航Lite，一个是领航Pro，分别针对100Tops的算力和100-250Tops的算力，在城区全场景的行泊一体解决方案。
这是我们目前的自动驾驶的视频，从城区、上匝道到在高速上行驶，在红旗汽车上实现了全程无人工干预的自动驾驶。
目前这套算法也是结合我们现在的准视觉方案，在相对复杂的城区和高速上进行自动驾驶。
刚刚提到的这些我们所面临的机会和挑战、我们现在在做的工作，我们面向行业发出呼吁，让我们共同推进自动驾驶包括从数据的合规、数据的共享和交易，共同推动中国自动驾驶落地场景加速实现。
