曹旭东：无人车商业化最大难点：如何高效的大规模数据收集和测试

自动驾驶创业公司 Momenta CEO。毕业于清华大学。曾先后任职于微软亚洲研究院和商汤科技，有近百人研发团队管理经验以及丰富的产品落地经验。研发技术用于 Xbox，Bing，How-old 等知名产品。对无人驾驶环境感知，高精地图，驾驶决策有深入研究。

曹旭东

蓝湖资本：你觉得无人驾驶最大难点是什么？

曹旭东：无人驾驶，最重要的是安全。高安全性意味着低事故率。一个系统做到很低的事故率，通常要做两件事情，一个是发现问题，一个是解决问题。在刚开始的时候，由于系统的问题非常多，主要的精力在解决问题，但是随着事故率逐渐降低，发现问题变得越来越难。

据统计，全球来看，对于人类司机，一亿公里发生致命事故一至三起。对于无人驾驶，我们希望比人更安全，最好致命事故率低一个量级，做到十亿公里一起致命性事故。统计上，要达到足够置信度，需要多次重复实验，最好一百次以上。这意味着一套比人更加安全的无人驾驶的系统需要测试的总里程达到 1000 亿公里。按照一辆车一年 10 万公里总里程计算。我们需要 100 万辆车，一整年的时间，收集无人驾驶数据和测试，才能够保证无人驾驶所需要的安全性。现在 Google 和百度的无人车成本都在百万人民币量级，乘以 100 万辆车这个巨大的基数，对于任何一家公司而言，都是一个天文数字。

蓝湖资本：如何看待现在多家厂商宣称已经开展了无人货车、客车、出租的试运营？ 

曹旭东：最近新闻上看到了很多无人车试运营的报道，比如，Uber 和 nuTonumy 分别在美国和新加坡开展了无人出租的试运营。个人认为这是市场营销上一个讨巧的说法，让人误以为这些公司已经开始商业落地，在技术和应用上都快人一步。但本质上，大家做的都是无人车路测。谷歌现在有几十辆车左右在美国的多个城市同时进行路测。相比于谷歌，其他各家公司的无人车路测数量和总里程更少。

总的来说，无论是十辆车试运行还是一百辆车试运行，都是在做无人车的 demo，如果没有解决无人车大规模数据收集和测试的关键问题，demo 到商业化落地之间的巨大鸿沟就会一直存在。以谷歌为例，谷歌在 2009 年就已经开始了高速路测，在 2012 年的时候已经开始了城市道路测试，积累的总里程最近超过了 500 万公里，且没有发生一起致命事故。这已经是非常了不起的成就了。但是谷歌的路测实验并不能说明总里程达到一亿公里的时候不会发生致命事故，不能说明现在谷歌的无人驾驶技术的安全性已经超过了人类驾驶。可能当谷歌的无人车的数量从 100 辆车扩展到 10 万辆车，增加了 1000 倍的时候，一年就会发生几十起甚至几百起致命事故。这些交通事故将会对谷歌无人车业务造成致命性的打击。这正是谷歌无人车从 2009 年开始持续进行多年科技研发，投入了大量成本，却迟迟没有商业化的关键原因。

蓝湖资本：Momenta 团队如何解决这个关键问题，达到足够的安全性？

曹旭东：我们回到刚才的分析，无人车大规模数据收集和测试的巨大成本主要来源于两方面。一方面是需要海量的测试车辆，另一方面是高昂的单车成本。针对这两方面的成本，我们有两种互补的解决方案——第一种解决方案是无人驾驶模拟；第二种解决方案是众包数据收集和测试。

无人驾驶模拟可以通过算法生成感知和决策数据，减少数据收集和测试车辆数量，降低研发成本。当然，无人驾驶模拟也存在不足。第一，模拟生成的感知数据和真实的数据存在差异，实际中，还是以真实数据为主，生成数据为辅。第二，模拟的规则是人制定的。很多失败的场景恰恰是人思考的盲点，单纯通过模拟并不能发现。总结来说，虽然模拟可以降低数据收集和测试车辆的数量，但是我们仍然需要收集真实数据，用大量的车做真实测试。

单车成本主要由三部分构成：设备成本，造车成本，运营成本。运营成本就是驾驶员开着车采数据和做测试的成本。设备成本方面，我们 Momenta 团队发挥算法优势，通过多摄像头等廉价设备实现无人驾驶。摄像头是所有感知设备中信息量最大的，需要人脑水平的强人工智能，才能从间接视频数据中提取出无人驾驶所需要的直接数据。激光雷达、高精GPS和IMU长期看都有降价空间，我们的技术方案不排除任何感知设备，价格合理，就会融合进来。 

造车成本和运营成本已经优化了上百年，很难降低。一个聪明的想法是让其他人承担这部分成本——这个想法叫做众包，代表性的公司有特斯拉和 Mobileye。

然而，遗憾的是，他们的众包方案存在两个问题：

1. 需要造车。特斯拉自己造车，Mobileye 则通过合作伙伴造车。
2. 需要读取和控制车辆驾驶行为。造车周期三到五年，显著慢于算法研发节奏，成为时间瓶颈。如果为了加快迭代，在算法没成熟的情况下强行上车，是拿人的生命做冒险，也显然不可取。特斯拉的几起致命事故就是血的教训。因此，我们设想直接利用现有道路上已有的运营车辆，不需要造车、改车、控制车，以一种零负担、零危险的方式实现众包测试和数据收集，这是个非常困难的问题，需要非常深厚的算法积淀和原创能力。

蓝湖资本：高精地图（ HD Map ）作为你们无人驾驶解决方案中的一部分，扮演怎样的角色？有什么价值？

曹旭东：高精地图是一个宽泛的概念，需要达到两方面的高精度。 高精度一方面体现在地标位置的高精度。

高精地图由很多类地标构成，比如地面各种道路标线，地上各种交通标志等，地标的定义现在还没有明确的标准，不同厂商从自己产品和技术需求出发，有不同的定义方式。 

高精度另一方面体现在本车定位的高精度。高精定位有三种方式：第一种是卫星定位。多基站 + 差分 GPS 在开阔区域可以做到厘米级精度，但是城市中因为多路径效应，精度只有米；第二种是匹配定位，这种方式和人很像，观察周围环境或者地标，在记忆地图中搜索，匹配定位。结合 GPS 限定搜索范围，可以做到快速准确匹配。第三种是积分定位。IMU 或者视觉里程计。短时间内精确，长时间有累积误差。这三种方式各有优缺点，结合起来可以做到低成本、高精度、高可靠性。

 高精度地图是视觉的延伸和增强，之于无人驾驶是必须的。举个例子，多车道弯道行车时，因为路旁障碍物的遮挡，车载传感器感知不到拐弯之后的道路情况，导致拐弯之后的某一车道上发生车祸。一旦有了高精地图的车道级定位和实时路况更新，就能提前减速并变换到到非车祸车道，杜绝事故的发生 。 再举一个例子：通过视觉，我们可以识别当前在第几车道，通过高精度地图定位，我们也可以知道当前在第几车道，两种不同方式互相校验，可以达到更高的安全性。总结来说，高精地图可以使无人车看得更远，看得更准。

高精地图对于自动驾驶整体解决方案研发的价值非常高，这一点却被很多人忽视。分三个方面：决策，测试，V2E。

第一方面，无人驾驶决策。本质上，驾驶决策学习的是道路环境到驾驶行为的映射，也就是这种情况应该怎么开，那种情况应该怎么开。如果获得环境和行为的海量数据，就可以通过数据驱动的方式学习无人驾驶决策。道路环境可以通过视觉感知获得，而司机的驾驶行为如何获得？很多人认为，司机的驾驶行为就是刹车油门方向盘，想要获得，一定要有CAN总线权限，要改车。其实不需要。首先，更新一个概念，司机的驾驶行为还可以用车辆在高精地图中的轨迹表示。通过精确定位，我们可以获得每辆车的驾驶轨迹，以及轨迹上每一点的速度，加速度。驾驶轨迹是驾驶行为更通用的表示，与车型无关。刹车油门方向盘，虽然直观，但不通用。人类司机，换辆车，要调整驾驶习惯，重新适应，是同一道理。依赖高精地图，我们可以获得驾驶轨迹这一驾驶行为数据。通过众包，就可以获得海量环境和行为数据，通过数据驱动的方式学习无人驾驶决策。

第二方面，无人驾驶测试。测试，找出问题，非常重要，也极具挑战。当无人驾驶算法接近人类驾驶的安全性时，需要一千辆车测试一年的时间才有可能发现问题。如果团队像 Google 和百度一样靠自己运营测试车辆，显然是不现实的。众包是唯一实现海量测试的方法，但是我们不希望像特斯拉一样，以消费者的生命为代价，测试自己未成熟的算法方案。通过高精度地图，我们不控制车、不带来危险，就可以实现众包测试。具体原理是，我们可以预测驾驶轨迹，也记录了真实驾驶轨迹。预测轨迹和真实轨迹比对，如果一致，说明测试通过，如果不一致，说明测试失败。找到问题，就可以有的放矢，高效解决问题。我们的方法是为无人车大脑测试设计的。无人驾驶整体测试还包括无人车身体测试，以及身体和大脑结合的测试，也就是车辆测试和轨迹跟踪测试。相比于无人车大脑，这两部分成熟很多。 

第三方面，V2E。V2E 是指通过车辆和道路通信实现无人驾驶。概念上，V2E 可以大大降低无人驾驶的难度，提高安全性。非常有意思的是，这个概念在特定场景早已商业化，例如亚马逊的仓储机器人 Kiva。仓库地下铺设有通信导轨，每个搬运机器人实时和导轨通信，确定自己当前的位置，接受中心计算机的调度。中心计算机知道所有机器人的当前状态，根据取货需求，整体规划调度每个机器人取货送货。

但是将 V2E 的概念真正落地到无人驾驶却困难重重，其中主要有三方面的问题。

1. 道路通信设备要解决供电、应对风吹日晒雨淋等技术可靠性问题，还要承担基础设施重建和复杂维护的高昂成本。
2. 环境和车辆通信，需要统一的通信标准。谁来制定标准？众多车企都以自己的利益为考虑，很难协调。
3. 通信安全的问题。如果黑客或者恐怖分子利用通信协议漏洞，恶意操纵路面上的车辆，制造恐怖事件，又应如何应对？这些问题都限制了 V2E 从概念短期内走向现实。相对于电子通信的 V2E，我们提出“渐进式的 V2E”。无人驾驶的很多问题是因为道路标线、标牌不足或者布置不合理造成的，通过高精地图和基于高精地图的测试，我们可以自动发现哪些路段标线和标识需要改进，并且给出改进的具体实施方案。渐进式 V2E 不需要电子通信设备，没有通信标准和安全问题。在现有道路标线、标牌体系下，就可以大幅改善无人驾驶的可靠性和安全性。

蓝湖资本：视觉高精度地图如何实现？是 SLAM 技术吗？

曹旭东：不是 SLAM 也不是 SFM，这些方法都不适用。要建真正可用的视觉高精地图，需要从第一原理出发重新设计整个算法。我们构建高精地图的第一原理是：多张图像存在视差，利用点的对应关系，可以从 2D 点恢复出 3D 点。人眼双目视觉获得深度也是这一原理。从基本原理出发，建立高精地图，需要创造性地解决三方面的问题：

1. 图像部分。检测识别语义点。传统的 SLAM 或者 SFM 算法都基于 SIFT、ORB 等人工设计的特征点。在光照、视角发生变化的情况下，无法准确的检测匹配原有特征点。换句话说，光照视角发生变化后，原来构建的地图就无法使用了。我们的方法是定义道路标线、标牌等地标上的点作为语义点，通过深度学习和数据驱动的监督训练得到模型，可以准确检测和识别语义点，解决检测不到、匹配错误的问题。
2. 几何部分。通过众包间接实现海量摄像头测量效果。不同车辆，不同时间，经过同一地标，即使光照视角不同，我们也可以通过语义点模型把所有车辆拍摄到的同一语义点关联起来，这相当于间接实现了多摄像头测距的效果。我们知道，视觉测量中，摄像头越多、视差覆盖越全，测量精度就越高。我们实验验证，随着众包车次的增加，真实 3D 点位置估计的准确性有量级上的提升。
3.  GPS 部分。给每个语义点精确的 GPS 坐标。我们有几方面的考虑：(1) 让高精地图通用。GPS 坐标是地图的通用语言，给每个语义点赋予 GPS 坐标，便于他人使用；(2) 消除累积误差。单纯使用几何方法构建局部地图，会有累积误差。结合 GPS，可以解决这个问题；(3) 消除局部地图歧义性。当局部地图有重合或者语义点缺失的时候，确定局部地图坐标系很麻烦，但全局 GPS 坐标系没有这个问题。

蓝湖资本：你是如何看待无人驾驶端到端的学习（end-to-end learning），靠谱吗？

曹旭东：端到端是深度学习中的一个概念，具体指通过深度学习网络直接学习从输入到输出的映射关系。无人驾驶端到端学习指的是输入视频序列、输出刹车油门方向盘的操作序列。英伟达和 comma.ai 都使用端到端深度学习，开发出了无人驾驶的 demo 系统。 简单来说，对于无人驾驶，端到端不适合开发实用无人驾驶系统，可以做 demo，然而大规模商用却非常困难，其原因如下：

1. 不聪明。我们在做驾驶决策时，只关心高精地图环境、自己当前位置和周围物体的相对位置，并不关心车的颜色或者路边的树叶是绿的还是黄的。端到端学习没有这些先验知识，所以需要大量冗余数据和计算。如果把整个无人驾驶拆解成感知、地图、决策三部分，分别独立学习再融合，可以大大降低需要的数据和计算。
2. 不灵活。端到端学习的是摄像头输入到刹车油门方向盘输出的直接映射。如果摄像头设置变化或者增加其他感知设备，就需要重新收集数据学习。如果换辆车，执行机构变化，也需要重新收集数据学习。如果拆解成感知、地图和决策三部分，就可以大大提高灵活性。比如模拟极端情况，我们只需要在高精地图图层中生成车辆 3D 框，不需要重新渲染真实道路环境和车辆视频，简单很多。
3.  难理解。无人驾驶是一个系统工程。遇到问题时，深入系统，诊断出问题模块，有针对性的改进，是解决问题的行之有效的手段。但是，对于整体端到端学习，一旦出现问题，因为无法对症下药，解决问题的难度会增大，需要投入更多的资源和时间。

我并不是完全否定端到端学习，而是无人驾驶端到端学习目前存在以上问题，或许在将来可以得到解决。 

考验一个算法团队解决实际问题能力的一个重要的方面就是拆解问题——把一个复杂问题拆解成一系列比较简单的问题，再通过端到端深度学习解决。通常来说，在检测、识别、分割等简单基础的任务上，端到端学习可以获得更好的效果。复杂问题的拆解是一门艺术。