7月29日，小鹏汽车首席科学家郭彦东博士出席钛媒体2018科技生活节，以“造更懂中国人的AI Car”为主题做演讲，他提出：“在车和人互动的过程中，AI的应用能让车去更好的识别和理解人，从而提升用户体验及车辆安全性。小鹏汽车不仅要更懂路上的中国人、还要更懂车里的中国人。”

小鹏汽车首席科学家郭彦东博士演讲

以下为郭彦东博士演讲实录：

我今天想从小鹏汽车发展中的一些思考和努力，跟大家探讨一下如何造更懂中国人的智能汽车。

什么是更懂中国人的AI Car？

第一层面，更懂路上的中国人。

其实我们路上有这样那样的行为，包括开远光灯也好，有时候人车混流也好，需要学习的其实是人的行为，人的文化，也还有人制定的政策和法规。举个例子，在美国车跟车之间的距离是比较远的，但在中国驾驶场景当中，在等红灯的时候，车跟车的距离非常之近，哪怕非常之近的时候都有车加塞进来，这个环境当中对智能的要求，就已经超出了普通的物体检测提到的要求，智能车其实学的是人的行为、人的文化，学的是人的政策和法规。

第二层面，更懂车里的中国人。

更懂车里的中国人，我也把它分这么两个层次讨论：1、更懂车里的中国人，最简单的就是要求智能车听得懂中国话，认得到中国人，符合中国的驾驶习惯。2、“懂你”。“懂你”指的是说，懂在车里的这一个中国人，这一个中国司机我们要懂他。为了实现这样一个目的，第一我们要人脸识别，知道开车的是谁，他有什么样用户的画像。第二我们需要对用户的情绪状态有这样的感知，为什么有这样的感知呢，情绪信号其实是对我们调教车的用户体验的一个非常强的信号。

智能感知是提升用户体验的基础

这个分享从一个橘子开始，大家在图上看到，一个橘子被卡在了方向盘上面。这其实是一张特斯拉的图片，说的是，特斯拉的“自动驾驶限制”被一颗橘子破解。

特斯拉高级辅助驾驶被一颗橘子骗过

我们知道，特斯拉的辅助驾驶系统，实际上要求，司机必须要手持方向盘。那么，它是通过什么来检测司机是不是手持方向盘的呢？其实，在特斯拉的方向盘里面有一个压力传感器。有些用户不愿意去遵守特斯拉公司这样的一个规定，就把这个橘子放在方向盘上面，从而成功的骗过了特斯拉汽车。这个是一个很小事件，但是我们从这个橘子上也看到了一些挺有意思的事情。

另外，我觉得，跟车外的一些情况预测和判断、智能感知比起来，车内的感知可能显得更重要。我举几个例子，包括乘客、司机的识别，包括我刚才说的注意力、情绪的识别。我们能不能在人和车互动的过程中，让车去更好的理解司机的状态？不光是他的注意力，包括他的疲劳、情绪，做一个正向的反馈循环，来提升用户的体验，这个是我们的近期愿景。

所以，我们核心就是要把这些功能智能化，然后提升用户体验。它的基础就是智能感知。

三大维度构建小鹏AI Car

我想和大家分享一下，我们小鹏汽车是怎样实现这个愿景的。我们有三大模块，第一是大数据，我们的智能车，始于大数据，训练和优化在人工智能训练平台上，成熟在量产车平台。量产车平台是我们作为整车厂商一个独特的优势，我们OTA最新的算法模型在量产车上，然后我们再从量产车里面收集、采集更多的中国用户真实数据，来完成这样一个闭环迭代的过程。

我从数据、人工智能平台、量产车从这三个方面，来跟大家分别探讨一下。

第一，数据为王。

小鹏汽车作为整车厂商，作为一个真正做量产车产品的公司，我们最关心的、最重视的就是我们的数据。我们的数据来自于下面4个主要的来源：互联网大数据、仿真大数据、自有车队或者测试车队大数据、中国真实用户大数据。

我主要说一下互联网大数据和中国真实用户的大数据。一是互联网大数据。最近这20年，整个人类其实做了一件很有意义的事情，就是把他们的行为、信息、知识都做了互联网化。我可以和大家分享一个更细节的数字，我们也跟很多技术供应商去探讨，一些很顶级的技术供应商，可能一年收集10个亿的图片，但是这个图片的量对于互联网数据来说，可能是一周，甚至远远不到一周的时候，互联网上就有这么多图片产生了。但是它有它的挑战，就是说，这部分数据可能跟无人驾驶、智能车想要的数据分布有一些不一样的地方，标注也有一些困难，需要用一些办法，比如迁移学习把互联网的知识转移到智能车上去。为了达到这样的一个目的，我们也关注另外3个主要数据来源：1、仿真大数据。2、自有车队数据。3、来自于用户的真实数据。

第二，我们有了数据以后，如何去做。我们搭建人工智能平台，用大量的数据训练多个深度学习模型。

但是，我们想强调的是在智能车的场景中，往往最有价值的就是所谓的长尾（long-tail）数据。就是说这些数据发生的频次很低，很有可能你开很久的车才会有一次、两次发生，但是这些事情的种类、类别、数量会非常多，想要让我们的车辆适应尽可能多的场景，就要求我们的人工智能平台有快速处理这样一个长尾（long-tail）数据的能力。

这有几个挺有意思的例子，比如我从加州回来之前在路上。因为天气也很好，前面是一个油罐车，这个油罐车很干净，它把后面的车，包括我自己的车倒影在油罐车的油罐上面去了。

油罐车倒影中的场景有可能会被算法误认为是真实的车道线与车辆

　　如果你对这个场景没有一个特殊的理解和处理的话，很多世界上最好的计算机视觉算法，都有可能误认为倒影是真实的车道线与车辆。特斯拉曾经发生过一件很惨痛的事故，特斯拉的车没有成功的把一辆白色的大货车认成车，认为是一片云彩，也撞上去了。

特斯拉把大货车误认为是一片云彩

还有一个案例，下面这张图其实是一个披着cosplay衣服的行人走在路上，人类司机都可以完成识别是一个行人。但是计算机视觉，由于这个人穿了一件cosplay的衣服，可能算法不一定能成功检测到是一个人。

穿人偶服装的行人无法被车辆识别

这就对我们人工智能学习平台提出的问题——当样本不是那么常见、频次很低的时候，如何快速学习呢？其实在业界有很多这种类似的方法、技术已经被研发出来了，比如微软的custom vision，我本人也曾参加了custom vision的核心研究工作。将来也会针对小鹏汽车的特殊场景定制和打造可以快速迭代，应对小样本学习的人工智能学习平台。

小鹏汽车有了这样一个闭环的智能进化能力之后，就可以做到人车共存，不仅车会更懂路上的中国人，还会更懂车里的中国人。