对话英伟达（NVIDIA），AI定义汽车的时代已经到来

　　虽然AI时代早已开始，但因为生成式AI的出现，人类已经来到了AI时代新的突破点。而汽车这个既古老又现代的交通工具，无疑是当前AI最好的落地场景。

　　那么，AI将如何改变汽车本身乃至整个汽车产业？作为AI时代霸主的NVIDIA又将如何赋能万物？4月24日，NVIDIA在北京办公室召开了北京车展媒体沟通会。NVIDIA全球副总裁、汽车事业部负责人吴新宙，NVIDIA汽车事业部数据中心副总裁Norm Marks， NVIDIA全球副总裁、中国区汽车事业部负责人刘通与太平洋汽车等多家媒体进行了深度对话，也让外界得以探寻NVIDIA的AI野心。

　　尽管履新NVIDIA仅仅7个月，但吴新宙显然已经非常适应现在的工作状态。在台上的他，不仅能对AI和智能驾驶侃侃而谈，而且有时还会抛个梗，幽默一把，引得台下媒体发出一阵笑声。

　　吴新宙说，过去十年是软件定义汽车，通过OTA技术，把汽车这样一个固定不变的硬件产品变成可以自学习、不断变化的用户产品。但随着生成式AI的大规模进展，接下来AI定义汽车一定会是一个很大的趋势。而且，生成式AI在未来会把自动驾驶的天花板进一步提升。

　　如同在人脸识别、计算机视觉已经发生的三段式发展过程一样，在吴新宙看来，自动驾驶也会是三段式的发展：刚开始第一代的自动驾驶系统是完全基于规则，有着大量人工Engineer Feature（工程师特征），通过很多算法去完成自动驾驶这样一个让车自己开的动作。第二代就是现在市场上可以看到的，已经开始用大量的AI取代原有的人工Engineer Feature，现在不管是预测还是规划都在用模型去做。第三代则会变成端到端大模型的方式。而且这个过程是不可避免的，在未来五年内就会发生。

　　既然不可避免，那未来的AI汽车会是怎样的呢？吴新宙认为，届时会比现在的自动驾驶开发简单很多，因为它是一个大模型，更多地是集中在云端。NVIDIA希望大部分模型都能够在云端完成训练，通过数据驱动的方式，车端触发Edge Case案例，然后通过自动数据驱动完成模型的自我迭代，也希望在云端通过仿真完成大部分的验证，极大地减少车端大规模设备部署和测试的依赖性。未来的部署也可以简化成模型更新的工作，而不是巨大的代码更新。

　　当然，AI对于汽车的影响远不只自动驾驶领域，生成式AI对智能座舱的提升也是巨大的。吴新宙希望未来的车端AI 计算平台既可以支持智能驾驶，也可以支持车端智能，包括座舱的一些配置。

　　要做到这一切，一颗强大的AI芯片不可或缺。NVIDIA DRIVE Thor的出现，有望把车端的仿真模型的运算能力推到下一个高点。同时，NVIDIA在DRIVE Thor上也做了大量的思考，以便能够更好地支持LLM模型。

　　DRIVE Thor的算力相比上一代有了比较大的提升，安全等级也更高，而且能够对生成式AI、LLM给予最好的支持。吴新宙透露，大概2025年开始有第一代的SOP，芯片也会比较快地拿到样片。国内包括蔚小理，比亚迪、广汽等都已经确定了下一代自动驾驶平台会通过DRIVE Thor开发。

　　随着本轮汽车革命进入到以智能化为标志的下半场，当前几乎所有瞄准智能驾驶的车企和智驾公司都在研究端到端。

　　吴新宙认为，端到端是自动驾驶三步曲的最终一步。不过他也强调，不能仅仅从字面上理解端到端就是从像素到动作，可能会有一些别的东西配合。比如在控制这一环，后面可能还会有优化帮助把控制做得更好，因为控制是数学问题，但是这个问题比较技术性。

　　“端到端的模型上线之前一定会有一个「护栏」，因为需要不停地优化和成长，要是一开始就上线端到端的模型是非常困难的”。吴新宙说，能够把端到端模型做好的企业一定也需要非常好的第二代甚至第一代的自动驾驶堆栈。就比如，端到端的模型像是未来可以成为博士生甚至博士后的学生，但在成长的过程中需要小学老师、初中老师去带去教，让它能够有时间去成长。显然，这并不是一个一蹴而就的过程。吴新宙表示，在未来几年，端到端的模型和原有模型的相辅相成，某些情况下比如比较难的路口处理可以显示出更加拟人化的东西，通过原有的模型和方法保证安全性，这些是把端到端模型真正大规模部署，变成主流的一个过程。

　　尽管业内普遍看好端到端的前景，但同样也担心端到端的黑盒问题，人们并不知道神经网络内部是如何工作的。不过吴新宙觉得这个问题并非无解，首先通过原有的第一代和第二代算法栈，可以保证端到端模型的安全性，也可以不停地判断端到端模型决定的合理性，把双方有差异的地方作为输入。这有点像大语言模型训练的反馈，能够让结果更加合理化。

　　此外，还可以尝试给“黑盒”开几扇窗。吴新宙说，未来的大模型、端到端模型有周边的输出点可以观测，比如可以观测DEV输出的结果，训练的时候也是部分训练。可以看到信号是怎样的模式，通过这样的方式在最后运行的时候不需要运行仿真，那些窗其实就是输出口。最后正式运行的时候不一定要运行那些东西，但如果需要观测为什么、了解怎么想的话可以通过那个窗口看一下。

　　无独有偶，同济大学教授朱西产日前在“智能汽车之夜”上对于端到端黑盒的问题也表达过类似的观点，他认为完全黑盒并不正确。人类需要在副驾驶安排一个座位，就像教练教学徒。没危险时你可以自由发挥，一旦碰到安全边界，教练可以随时踩一脚刹车。

　　尽管挑战重重，但吴新宙坚信可以在2026年量产L3。届时可以完全把人从系统中拿掉。“我们的核心是让大家在车里不是开车，而是可以玩手机，这是大家的刚需。开车不是刚需，从A点到B点是刚需，玩手机也是刚需。”吴新宙笑着说道。

　　Norm Marks是一位汽车软件领域的老将，他已经在这个行业工作了25年。然而生成式AI以及大语言模型对汽车行业的影响依然令他印象深刻。他说，自己从来没有看到过生成式AI被采用的速度像过去的18-24个月这么快的情况。

　　自动驾驶汽车1.0时代主要是基于标注图像的训练，并在上面开发和部署深度神经网络的集成，可能会有40-50个深度神经网络从L2+层级往更高级的自动驾驶方向去走。假设有50辆测试车的车队，每周生成的数据可能是2PB，其中只有10%-15%会得到标注，所以可以想象继续往上走的规模会有多大。受限于此，1.0时代智驾只能走这么远，可以实现ADAS和领航自动驾驶LLM，或者是高速和城市环境的自动驾驶，但如果想要实现完全的自动驾驶以及最高等级的安全，需要向2.0转型。

　　Norm Marks说，2.0就是基于视频进行模型的训练，就像真人看世界那样，不是像1.0时代40-50张深度神经网络的部署，2.0时代是一整个大的融合世界的统一模型，基于GPT或者基于Transformer建立，采用多模态的大语言模型，包括视觉语言模型和生成式AI的其它技术。

　　同时，目前NVIDIA还在使用生成式数据，特别是其自研渲染工具Omniverse，它既可以部署在云端，也可以部署在本地OES服务器。Omniverse能够实现数据生成，补足仿真Corner Case，从而快速转成虚拟数据，然后进行随机处理，衍生出更多的Corner Case。现场，吴新宙也讲到了Omniverse的一些应用场景，最核心的就是可以实现统一的数字孪生，所有的数据源收集上来以后构建起来的数字孪生是统一的视图。

　　毫无疑问，自动驾驶汽车技术的发展对算力和规模都提出了更高的要求。Norm Marks预计，未来三年自动驾驶汽车2.0转型的模型规模将增长13倍，数据存储规模将增长17倍。Norm Marks说，从早期的工作继续往后看，基于Transformer需要的是3000个服务器节点，相当于24000个GPU，再往上用到最先进的GPT4作为基础的话需要上万的服务器节点，到了1万个就已经是超算的场景。

　　生成式AI的大爆发，NVIDIA显然是最大的赢家，甚至没有之一。随着汽车智能化的推进，NVIDIA在中国乃至世界的智驾版图必然再次扩大。

　　刘通深耕中国市场多年，他表示NVIDIA在中国的汽车客户数量非常庞大。比如全球新能源汽车销冠比亚迪跟NVIDIA的合作就是端到端全栈式合作。包括车端芯片、DRIVE Orin、DRIVE Thor，智驾芯片、数据中心端的解决方案，GPU产品、数据中心的网络，以及NVIDIA用于AI开发和自动驾驶算法开发或者大模型的开发的软件系列产品NVIDIA AI Enterprise。在智能工厂环节，NVIDIA和比亚迪也在做机器人领域的合作。刘通透露，NVIDIA与比亚迪有全系列合作，包括DRIVE Thor、DRIVE Orin、Omniverse，是最完整的合作代表。

　　当然，这种端到端的合作模式不只是和比亚迪，比如和理想也是这种合作模式。理想是第一批采用DRIVE Orin的高端客户，现在也宣布应用DRIVE Thor。刘通说，理想与NVIDIA有着多方面的合作，包括大规模的数据中心的合作和在车端芯片开发高端智驾的合作。此外，很早就用DRIVE Orin发布非常先进的智驾方案的小鹏也宣布采用下一代的DRIVE Thor。事实上，许多前期DRIVE Orin客户都在纷纷向DRIVE Thor迁移。

　　据不完全统计，采用DRIVE Orin的中国车企包括上汽的智己、飞凡，吉利的极氪、极越、路特斯，长城汽车等30多家主流车企，覆盖了50余款车型，就连时下最火的小米SU7全系搭载的也是DRIVE Orin系列。刘通表示，在中高端的智能汽车领域，NVIDIA的占有率非常高。

　　可以想见，随着AI定义汽车时代的到来，NVIDIA在汽车行业的地位必将得到进一步提升，王者的王冠或将更加金光闪闪。