马斯克大手笔，花700亿砸出个虚拟世界

马斯克：我们活在真实世界的概率只有十亿分之一。

一、“世界模拟器”首次曝光

马斯克又整出新花样了。

最近，特斯拉官方在X平台上发布了一则消息，表示“为了将自动驾驶技术推向比现实更复杂的情况，我们构建了一个神经网络世界模拟器，可以为特斯拉创造出完全合成的驾驶世界。”

这个模拟器是一个完全由神经网络构成的“赛博平行世界”。

它能够基于真实世界的海量数据，生成连续、多视角的虚拟驾驶场景，同时在场景中最大限度地还原真实世界的物理规律，保真度极高。

特斯拉官方称，通过这个世界模拟器，AI系统能在一天之内学习相当于人类500年驾驶时长的经验。

这一进展的直接影响是，特斯拉可以大幅降低对真实道路测试的依赖，从而在更安全、高效的环境中评估和改进其FSD（完全自动驾驶）系统。

一方面，该模拟器可以重现历史上的危险场景，帮助AI探索不同的应对策略；

另一方面，模拟器能主动创造“长尾场景”和对抗性测试，用于试探AI的极限。

比如在行驶过程中，模拟器能自动脑补车辆突然加塞，给AI出难题。

世界模拟器的形成，主要依赖于一套“端到端”的神经网络系统。

这个“端到端”的网络负责处理来自多个摄像头、车辆速度等运动学信号、音频、地图及导航信息，最终生成控制车辆行驶的指令。

在“输入端”，网络会分析车辆摄像头捕捉到的原始数据，包括像素画面、车辆自身的速度、音频、地图导航信息等；

接收到信息并分析完后，在“输出端”，AI会给出两个指令：转动方向盘的角度，和踩下油门/刹车的力度。

相比于传统的“模块化”系统，“端到端”系统在实际运用中主要有两点优势。

第一，效率更高。

在模块化系统中，感知、预测、规划等模块各自为政，优化目标不一致，并且每个模块都需要独立的编码器。

端到端模型则像一个统一的指挥部，梯度信号可以从控制端一直反向传播到最前端的传感器输入端，实现对整个网络的整体优化，寻求全局最优解。

此外，端到端模型各个部分的联通方式是共享主干网络，大幅降低了计算开销，能够提高整体效率。

第二，灵活性强。

现实驾驶的情况很复杂，充满了“迷你电车难题”，需要AI权衡解法。

比如在视频中，测试员将车开到窄路上，路面有一滩明显的积水。此时，AI需要决策是碾过一个大水坑，还是驶入对向车道。

这种权衡很难用代码写死，而对于一个观察该场景的人类来说，这却相当直接：眼下能见度足够高，在可预见的未来未来不会有对向车辆驶来，其次，水坑比较大，最好是避开。

而“端到端模型”也做出了同样举动，反映出在实际运用中，该模型的灵活性更强，更有可能学会符合人类价值观的驾驶策略。

总而言之，“端到端模型”与“世界模拟器”类似于司机和驾校的关系，前者通过收集大量路况反馈给模拟器，模拟器在此基础上搭建更多真实驾驶场景，从而更好地训练模型。

两者结合，构成了特斯拉自动驾驶技术的核心优势。

二、不止用于自动驾驶

造机器人，也是马斯克的心头好。

“端到端”这套神经网络系统同样被用于“擎天柱”人形机器人上。

这意味着，“世界模拟器”也可以为“擎天柱”提供训练场所。

目前，擎天柱仍在准备量产，市场化落地还未确定。

今年年初，马斯克计划量产5000台擎天柱，不过在7月，特斯拉官方又宣布暂停计划，宣称项目正处于“设计调整”阶段。

有知情人士透露：“目前擎天柱只在特斯拉电池车间搬运电池，搬运效率不到工人的一半，还未从事更为复杂的汽车组装工作。”

这折射出当前人形机器人整个行业的发展障碍，即智能化不理想。

正如宇树创始人王兴兴说的，“全球都在等待真正的机器人‘大脑’的诞生”。

这颗“大脑”一般被称为具身智能大模型，表现为机器人能够根据当前的观测做出任务对应的准确规划和可执行的动作，并能够同时与人类进行交互进行问答。

而这种大模型远没有语言大模型进化迅速，其最大的发展障碍就是缺乏各种动作数据的“投喂”。

因此，引入“世界模拟器”来训练擎天柱机器人，算得上特斯拉在具身智能训练方法上的一次根本性变革。

首先，在模拟器中，擎天柱能在短时间内大量获取人类的实际操作经验，便于学习大量需要试错的物理动作。

其次，模拟器可以提供各种极端、危险的“长尾场景”进行训练，比如光滑地面、突发障碍等，无需担心机器人损坏或伤害他人。

最后，模拟器可以控制无数种环境变量，比如光线、布局、材质纹理等，自动生成不同的环境场景，让擎天柱在“毕业”前就见识过几乎无限的世界变体。

三、理想和现实之间的距离

今年10月中旬，美国国家公路交通安全管理局对特斯拉的全自动驾驶（FSD）系统展开调查，涉及288万辆配备该技术的车辆。

调查主要关注FSD在交通信号灯和对向车道方面的表现，以及其是否违反交通法规并带来安全隐患。

这暴露出“端到端系统”的核心争议，即“黑盒”特性。

它像一个复杂的大脑，输入数据，直接输出驾驶指令，但中间的分析和决策过程非常不透明。

工程师很难准确判断，系统为何在特定情况下做出超速或激进变道的决定。

在“世界模拟器”曝光的发布会上，特斯拉技术总监Ashok认为，这个“黑盒”其实可以被打开。

特斯拉神经网络在输出最终驾驶指令的同时，也能输出可供人类理解的“中间token”。

这个中间token可以被看做AI思考的过程，根据这些token，工程师可以找到问题根源。

不过，这是从结果倒推过程，没有从根本上解决AI在做决策时会出现幻觉的问题。

此外，如何将一个错误的指令反向追溯到神经网络中特定参数，因为“端对端”决策过程的复杂性，这一问题也没有明确的解决方法。

抛开技术问题，“世界模拟器”在训练FSD和擎天柱机器人时，其算力成本也是需要考虑的一大问题。

目前，特斯拉的算力基础设施建设，包括Dojo超级计算机和Cortex算力中心，主要由特斯拉自主投入和研发。

近两年，特斯拉在AI训练和推理方面的计划投入约为每年100亿美元。

今年4月，特斯拉曾在一季度中披露，预计今年特斯拉资本支出将超过100亿美元，而两个月后，特斯拉宣布本财年资本支出为80亿美元。

这背后或许是特斯拉面临的现金流担忧。

就特斯拉的汽车业务而言，数据显示，今年Q1交付主力仍是Model 3与Model Y，合计32万辆左右，占比绝大多数。与前一季（2024年第四季）相比，Model 3/Y交付量下跌31%，其他车型更暴跌45%。

与去年同期（2024年第一季）相比，Model 3/Y仅下滑13%，其他车型则下跌约24%，跌幅相对没那么严重。

今年6月，富国银行在一份报告中发出警告，称“特斯拉正面临基本面恶化，其自由现金流可能自2018年以来首次转为负值”，反映出特斯拉目前的资金状况不算良好。

因此，面对技术与资金的双重考验，即便是特斯拉这样的科技巨头，也并无破解一切的万全之策。

填平理想和现实的距离，特斯拉或许仍需要更多时间。