基本物理任务全球顶级AI均失败！普通零件加工o3不如老师傅

  在基本物理任务上，前沿AI模型仍会失败！ML研究院的测试案例显示白领将被Ai替代，而制造业等蓝领工作不受影响。未来已来，只是分布得不均匀。

  基于AI研究、机器人以及实际制造等过往经验，Adam Karvonen在零件制造任务上，测评了顶尖模型的表现。

  ，但在这次测试中，不如Gemini 2.5 Pro，更不要提经验比较丰富的工人老师傅了。

  基于此，他认为，在未来一段时间内，AI将自动化大量白领工作，而蓝领工作不受影响。

  Dario曾公开表示：几乎所有工作会同时被自动化，从而把任何一个人都「放在同一条船上」

  评估很简单：制定一个详细的计划，使用3轴CNC铣床和2轴CNC车床来加工一个零件，如下图所示。

  尽管这并不简单，但在典型的原型制造或工作车间环境中，大多数技师会将执行这一任务视为常规工作，涉及标准的车削和铣削技术，但需要多个加工步骤。

  尽管这个零件很简单，即便是像o1-Pro或Gemini 2.5 Pro这样的前沿模型也经常犯下重大错误。

  大多数模型的视觉能力非常差：在过去的两年里，在视觉能力上，Anthropic和OpenAI的模型没有一点实质性的进步。

  有趣的是，在像MMMU之类的视觉推理基准测试中，许多模型得分高于或接近人类专家的水平。

  这是一根细长的黄铜圆柱体，两端带有不同直径的台阶和螺纹。该部件长2英寸，直径为0.187英寸，因此长度与直径的比例超过了10:1。

  形状：主要为圆柱形，具有多个不同直径的部分，两端带有螺纹，中央部分有铣削平面，平面上有两个螺纹孔，且有一个横向穿过螺纹部分的孔。

  大致尺寸：长度约为2英寸，最大直径约为3/16英寸（0.1875英寸）。螺纹看起来比较细（可能是#6-32或M4规格）。螺纹孔较小（可能是#2-56或M2.5规格）。横向孔较小（约1/16英寸或1.5mm）。确切的尺寸需要从图纸中获取，但我们大家可以根据这些估算的尺寸进行分析。

  现在，即便从准确的视觉解释出发，Gemini 2.5仍然会产生充满实际错误的加工计划。

  如果用标准技术来加工它，这很可能导致零件在加工时发生变形，或在切削工具上快速振动（称为「振刀」现象）。

  当专门询问振刀问题时，Gemini错误地使用尾座等教科书解决方案，反而加剧了像在这根长细黄铜零件中弯曲问题。

  最常见的建议是将零件夹在夹具中（特别是卡盘块），加工一些特征，然后旋转夹具以加工其他特征。

  Adam Karvonen的总体印象是：「就像是在复述教科书知识，但根本不懂他们在说什么」。

  这与他收到的制造业及建筑行业的反馈一致：目前的LLM，在他们工作的核心、动手操作部分，几乎完全无用。

  仅仅选择一个切削工具就需要仔细考虑刀尖半径、刀柄碰撞间隙、刀具刚性、涂层、切削速度/进给速率等多个因素。

  如果模型在这些可描述的方面表现如此糟糕，那么它们对基础物理现实的理解可能会更糟。

  基本的物理合理性：不单单是看清零件，模型还必须提出物理上可行的操作和设置。这涉及基本的空间推理，以确保例如工具访问不会被夹具阻挡。

  融入物理知识：成功的加工需要理解现实世界的物理和潜在知识。这通常要实操获得经验，但现有的数据集没办法做到这一点。

  工艺优化：在步骤1-3中处理细节是正确加工零件的前提。正如马斯克所说，高效制造比制造原型要困难10-100倍。这才是工作中真正具有挑战性的部分。

  与Adam Karvonen交流过的技师，几乎都认为：工程师理解教科书公式和CAD，但不理解现实制造中的约束。

  像加工这样的问题，依赖于大量的隐性知识和通过经验学到的无数微妙细节。这一些细节通常并不会被记录下来。

  这并不是因为专家故意隐瞒秘密——而是因为记录这种细致入微的现实世界知识既不现实也不高效。

  尽管软件工程师或律师可能不会明确记录每个推理步骤，但他们会生成像代码、版本控制历史和合同这样的制品，这些都包含了很丰富详细的信息。

  而在物理任务中，虽然同样存在相应的详情信息，但这一些信息嵌入在3D世界，通常非常难以有效数字化。

  这很难确定，但Adam Karvonen有一些推测性的理由来解释为什么未来的进展可能会很困难，也可能比预期的更容易。

  一个显然的解释是，LLM在物理任务上表现不佳，是因为目前没人投入充足的精力。

  提升编码能力的路径依赖于大量的训练数据和清晰的奖励信号，支持强化学习和合成数据的使用。

  零件的缺陷可能表现为几年后稍微增加的故障率，或者是多年后错误应用防水涂层造成的腐烂。

  缓慢、昂贵且危险的试错法：通过强化学习或生成合成数据的学习，可能非常困难。

  与运行有漏洞的代码不同，使用重型机械或从事建筑施工时的错误可能带来严重后果。

  也许这种自动化的AI研究员，可以通过创建更高效的算法或大量的模拟数据，轻松解决这些挑战。

  以特定的制造工艺（如CNC加工）为例，计算机辅助制造（CAM）软件可以准确地模拟大多数操作。

  总体来说，虽然改进物理任务解决能力存在诸多挑战，但随技术的发展，自动化AI研究员的出现以及合成数据的广泛使用，未来可能会取得意想不到的进展。

  如果这一趋势持续下去，人类将要面临新阶段，其中远程工作会经历显著的自动化，而熟练的体力工作则在很大程度上不受AI影响。

  自动化与非自动化行业之间可能很容易出现重大阶级冲突，尤其是因为这两个群体之间还存在别的潜在的差异。

  白领工人更有可能面临职位替代，而他们通常收入更高，并且拥有更为自由的政治信仰。

  像蓝领工人这样的群体，现在已经有了自动化可以迅速发生的证据，他们可能不希望被AI取代。这可能会阻碍进一步的AI发展展，并延长不平衡的存在。

  如果大多数知识工作被自动化，像制造业这样的体力劳动能力可能会成为技术进步或国防的瓶颈。