Jerry Tworek 谈论为何静态模型永远无法实现AGI

OpenAI推理模型架构师认为，他所构建的一切还远远不够。Jerry Tworek曾担任OpenAI研究副总裁，领导了o1、o3和Codex的开发。他离开这家实验室，正是因为他认为当前的范式已经触及天花板。这些模型在它们接受训练的领域表现出色，但一旦遇到瓶颈就无法突破。

节目概览

Jerry Tworek在OpenAI工作了七年，见证了它从一个30人的研究实验室成长为历史上最有价值的公司之一。他将推理模型引入世界，他称之为“构造性”的转变。现在他离开了，理由是一个非常明确的智力上的困扰：他帮助构建的模型可以解决奥林匹克竞赛题，并证明新的数学定理，但一旦遇到不熟悉的障碍，就会变得“毫无希望”。它们没有自我纠正的机制，也没有基于失败更新信念的能力。对于Jerry来说，这种差距是工具和智能之间的差距。

本次对话涵盖了扩展RL的真实机制，为什么各实验室都在趋同于类似的方法（以及这可能带来的危险），使OpenAI成为现在的样子的关键决策，以及为什么专注解释了AI领域95%的竞争结果。

种瓜得瓜

Jerry对当前AI能力的心理模型非常简单：扩展有效，它是可预测的，而且你得到的就是你训练的东西。仅此而已。

预训练构建了一个语言世界模型。强化学习获得了特定的技能。在这两种情况下，改进你的训练目标“基本上没有限制”。如果你关心一项技能，你就对其进行RL，模型就会变得擅长。这一点已经确定。

尚未解决的问题是泛化。模型在训练分布之外的表现如何？Jerry认为，答案是“可能不太好”。这造成了一个岔路口：要么我们还处于RL的早期阶段，泛化会随着规模的扩大而出现，要么我们需要一些根本性的新东西。

Jerry倾向于后者，但他将其视为一个经济学问题。当前通过添加有针对性的数据来修复弱点的循环“非常强大”，但速度很慢。每个季度，每个实验室都会发布更好的模型，主要是通过扩展计算能力，更重要的是，添加针对先前模型表现不佳的数据。这很有效。问题是，是否有某种方法可以让我们“用更少的数据获得更多的结果”。

打破规则的外科医生

当被问及RL今天能做什么和不能做什么时，Jerry用了一个引人注目的类比。边界不在于领域，而在于反馈信号。

编码和数学竞赛有明确、快速的反馈。写一本好书？你可能需要等待数年的市场信号。创办一家公司？需要五到十年才能知道早期的决策是好是坏，还是仅仅是幸运。RL需要一个信号，而一些最重要的人类活动具有缓慢、模糊或不存在的信号。

但最有趣的案例是，基于经验，违背既定实践的专家外科医生，做了前所未有的事情，并取得了成功。Jerry认为，如果给予足够的时间和尝试能力，模型最终也可以做到这一点。问题是，使用今天的架构需要多长时间。

为什么静态模型永远无法实现AGI

这是Jerry最大的智力更新，也是他离开OpenAI的原因。他现在认为，持续学习是AGI的必要条件，而不仅仅是锦上添花。

核心观察：当当前模型失败时，它们会“很快变得毫无希望”。你可以粘贴错误消息，提供鼓励的话语，尝试不同的提示。但从根本上说，模型没有基于失败更新其内部知识的机制。它要么在第一次尝试时解决问题，要么就无法解决。

“Intelligence always finds a way. Intelligence works at the problem and probes it until it solves it, which the current models do not.” 智能总能找到出路。智能会努力解决问题并进行探索，直到解决它，而当前的模型不会。

Jerry指出，这使得AGI的定义非常个人化。按照某些定义，模型解决奥林匹克竞赛题和证明新的定理可能符合AGI的标准。但是，当模型遇到无法逾越的障碍时，那种“毫无希望”的感觉使它不符合他的标准。

脆弱性问题

持续学习背后的技术挑战比表面看起来更为根本。当前的深度学习训练本质上是脆弱的。保持模型“在正轨上”需要付出巨大的努力。如果没有这种努力，训练就会“爆炸”，你将无法获得一个好的模型。

“It’s fundamentally different to how humans learn. Human learning is much more anti-fragile.” 这与人类的学习方式根本不同。人类的学习更具反脆弱性。

Jerry惊叹于人类在接收到新信息后，很少会“崩溃并开始胡说八道”，而AI模型却“经常”这样做。他认为，学习过程本身的这种稳健性是持续学习能够发挥作用的必要条件。

为什么持续学习还没有被解决？Jerry怀疑这需要大规模的研究，只有少数资金充足的实验室才能以这种规模运作。这些实验室一直“忙于做其他事情”，追求经过验证的RL范式，而不是探索根本不同的方法。

飞机问题

当被问及主要实验室在越来越相似的事情上趋同时，Jerry提供了一个令人难忘的类比：为什么所有商用飞机看起来都一样？因为经济力量从根本上来说非常强大。如果你想竞争，你需要以最低的价格提供最好的模型。客户可以随时切换。

这造成了一个囚徒困境。探索，尝试一些根本不同的东西，会让你面临失去市场份额的风险。探索和利用之间存在一种自然的张力，这种张力“没有真正的解决方案”，因为你不知道你没有尝试过的东西的格局。

“You have 100 researchers that think the same thing. You essentially have one researcher.” 你有100个想法相同的研究人员。你本质上只有一个研究人员。

但Jerry反驳了谁发现下一个突破并不重要的观点。OpenAI在预训练transformers和大规模RL方面的先发优势为它带来了复合优势，就像一些国家永远无法弥补的早期半导体制造领先优势一样。想法会传播，是的，但是“领先可能是一件非常非常强大的事情。”

OpenAI关键决策内幕

Jerry回顾了OpenAI从一个30-40人的实验室到全球力量的演变过程，强调了三个可能走向不同的决策：

发布ChatGPT：病毒式传播在内部完全出乎意料。“我听说的没有人”预测到这一点。再加上GPT-4不久之后发布，它创造了“使OpenAI在很大程度上成为今天的样子”的势头。

押注GPT-4的发布时机：在特定时刻投入大量资源来训练GPT-4涉及重大的权衡。“事实证明这是一个非常好的决定。”

推理模型转型：在没有产品市场契合度的情况下说“我们现在正在做推理模型”。o1“在谜题方面有点酷”，但并不实用。只有通过o3和工具的使用，真正的产品市场契合度才出现。“达到那一刻是一段伟大的旅程……OpenAI真正通过了考试。”

为什么Anthropic在编码方面胜出

Jerry对OpenAI的竞争地位非常坦诚。当被问及为什么Anthropic在编码方面如此成功时，他的答案是一个词：专注。

“Focus can explain 95% of things.” 专注可以解释95%的事情。

他从OpenAI时代就认识Anthropic的创始人。他们“总是，总是非常喜欢编码”。这种持续多年的专注是Anthropic可以令人信服地说，现在公司里很少有人自己编写代码的原因。

另一方面：当OpenAI专注于消费者产品时，“确实在很长一段时间内失去了对编码的关注”。这导致他们失去了市场份额，他们现在“正在努力夺回”。Jerry将其视为一条普遍规律：“公司非常不擅长成功地做多件困难的事情。”

处于“我们一生中可能最大的技术变革”的中心，让人觉得不尝试一切都是一种浪费。但这种冲动恰恰是风险所在。

数据世界 vs. 研究世界

Jerry介绍了一个AI竞争可能如何展开的框架。两种可能的未来：

如果数据驱动改进：市场分裂成专业化。花费在一项技能上的训练资源以牺牲另一项技能为代价。实验室自然会差异化。应用公司可以通过专注于特定领域来竞争。

如果研究为王：一项突破可以“同时改善你在所有领域的模型”。一个实验室超越所有人。应用公司的领域优势是短暂的，因为下一代模型会抹杀它们。

他不知道我们处于哪个世界。但无论如何，他看到了成功的AI应用公司的自然演变：从AI应用开始，然后对你自己的模型进行后训练，然后进行预训练，然后最终建立你自己的数据中心。“这就是堆栈的工作方式。”

什么造就了一位伟大的AI研究人员

Jerry确定了三个基本特征，没有一个与原始智商有关：

系统和理论的双重流利性。 既要理解计算机在工程层面的工作方式，又要理解神经网络和优化的理论。在这两方面都“至少还可以”会让你“轻松提高10倍的效率”。

独立思考。 群体自然会趋同于中位数观点，这“扼杀了研究”。成为一名研究人员意味着始终略微持相反观点，因为你正在研究一些“默认情况下人们不太相信”的东西。

勇气。 机器学习实验现在的成本与好莱坞电影一样高。当风险如此之大时，站出来说“让我们做一些不同的事情”需要的不仅仅是智力。“你不知道这部电影是否会成功，但预算巨大，你就会冒险。”

快问快答：时间表和焦虑

机器人技术：2-3年内会出现类似ChatGPT的时刻。“情况比大多数人意识到的要好一点。”

生物学：更长，可能需要3-4年。需要更根本的精确性。“一个三四岁的孩子可以操纵世界上的事物，但他们不是世界级的生物学家。”

我们低估了什么：在“未来几十年”内，广泛部署的工作自动化将成为现实。Jerry认为社会没有足够认真地讨论这个问题。

生存风险：不太担心。没有人希望人类灭绝，资本主义“完全一致”不会杀死所有人。更让他担心的是：一个娱乐比现实世界更有趣，人类退回到VR中的反乌托邦。“这不是一个AI问题。这是一个人类问题。”

育儿：不强迫他的女儿们努力学习或专攻。考虑到就业市场将发生多大的变化，他只想让她们“拥有一个快乐的童年”。

结束语

这次对话之所以有价值，恰恰是因为Jerry没有产品要卖，也没有立场要捍卫。他处于一个罕见的空间，既完成了这件事，又在思考下一步该做什么。

• “毫无希望”的框架是内部人士对当前模型局限性的最诚实描述。不是“模型会产生幻觉”或“模型缺乏推理能力”，而是：当它们陷入困境时，它们没有摆脱困境的机制。这就是差距。
• 他关于竞争优势的95%专注理论看似简单，但解释了很多：Anthropic专注于编码，OpenAI专注于消费者，以及试图做一切意味着没有足够好地做好任何事情的风险。
• 应用于AI实验室本身的探索与利用框架具有深刻的递归性。遭受泛化能力差之苦的模型，是由在战略层面也遭受同样问题的组织构建的。
• Jerry的育儿理念可能是最具启发性的数据点。当构建推理模型的人告诉他的孩子们不要为就业市场进行优化时，这个信号值得倾听。