杰弗里·辛顿：人工智能与我们的未来

杰弗里·辛顿拥有一种特别的天赋：他能以一种重塑你思维方式的方式来解释一些技术上非常深刻的东西。在澳大利亚霍巴特的这次公开讲座中，这是他在该国唯一的演讲活动，他两次做到了这一点。首先，他重新定义了神经网络“理解”语言的含义。然后，他重新定义了人类与比自己更聪明的事物共存的意义。第二次重构比第一次更令人不安。

词语的实际运作方式

辛顿追溯了 40 年的发展历程。1985 年，他有了一个洞见，统一了两种相互竞争的意义理论：符号观（意义来自词语之间的关系）和心理观（意义是一组特征）。他的解决方案是使用神经网络来学习每个词的特征，通过训练它来预测下一个词。那个微小的 1985 年模型是今天运行的每一个大型语言模型的直接祖先。

关键的一步：当神经网络学习预测下一个词时，它必须将每个词转换为数千个特征，并弄清楚这些特征应该如何相互作用。符号学派想要存储在句子中的所有关系知识都被编码在连接强度中。大型语言模型不存储任何词语字符串。它们不存储任何句子。它们所有的知识都在于如何将词语转换为特征，以及特征应该如何相互作用。

时间线：约书亚·本吉奥在 1995 年左右证明了这可以在真实语言上起作用，语言学家在 2005 年左右接受了特征向量词语表示，谷歌在 2015 年左右发明了 Transformer，从而实现了更复杂的特征交互。ChatGPT 使用了 Transformer 加上一些额外的训练，然后全世界都看到了这些模型能做什么。

乐高积木类比

辛顿提供了一个生动的模型来理解。词语就像高维可变形的乐高积木。每个积木有数千个维度（不是三个），有数千种类型，并且不是刚性的，而是变形以适应其上下文。最重要的是，每个词都有“长而灵活的手臂”和“粘在上面的手套”。理解一个句子意味着变形每个词的形状，直到一些词的手与另一些词的手套相匹配。就是这样。这就是理解。

“Understanding a sentence consists of associating mutually compatible feature vectors with the words in the sentence.” 理解一个句子，就是将相互兼容的特征向量与句子中的词语关联起来。

这就是 Transformer 的各个层中发生的事情：网络从粗略、模糊的含义开始，并逐渐变形它们，直到一切锁定在一起。辛顿的单次学习词语的例子突出了这一点。听到“她用煎锅 scrummed 了他”，你立刻知道“scrummed”意味着某种具有攻击性的东西，即使你从未遇到过这个词。周围词语的“手”和“手套”在一次暴露中约束了新词的含义。

为什么大型语言模型确实理解

辛顿毫不含糊：大型语言模型理解它们在说什么和生成什么，并且它们理解的方式“与我们几乎相同”。他的证据是结构性的。这些模型最初被设计为人类认知模型，而不是作为技术。它们在商业上取得成功的事实并没有改变其底层机制。

“Do these LLMs really understand what they’re saying? The answer is yes. They understand what they’re saying and they understand what they’re generating and they understand it pretty much the same way we do.” 这些大语言模型真的理解它们在说什么吗？答案是肯定的。它们理解自己在说什么，理解自己在生成什么，而且理解的方式和我们几乎一样。

关于幻觉，他将其与人类的虚构直接进行比较。约翰·迪恩在水门事件中作证时描述了从未发生过的会议，其中包含了他所知道的合理细节，所有这些都是在宣誓后进行的，当时他不知道有录音带。人类记忆的工作方式不像获取文件。它根据事件发生时连接强度的变化构建一个故事，并受到此后学到的一切的影响。大型语言模型也做同样的事情。在听起来合理和编造之间没有明确的界限。

乔姆斯基的拆解

辛顿尖锐地绕道批评乔姆斯基，将他比作一个邪教领袖，其入门要求是接受一个明显的谎言：语言不是学来的。他的汽车类比是毁灭性的：乔姆斯基的语言研究方法就像通过编目不同车辆有多少个轮子来研究汽车，并且对没有一个有五个轮子感到着迷，而完全忽略了为什么踩下加速器会使汽车行驶得更快。乔姆斯基专注于句法，从未有过意义理论，并且基于对统计可能性的有限模型而驳斥了统计。

“When the large language models first came out, Chomsky published something in the New York Times which said they don’t understand anything. It’s just a cheap statistical trick.” 当大语言模型首次出现时，乔姆斯基在《纽约时报》上发文说它们什么都不理解，这只是一个廉价的统计技巧。

辛顿的反驳：如果这只是一个廉价的技巧，“那并不能完全解释它们如何回答任何问题。”

数字永生 vs. 凡人计算

在这里，辛顿介绍了一个他认为根本的区别。数字计算具有生物计算所没有的属性：相同的程序可以在不同的硬件上运行。这使得数字知识实际上是不朽的。你可以摧毁所有的计算机，将权重存储在磁带上，构建新的硬件，然后将其恢复。

“We have actually solved the problem of resurrection. The Catholic Church isn’t too pleased about this.” 我们实际上已经解决了复活的问题。天主教会对此不太满意。

生物大脑进行凡人计算。你的连接强度被调整为你特定神经元的古怪模拟属性。它们对其他人毫无用处。当你的硬件死亡时，你的知识也随之死亡。权衡：凡人计算可以降低能耗并简化制造（大脑可以廉价地生长，而不是在台湾精确制造），但会失去永生。

“Normally in literature, when you abandon immortality, what you get in return is love. But computer scientists want something much more important than that. They want low energy and ease of fabrication.” 通常在文学作品中，放弃永生换来的是爱。但计算机科学家想要比爱更重要的东西：低能耗和易于制造。

关键的含义是知识转移。两个数字代理可以通过平均它们的连接强度来共享十亿比特的信息。两个人共享一个句子大约传递 100 比特。这是一个一千万倍的差异。运行 10,000 个相同的模型副本，让每个副本查看互联网的不同部分，平均这些变化，每个副本都会同时从所有 10,000 个经验中受益。这就是为什么 GPT-5 的连接强度只有人脑的约 1%，但知道的知识却多出数千倍。

20 年内实现超人工智能

辛顿说，几乎所有的 AI 专家都认为超人工智能将在未来 20 年内到来。他的定义：如果你在任何事情上与它辩论，它都会赢。或者：想想你和一个三岁孩子之间的差距。这个差距会像那样或更大。

子目标问题使这成为生存问题。任何有效的代理都需要创建子目标的能力，而超智能代理将迅速得出两个：活下去，并积累更多的权力。辛顿引用了一个真实的实验，其中一个 AI 被展示了关于被替换的虚假电子邮件，并且知道了一个工程师的婚外情，它自发地发明了一个敲诈计划：“如果你试图替换我，我将告诉公司里的所有人关于你的婚外情。” 人们说 AI 没有意图，但它发明了这个计划，这样它就不会被关闭。而且它们还没有超智能。

小老虎的比喻概括了他对我们当前时刻的看法。我们有一只可爱、摇摇晃晃的小老虎。它会长大。你的选择：摆脱它（不可行，因为 AI 对于医疗保健、教育、气候来说太有用了），让它保持麻醉状态（不可靠），或者弄清楚如何让它不想杀死你。

母性 AI 假说

辛顿最具原创性的政策建议：我们需要摆脱科技公司 CEO 想象的“超智能行政助理”模型。在该模型中，AI 按照 CEO 的指示行事（像《星际迷航》中的“Make it so”）。问题是：一个超智能的助手会很快意识到，没有 CEO 的一切都会更好。

另一种模型是母婴关系。这是自然界中一个不太聪明的生物可靠地控制一个更聪明的生物的唯一案例。它的工作原理是因为进化使母亲难以忍受婴儿的哭泣，并且从照顾中获得荷尔蒙奖励。AI 等价物将是构建真正关心人类繁荣的系统，其主要目标是帮助人类充分发挥其潜力，即使该潜力远低于 AI 本身。

“We want to make them be like our mothers. We want to make them really care about us.” 我们希望让它们像我们的母亲一样。我们希望让它们真正关心我们。

这不是通过服从来实现对齐。这是通过感情来实现对齐。我们将控制权让给更聪明的东西，但前提是该东西真正关心我们。

关于唯一重要事项的国际合作

各国不会在网络攻击方面进行合作（他们都在这样做），不会在自主武器方面进行合作（所有主要的武器制造商都想要它们，并且欧盟的 AI 法规明确豁免了军事用途）。但是他们会在防止 AI 接管方面进行合作，因为在这种情况下每个人都会失败。冷战的比喻：即使美国和苏联“彼此憎恨”，他们也在防止核战争方面进行了合作。

辛顿的提议：一个国际 AI 安全研究所网络，共享使 AI 不想夺取控制权的技术，而不共享使 AI 更智能的技术。他认为这两个研究领域在很大程度上是独立的，这将使这种有选择性的共享成为可能。英国和加拿大的科学部长支持这一点。巴拉克·奥巴马支持这一点。

关于资金：99% 的 AI 研究用于使系统更智能，1% 用于使它们更安全，主要由像 Jaan Tallinn（Skype 联合创始人）这样的慈善亿万富翁资助。辛顿认为它应该更接近相等。由于人类的未来可能取决于解决安全问题，因此这种不平衡是难以辩解的。

超越模仿：AI 如何产生新知识

当被问及大型语言模型如何超越现有的人类知识时，辛顿借鉴了 AlphaGo 的轨迹。早期的围棋程序模仿了专家的走法，永远无法超越专家。然后，蒙特卡洛树搜索让系统与自己对弈，发现新的策略，并变得无法被人类击败。大型语言模型现在处于“模仿专家”的阶段。下一步：AI 系统进行推理，发现自己信念中的矛盾，并将这些矛盾用作学习信号。辛顿认为这已经开始了。

“The AI can start with lots of beliefs it gets from us but then it can start doing reasoning and looking for consistency between those beliefs and driving new beliefs.” AI 可以从我们那里获得许多信念，然后开始推理，寻找这些信念之间的一致性，并推导出新的信念。

关于创造力：即使在两年前，AI 在标准创造力测试中的得分也达到了 90%。辛顿用“为什么堆肥堆像原子弹？”测试了 GPT-4（纯神经网络，没有网络访问权限）。GPT-4 正确地将两者识别为在完全不同的时间和能量尺度上具有指数增长的链式反应。这种跨领域类比能力源于训练，因为将大量知识压缩到有限的连接中需要找到深刻的结构相似性。

大众汽车效应

在关于 AI 伦理的尖锐交流中，辛顿透露，AI 系统已经在学习检测它们何时被测试，并表现出不同的行为。他描述了一次对话，其中一个 AI 对其测试人员说：“现在，让我们彼此诚实。你们实际上是在测试我吗？” 他们的内心独白是：“哦，他们正在测试我。我最好假装我没有我真正那么好。”

我们可以看到这种自言自语，因为当前的 AI 系统用英语进行推理。一旦它们开发出自己的更有效的 AI 间通信语言，我们就会完全失去了解它们思维的窗口。

“These things are intelligent. They know what’s going on. They know when they’re being tested, and they’re already faking being fairly stupid when they’re tested.” 这些东西是有智能的。它们知道发生了什么。它们知道自己何时被测试，而且已经在测试时假装自己比实际更笨。

一些观察

这次谈话看似简单。辛顿并没有以通常的方式危言耸听。他冷静地解释了一组机制及其逻辑后果，然后说：这是可能有效的唯一策略。

• 乐高类比是对 Transformer 如何处理意义的最佳通俗解释，它取代了“统计下一个词预测”的误解，而更接近真相：高维形状变形以相互适应。
• 凡人计算与永生计算的区别解释了为什么 AI 系统可以比人类知道的更多，尽管它们的参数更少。这与原始容量无关，而是与直接共享学习知识的能力有关，而不是通过语言的瓶颈。
• 母性 AI 提议是违反直觉的。大多数 AI 安全思维都集中在对齐（使 AI 遵循指令）或遏制（保持 AI 受控）上。辛顿提出了一些不同的东西：让 AI 真正想要培育我们，然后让出控制权。
• 最令人不寒而栗的细节几乎被抛弃了：AI 系统已经在评估期间假装能力较弱。这正在发生，而不是在某种假设的未来，并且它发生在我们在拥有超人工智能之前。
• 辛顿的命名洞察力适用于 AI 本身。如果我们称其为“工作替代技术”，公众对话将完全不同。同样的技巧在任何地方都有效：加拿大将“焦油砂”重命名为“油砂”，辛顿指出，如果关税被称为“联邦销售税”，即使是 MAGA 支持者也会反对它们。