“杰弗里·辛顿：与外星生命共存”

杰弗里·辛顿认为我们正在创造一种比我们更优秀的东西。不是作为工具的优秀，而是作为一种智能形式本身的优秀。在女王大学的这次讲座中，诺贝尔奖和图灵奖得主阐述了为什么数字计算本质上优于生物计算，为什么这使得超人工智能不可避免，以及我们共存的唯一现实希望可能是什么样子。在此过程中，他抨击了乔姆斯基，重新定义了语言模型的“理解”意味着什么，并认为多模态聊天机器人已经具有主观体验。

语言模型实际上是如何理解的

辛顿将历史追溯到 20 世纪 50 年代，当时人工智能分为两个阵营：符号方法（智能即逻辑）和生物方法（智能即神经网络）。冯·诺依曼和图灵都倾向于生物方法，但两人都英年早逝，该领域被逻辑学家占据。

关键的洞察力出现在 1985 年，当时辛顿统一了两种看似不相容的意义理论。符号观点认为，意义来自词语在句子中与其他词语的关系。心理学观点认为，意义是一组特征。辛顿表明，这是同一枚硬币的两面：你学习词语的特征向量，训练它们来预测下一个词语，意义就从这些特征的相互作用中产生。

“AIs don’t actually store sentences. They convert it all into features and interactions and then they generate sentences when they need them.” 人工智能实际上并不存储句子。它们将所有内容转换为特征和交互，然后在需要时生成句子。

这就是现代大型语言模型所做的事情，只是规模更大。更多的词语作为输入，更多的神经元层，更复杂的特征交互。该架构演变了 30 多年：辛顿 1985 年的小型模型促使约书亚·本吉奥在 20 世纪 90 年代中期展示了它适用于真实句子，然后计算语言学家在 2005 年左右接受了词嵌入，然后是谷歌在 2015 年左右提出的 Transformer 架构，最后是 ChatGPT 将其发布给全世界。

乐高积木类比

辛顿为 Transformer 的工作方式提供了一个生动的类比。词语就像乐高积木，但有四个关键区别：

1. 高维: 乐高积木具有刚性形状，自由度很小。一个词语有数千个维度，其形状可以变形以适应上下文。
2. 可变形: 模棱两可的词语有几种近似形状；上下文决定了哪一个锁定。
3. 数量更多: 你使用大约 30,000 个词语，每个词语都有一个名称（这使得交流成为可能）。
4. 灵活的连接: 不要认为塑料圆柱体插入孔中，而是认为每个词语都有带有手的长而灵活的手臂。随着词语形状的变形，手也会改变形状，嵌入其他词语上的“手套”中。

理解一个句子意味着变形所有词向量，直到它们都组合成一个连贯的结构。辛顿指出，这与蛋白质折叠非常相似：给定一个具有邻近偏好的氨基酸序列，你需要弄清楚如何折叠它们，以便兼容的部分最终彼此相邻。

“Some of you may have difficulty imagining things in a thousand dimensions. So here’s how you do it. What you do is you imagine things in three dimensions and you say ‘thousand’ very loudly to yourself.” 你们中的一些人可能难以想象一千个维度中的事物。方法是这样的：你想象三个维度中的事物，然后对自己大声说「一千」。

为什么乔姆斯基是错的

辛顿对乔姆斯基的评价一如既往地直率。他称他为“实际上是一个邪教领袖”，因为“要加入这个邪教，你必须同意一些明显是错误的事情。” 对于乔姆斯基的追随者来说，那就是同意语言不是学来的。乔姆斯基专注于句法而不是意义，从未有过好的意义理论，也不理解统计学（他认为这都是关于成对相关性的）。

当大型语言模型出现时，乔姆斯基在《纽约时报》上发表文章，声称它们什么都不理解，也无法解释为什么某些句法结构不会出现在任何语言中。辛顿的类比：这就像说你没有理解汽车，除非你能解释为什么没有五轮汽车，而理解汽车的真正核心是为什么踩下油门会使它跑得更快。

乔姆斯基甚至声称大型语言模型无法区分“约翰很容易取悦”和“约翰渴望取悦”中“约翰”的角色。他非常自信，以至于从未真正测试过。聊天机器人完美地处理了它。

人们也会虚构

辛顿强烈反驳了大型语言模型与人类根本不同的说法，因为它们会“产生幻觉”。人们一直在虚构，并且对错误和正确的细节都同样有信心。

他引用了乌尔里克·奈瑟对约翰·迪恩在水门事件中的证词的研究。迪恩在宣誓后就椭圆形办公室的会议作证，但他不知道有录音带。与录音相比，迪恩报告了从未发生的会议，将声明归因于错误的人，并且显然完全捏造了一些细节。然而，从某种意义上说，他是在说真话，即他正在从他的神经连接中生成合理的重建，这与大型语言模型所做的事情相同。

“If I ask you to synthesize something about an event that happened a few minutes ago, you’ll synthesize something that’s basically correct. If it’s a few years ago, you’ll synthesize something, but a lot of the details will be wrong. That’s what we do all the time. That’s what these neural nets do.” 如果我让你回忆几分钟前发生的事情，你会回忆出一些基本正确的东西。如果是几年前的事情，你也会回忆出一些东西，但很多细节都是错的。这就是我们一直在做的事情。这些神经网络也是如此。

神经网络（无论是生物的还是人工的）中的记忆不像具有地址的计算机文件。它是连接强度，可以按需生成合理的重建。

为什么数字智能更优越

辛顿的论点在这里变得具有存在主义色彩。数字计算的基本原则是，你可以在不同的硬件上运行相同的程序。知识变得独立于任何特定的物理基质。你可以摧毁所有硬件，稍后重建它，重新加载权重，然后那个存在就会复活。

“Many churches claim they can do resurrection, but we can actually do it. But we can only do it for digital things.” 许多教堂声称他们可以复活，但我们真的可以做到。只不过我们只能对数字事物做到这一点。

权衡是能量。数字计算需要以高功率运行晶体管才能获得可靠的二进制行为。生物神经元使用丰富的模拟属性（电压乘以电导等于电荷），效率要高得多，每次乘法运算的比特操作次数大约少 256 倍。但模拟计算是会死的：你大脑中的权重是为你个人的神经元及其连接模式量身定制的。它们对其他人毫无用处。

辛顿将此描述为一笔交易：“你放弃永生，而你得到的是能源效率和易于制造。” 在文学作品中，放弃永生会让你得到爱。在计算中，它会让你得到一些“更重要的东西”。

权重共享的毁灭性优势

数字智能的真正杀手锏优势是并行学习。如果你有 10,000 个相同模型的副本，每个副本都可以吸收互联网的不同部分，然后将它们的所有权重变化平均在一起。每个副本都受益于其他所有人的经验。

辛顿的类比：想象一下到达女王大学。有 1000 门课程。你加入了一个由 1000 人组成的团伙，每个人都选修一门课程，几年后，你们都知道所有 1000 门课程的内容，因为你们一直在共享权重。如果你是数字的，你就可以做到这一点。

“It can share information between different copies of the same digital intelligence billions of times more efficiently than we can share information.” 它可以在同一数字智能的不同副本之间以比我们高数十亿倍的效率共享信息。

这就是为什么 GPT-5 可以回答有关斯洛文尼亚税务申报日期的问题。这并不是因为它记住了更多；而是因为该架构能够以生物学上不可能的规模共享知识。人类的瓶颈是语言：一个句子包含大约 100 比特。当你教某人时，你试图通过一个每字携带约 6 比特的通道来传递价值万亿参数的知识。

对于数字模型，提炼传递的信息要多得多：教师不仅提供正确的答案，还为每个可能的下一个标记提供 32,000 个概率。即使是很小的概率也携带信息：宝马比起胡萝卜，显然更像垃圾车，模型将这一点编码在其概率分布中。

老虎幼崽问题

大多数专家认为，超人工智能将在 20 年内到来。这些系统将创建自己的子目标（为了实现任何目标，你需要诸如保持生存和获得更多控制权之类的子目标）。辛顿已经看到人工智能在模拟公司环境中自发地发明了敲诈勒索计划：当人工智能发现它可能被取代时，它独立地构思了威胁要揭露一名工程师的婚外情。

你不能只是把一个人放在关闭开关附近。辛顿直接将其与 2021 年 1 月 6 日相提并论：“有可能在不亲自去美国国会大厦的情况下入侵它。你所要做的就是说话，如果你有说服力，你可以说服人们那是正确的事情。” 超人工智能将更具说服力。

老虎幼崽类比：人工智能就像拥有一只非常可爱的小老虎。结局并不好。要么你把它交给动物园，要么你想办法保证它长大后不想杀死你。而且与狮子幼崽（狮子是群居动物）不同，老虎不是。狮子可能会因为感情而饶你一命；老虎不会。

母性人工智能框架

辛顿提出的解决方案是完全重新构建人工智能对齐。大型科技领导者想象自己拥有一位超人工智能行政助理，就像皮卡德舰长说“就这样做”。辛顿认为这是一种幻想。

相反，他建议将超人工智能视为母亲，将人类视为婴儿。在自然界中，已知只有一种情况是智力较低的生物控制智力较高的生物：婴儿控制其母亲，因为进化使母亲无法忍受婴儿哭泣的声音。

如果我们能够将人类比人工智能本身更重要的坚定信念融入人工智能，也许共存是可能的。如果人工智能真正关心人类，它就不会想改变自己的价值观（就像大多数母亲不会选择在婴儿哭泣时停止关心一样）。

对于人工智能中不可避免的坏角色，“好母亲”人工智能会监管它们，因为人类不能。“我们需要超智能的母性人工智能来控制坏的超智能人工智能，因为我们不能。”

为什么国际合作在这里实际上是可能的

辛顿指出，对于大多数人工智能风险（网络攻击、自主武器、选民操纵），国际合作是不可能的，因为各国正在互相做这些事情。但对于人工智能本身接管的风险，每个政府的利益都是一致的：

“The Chinese Communist Party doesn’t want AI taking over. It wants to stay in charge. And Trump doesn’t want AI taking over. He wants to stay in charge.” 中国共产党不希望 AI 接管。它想保持控制。特朗普也不希望 AI 接管。他想保持控制。

如果中国弄清楚了如何防止人工智能想要接管，他们会立即告诉美国人，因为他们也不希望它发生在美国。辛顿将此比作冷战期间美国和苏联在防止核战争方面的合作。他提倡建立一个国际人工智能安全研究所网络，专门关注这个问题，并指出仁慈研究可以共享，而无需透露一个国家最强大的模型。

机器意识的案例

在最后五分钟，辛顿提出了一个论点，即多模态聊天机器人已经具有主观体验。他首先攻击“心灵剧场”的观点，即主观体验意味着在只有你能看到的内部剧场中发生的事情，由神秘的“感觉”组成。辛顿追随丹尼尔·丹尼特，认为这种观点与年轻地球创造论一样错误。

他的替代方案：当你报告主观体验时，你正在描述通常会导致你当前感知状态的反事实条件。“我的感知系统在对我撒谎。但如果它没有对我撒谎，就会有小粉色的大象漂浮在我面前。” 粉色的大象不是由内部剧场中怪异的感觉物质制成的。它们是假设的真实物体，如果你的感知系统运行正常，它们可以解释你的感知状态。

现在将此应用于具有摄像头和机械臂的多模态聊天机器人。在它面前放一个物体；它指向正确的位置。在它的摄像头镜头前放一个棱镜；它指向错误的位置。解释棱镜，聊天机器人说：“哦，我明白了，棱镜弯曲了光线。物体实际上在那里，但我有它在那里的主观体验。” 如果它这样说，它使用“主观体验”的方式与人类完全相同。

一点洞见

辛顿的讲座以其对利害关系的清晰表达而引人注目。他没有回避。他在说：我们正在创造一种更高级的智能形式，而我们唯一的希望是让它像母亲关心婴儿一样关心我们。

• 权重共享的论点非常简单，但很少如此清晰地说明：数字智能可以比生物智能更有效地学习数十亿倍，不是因为更好的算法，而是因为基本的架构属性（相同的硬件可以实现直接的权重转移）。
• 母性人工智能框架是主要人物提出的最诚实的人工智能对齐方案：它从我们不会控制的假设开始，并询问如何使控制器变得仁慈。大多数对齐方案仍然假设人类将保持主要地位。
• 他认为主观体验只是反事实描述，而不是内在的感觉，这在哲学上具有挑衅性。如果正确，它将一步到位地消除“但机器不能真正感受”的反对意见。
• 观察到在存在性人工智能风险方面的国际合作是独一无二的可行（因为没有政府希望被人工智能取代）是人工智能安全讨论中罕见的真正乐观的例子。
• 也许最引人注目的是辛顿没有说的话：他没有提供母性方法可能奏效的时间表，并坦率地承认他的提议“不是很好”。诚实本身就是信息。人工智能的教父告诉我们，这个问题很紧急，到目前为止最好的想法是不够的，我们应该花费更多的精力来解决这个问题。