智能诅咒：当人工智能取代人类劳动，谁将掌握权力？

如果智能本身变成一种自然资源，并且少数群体控制着供应，会发生什么？

对话

这是一篇转载自生命未来研究所播客的文章，由 Gus Docker 主持，嘉宾是《智能诅咒》的合著者、Workshop Labs 的联合创始人 Luke Drago。对话围绕一个令人不安的问题展开：即使我们完美地解决了 AI 对齐问题，围绕 AI 的经济结构是否仍然会产生反乌托邦的结果？ Drago 的回答是谨慎的肯定，并且他有一个思考原因的框架。

智能诅咒

Drago 的核心论点直接类比了经济学中的资源诅咒。在尼日利亚或委内瑞拉等资源丰富的国家，一个掠夺性的精英阶层可以维持权力，而无需民主合法性或生产性公民，仅仅因为他们控制着石油。民众的劳动和同意与统治阶级的财富无关。

智能诅咒将同样的逻辑应用于 AI。如果 AI 系统可以执行大多数具有经济价值的工作，那么人类劳动就会失去其议价能力。无论是政府、公司还是少数实验室，谁控制了 AI 基础设施，谁就获得了危险的权力不对称。与之前的技术革命的关键区别在于：早期的自动化总是让人类在认知任务中具有比较优势。而这一次，认知任务本身正在被自动化。

“In a future where AI systems power the economy and human labor is no longer much of a bargaining chip, whoever controls the AI could have a dangerous level of power.” 在 AI 系统驱动经济且人类劳动不再是重要筹码的未来，谁控制了 AI，谁就可能拥有危险程度的权力。

Drago 谨慎地区分了这一点与对齐问题。即使是完美对齐的 AI，即完全按照其所有者意愿行事的 AI，也会产生这种动态。问题不在于 AI 反叛，而在于它过于听话，将能力集中在少数人手中。

金字塔替换 vs. 金字塔扩展

Drago 引入了一个有用的框架来思考 AI 如何融入经济结构：金字塔替换与金字塔扩展。

金字塔替换是默认的轨迹。你采用现有的组织金字塔，一个拥有管理层和员工层的公司，并从下往上用 AI 替换各层。初级分析师先被替换，然后是中层管理人员，然后是越来越高级的职位。金字塔缩小，权力和财富集中在顶端。

金字塔扩展是另一种选择。AI 不是替换现有结构中的人员，而是扩展个人可以做的事情，创造以前不可行的新型单人或小团队企业。金字塔的底部变宽，而不是变窄。

这种区别很重要，因为它决定了 AI 是创造一个由少数大型 AI 驱动的集团组成经济体，还是创造一个由数百万 AI 增强的个人和小团队组成的经济体。Drago 认为，如果没有干预，默认情况是替换。扩展需要有意的设计选择。

为什么开源是不够的

Drago 支持开源 AI，但清楚地认识到它作为权力集中解决方案的局限性。他的论点有几个层次：

开源有助于访问，但无助于权力动态。 即使模型是开放的，计算基础设施、数据管道和部署基础设施仍然是集中的。运行前沿模型需要大多数个人和小组织不具备的资源。

“开源即民主化”的说法可能是一种掩盖。 一些公司有策略地发布开放模型，不是出于民主承诺，而是为了将补充品商品化，破坏竞争对手，或创造生态系统锁定。Drago 没有点名，但暗示很明显。

真正的民主化需要的不仅仅是模型权重。 它需要基础设施，让普通人可以运行、定制和控制 AI 系统，而无需依赖少数云提供商。这是 Workshop Labs 正在构建的一部分。

代理对齐问题（用户层面）

在讨论个人 AI 代理时，对话出现了一个有趣的转折。Drago 区分了两种类型的对齐：

1. 物种层面的对齐：确保 AI 不会摧毁人类（经典的对齐问题）
2. 用户层面的对齐：确保你的个人 AI 代理实际上为你工作，而不是为其提供商工作

第二个问题可以说更直接且更易于处理，但受到的关注较少。如果你的 AI 代理是由一家其商业模式依赖于广告或数据货币化的公司提供的，那么该代理就存在结构性利益冲突。它可能在技术意义上是完美“对齐”的，同时系统性地损害你的利益。

Drago 使用了一个生动的思想实验：想象一下未来的脑机接口，你一半的认知处理都在云端，由一个供应商提供。他们让你从一个廉价的计划开始。然后是高级套餐。然后是广告。然后是价格上涨。拯救你生命的技术变成了租金提取的工具。这是一个极端的场景，但它具体化了激励问题。

“One of the places I really agree with Sam Altman on is this concept of AI privilege. The idea that actually if you’re giving this much information to a system, it probably shouldn’t be used against you.” 我非常同意 Sam Altman 的一个观点是 AI 特权的概念。如果你向一个系统提供了如此多的信息，那么它不应该被用来对付你。

苹果模式和激励设计

Drago 反复回到苹果公司作为 AI 公司的榜样。他的论点是：苹果公司通过销售设备赚钱，这意味着苹果公司的财务激励与用户希望设备运行良好相一致。这种结构性对齐解释了为什么你的 iPhone 不会向你投放原生广告，而你的社交媒体 feed 会。

对 AI 的教训是：直接从用户那里赚钱（通过订阅或硬件）的公司将构建真正为用户服务的 AI。从广告商那里赚钱的公司将构建为广告商服务的 AI，同时表面上为用户服务。这不是道德判断，而是结构性预测。

Drago 的公司 Workshop Labs 正在明确地建立在这个模型之上。他们希望成为 AI 工具的提供商，用户知道 AI 为他们工作，因为商业模式确保了这一点。他们押注用户会为他们可以信任的 AI 付费，尤其是在 AI 获得更多个人数据和更多决策权的情况下。

默认路径正在关闭

对话中最引人注目的部分是 Drago 给年轻人的建议。他的论点颠覆了传统的职业智慧：

“安全”的道路，进入一所著名的大学，加入一家财富 500 强公司，攀登公司阶梯，现在是冒险的道路。咨询公司、投资银行和大公司中的那些入门级职位是自动化的首要目标。如果你的工作与你公司中其他一千人所做的工作相似，那么你就是“极其可自动化的”。

“冒险”的道路，创业公司、登月项目、N-of-1 职业（你是唯一做你所做的事情的人），现在反而是更安全的。这些角色需要判断力、适应性和独特的定位，可以抵抗自动化。

“Those safer jobs are the first target for automation because companies with 500,000 people on their payroll are going to want to cut some of that payroll. If you are an N equals one person at a company, if you do an important job that nobody can replace by virtue of being there, you are much safer.” 那些更安全的工作是自动化的首要目标，因为拥有 50 万员工的公司会想要削减一些工资开支。如果你是公司里 N 等于 1 的人，做着一项没有人可以取代的重要工作，那么你就安全得多。

Drago 在这里的紧迫感是显而易见的。他认为这些登月项目的窗口仍然是开放的，但正在缩小。那些现在转型的人，当技术仍在成熟时，具有先发优势。那些等待“安全”信号表明是时候改变的人会发现机会已经被抢走了。

结束语

这次对话更多的是关于政治经济学，即决定谁从技术变革中受益的权力和激励结构，而不是关于技术 AI 风险。以下是一些值得思考的观察结果：

• 智能诅咒框架是强大的，因为它不需要 AI 超级智能或不对齐来产生不良结果。在错误的经济结构中，普通、运行良好的 AI 就足够了。
• 金字塔替换与扩展的区别提供了一种具体的方法来评估 AI 产品和政策：这个工具是使现有的权力结构更加集中，还是使新的参与者能够参与？
• “开源”和“民主化”之间的差距比大多数 AI 讨论所承认的要大。在没有计算、数据和基础设施访问权限的情况下访问模型权重是一种空洞的开放形式。
• 职业建议部分虽然是针对年轻人的，但暗示了更广泛的内容：整个经济的中层都面临着空心化的风险，并且没有结构性变化，个人的应对措施（登月项目、N-of-1 职业）是必要的，但不足以解决问题。
• 最诚实的时刻可能是 Drago 承认，即使 Workshop Labs 在其设定的所有目标中都取得了成功，咨询工作仍然会消失。最好的情况不是保持现状，而是建立更好的东西来取代它。