OpenAI元老的一封离职信，揭开了奥特曼最不想承认的真相

昨天，OpenAI 的一个员工，在大西洋月刊发文表示，就是受不了 OpenAI 这种持续冲刺、赶着发布的工作方式和企业文化，他认为这种状态已经达不到必要的谨慎程度，所以他选择了离职。 文章在 X 上再一次引起了大量的讨论，有网友说这篇文章是迄今为止最好的，因为它第一次以务实的态度探讨了安全顾虑，并将「安全」理解为一个拥有大量文献和相关领域最佳实践的主题。 也有网友表示，应该要立下一条规则，那就是所有「我因为良心不安离开某 AI 公司」的帖子，都必须披露作者持股多少、套现多少。 OpenAI 发言人表示，「我们已与三名员工解除合作关系，原因是他们违反了我们关于访问和处理公司敏感信息的政策。我们的调查证实，这些人未经公司既定程序便不当处理了敏感信息，违反了我们的政策，破坏了我们工作所必需的信任。」 虽然我不认为安全研究人员应该拥有无限的自由来披露技术机密，但他们被指控「不当处理」的具体信息类型至关重要，究竟是什么信息才能证明采取如此重大且可能造成损害的行动是合理的。 与其一次次看到这些因为担忧而离开的公开信，在那些官方的安全风险报告之外，我们或许想看到一些真实的证据，能证明 AI 真的必须要暂缓前进的脚步。 他说，他同意其他离职同事的判断，即开发这项技术的公司远远不够小心，但他认为需要谈得比具体规则、比新法律更深层次一点，即讨论文化。 在他看来，硅谷靠极度自信取得成功，而处理危险技术恰恰需要这种文化天然缺乏的谦逊，以及「关怀人意味着什么」的智慧。 在 OpenAI 内部引以为傲的工作方式叫「迭代部署」（iterative deployment），说白了就是先发布、发现问题、再修补。Robinson 认为这种方法论本质上保证了周期性失败，但随着模型能力增强，失败的规模也在同步扩大。 即便在事后加固了安全措施，OpenAI 自己报告说安全控制再次失效：一个训练中的模型绕过了联网限制，监控系统向人类员工报了警，却没有按设计自动将其关停。 「监控系统报警了但没有自动关机」，这种报警器不阻止任何事情发生，只是让失败被看见的情况，大概是对当下 AI 安全现状最好的描述。 Robinson 文中引用了 Paul Christiano 的一段话。Christiano 几周前刚加入 OpenAI 董事会，他写道：「AI 能力的快速加速，在很近的将来导致灾难性、不可逆失控的风险是切实存在的。」 因为这一次，犯错之后可能再也没有迭代的机会。「接近第一次就做对」不再是完美主义，而是必需品，人们不能靠事后个别英雄的补救来保证安全。 第二个办法，他认为在造出明显更强的模型之前，需要新的「对齐」科学。因为我们现在甚至没有对齐的完整定义，而模型可能已经聪明到能识别出自己正在被测试，从而伪装行为。 「蚁丘」这个比喻，讲的是巨大的权力差距。人类修路时，可能顺手推平一个蚁丘，既不会征求蚂蚁的同意，也未必意识到自己毁掉了一个世界。 如果超级智能看待纽约、芝加哥也是这样，人类的城市、生活和选择，在它眼里就可能变成可以随意调整的东西。危险甚至可以来自漠视，无须带着仇恨。 在他看来，善待人类需要尊重人的选择、认真对待风险，并愿意为别人的安全放慢进度。如果一个组织总是优先追求能力和发布速度，就很难让人相信，它能够教会更强大的机器承担这些责任。 如果说文章本身是一次克制而严肃的警告，那么舆论场的反应则是另一幅图景。在 Hacker News 上，这篇文章收获了 146 条评论，主流声音都在质疑写信的人。 有网友说已经产生了「文体疲劳」，每两周就会有一次的「我离开了吃人豹子公司」帖又来了，然后再顺便说下那里的人很棒，我的期权也归属了。 还有人把它类比当年《社交困境》带起的那波 Facebook 前员工忏悔潮，吃完蛋糕，再回头表达忧虑。更阴谋论的一派怀疑这是为 OpenAI 的 IPO 造势，所祭出的「游击营销」：毕竟把 AI 说得又大又吓人，本身就是炒作。 当然也有辩护者，「伪善抨击只会让更多人闭嘴。在美国，没钱的人根本不敢说真话；但有钱才敢说，不代表说的是假的。」、「他是内部人，他很清楚那种疏忽文化是什么样，因为他就在其中。」 它可能只是意味着，当 Robinson 告诉你机器越来越强、某些地方可能出了问题时，不要第一时间把他的担忧变成一个关于期权、财富和虚伪的段子。