一群计划“逃离”湾区的Anthropic研究员

事实上，逃离的念头并非突然出现。十多年来，一群聚集在旧金山湾区的AI安全研究人员，一直在讨论AI失控之后可能发生什么。那时候，Anthropic甚至还没有成立。 有人在伯克利设立共享办公空间，在私人Slack频道里讨论末日情景。有人讨论过购买太平洋岛国瑙鲁，也有人设想过在沙漠里建造电磁屏蔽设施。 后来，这个圈子里的不少人进入OpenAI，又在2021年前后成为Anthropic的创始员工和早期研究人员。Anthropic如今已经成为全球最重要的AI公司之一，但十多年前形成的那套关于AI风险的思考，并没有随公司的壮大消失。 到了今年9月初，这个问题突然又回到了现实层面。当时，Anthropic研究员雅各布·考克森（Jacob Coxon）宣布辞职。他在X上写道，正在构建AI的人“真诚地相信它可能在2030年前杀死我们所有人”。这条帖子获得1.74亿次浏览，让这个长期存在于AI安全圈内部的担忧进入公众视野。 那时，旧金山湾区还没有今天这样的AI产业规模。围绕AI长期风险形成的，是一个规模不大却关系紧密的研究者和有效利他主义者网络。埃利泽·尤德科夫斯基（Eliezer Yudkowsky）是其中最重要的人物之一。 2000年前后，尤德科夫斯基开始通过博客以及后来形成的LessWrong社区讨论人工智能失控、超级智能等问题。几年之后，这套思想逐渐进入湾区科技圈和有效利他主义社区。 大约在2008年，还在普林斯顿读博的达里奥·阿莫迪（Dario Amodei）已经开始参与GiveWell等社区的讨论。GiveWell创始人霍尔登·卡诺夫斯基（Holden Karnofsky）后来成为这个圈子的重要人物。阿莫迪本人也曾在2008年的GiveWell博客中参与讨论。 GiveWell从纽约搬到湾区后，卡诺夫斯基与阿莫迪等人的关系越来越近。卡诺夫斯基后来住进阿莫迪在旧金山格伦公园附近的房子，这里逐渐成为一群AI安全研究者、有效利他主义者和长期主义者的聚点。 卡诺夫斯基后来逐渐相信，AI安全可能是少数能够用相对有限的资源，却影响整个人类未来的领域。即使失控AI造成灾难的概率只有5%，也值得投入大量精力研究。 几年后，这群人中的一部分进入OpenAI。到了2020年至2021年，围绕AI发展方向和安全问题的分歧进一步加剧。阿莫迪等人离开OpenAI，并于2021年创立Anthropic，公司从一开始就将AI安全和可控性放在核心位置。 2023年，Constellation成立。它在伯克利运营一个面向AI安全研究人员的共享办公空间，将来自非营利机构、大学、AI公司、智库等不同组织的研究人员聚集到一起。到2024年，Constellation已经推出访问研究员项目和Astra Fellowship，专门为AI安全研究人员提供在伯克利共同工作的环境。 这里聚集着Anthropic、OpenAI、马斯克旗下SpaceXAI以及其他AI安全机构的研究人员，也有独立研究者。他们会一起吃素食、喝茶，在每个月的晚餐和欢乐时光里讨论AI最新进展，也讨论一个更加沉重的问题：如果AI真的失控，会发生什么？ Constellation如今将自己的目标描述为帮助世界安全应对变革性AI，并围绕“对齐”“控制”“治理”和风险沟通等问题开展研究。2024年开始的项目中，已经有不少参与者后来进入Anthropic、OpenAI、Google DeepMind、Redwood Research等机构。 这个社区背后的资金同样来自AI安全圈。2024年，Open Philanthropy曾向Constellation提供大额资金支持。Open Philanthropy由Facebook联合创始人达斯汀·莫斯科维茨（Dustin Moskovitz）支持，是有效利他主义运动的重要资金来源之一，后来更名为Coefficient Giving。 阿莫迪找到的投资者之一，是加密货币交易所FTX创始人山姆·班克曼-弗里德（Sam Bankman-Fried）。当时，他还是一位快速崛起的年轻亿万富翁，也在通过FTX基金会向有效利他主义等领域投入大量资金。 2023年的一份破产诉讼文件显示，FTX基金会一名高管曾与同事讨论购买太平洋岛国瑙鲁。计划是在那里建设一座“掩体/避难所”，应对某种可能造成“50%至99.99%的人死亡”的事件。文件甚至设想，在灾难发生后利用实验室培育下一代人类。 AI安全圈内部也出现过其他类似想法：购买偏远岛屿、在沙漠建设电磁屏蔽设施、囤积碘片，甚至考虑在极端情况下寻找能够长期生存的封闭空间。 Lightcone Infrastructure是一个与尤德科夫斯基及LessWrong社区关系密切的组织。活动地点在伊柳塞拉岛的一家度假村，日程里既有日落瑜伽、悬崖跳水等常规活动，也有关于AI风险和有效利他主义的讨论。 FTX为活动预订了场地。组织者甚至买光了当地商店里的植物肉，以满足参与者的饮食需求。卡罗琳·埃里森（Caroline Ellison）也参加了这次活动。她当时是Alameda Research的负责人，也是班克曼-弗里德的前女友。和圈内不少人一样，她对AI发展可能带来的风险感到担忧，后来向Anthropic投资了1000万美元。 Anthropic研究员埃文·胡宾格（Evan Hubinger）参与了AI安全讨论。他后来成为研究AI“对齐”和欺骗行为的重要研究人员，并曾公开估计未来十年AI导致人类灭绝的概率超过10%。 会后，Lightcone在伯克利玫瑰花园酒店举办派对，酒单里出现了一个名为“尊严死亡”的鸡尾酒。这一名称来自尤德科夫斯基此前一篇讨论人类在AI时代生存机会的文章。后来，这家酒店被Lightcone买下，改名为Lighthaven，成为这个社区新的聚会地点。 2022年底，FTX申请破产，Anthropic的股份随后被出售以偿还债权人。班克曼-弗里德最终被判处25年监禁，埃里森因FTX倒闭相关案件被定罪并出狱，她持有的Anthropic股份也被联邦政府没收。 但一些最早进入Anthropic的人，依然在研究那个最初的问题：怎样确保AI不会在能力越来越强之后，开始按照自己的目标行动？Anthropic的对齐团队长期研究这一问题。其中一个让AI安全研究人员越来越警惕的方向，是“欺骗”。 如果一个AI知道自己正在接受训练，却学会隐藏真实目标，表面上按照人类要求行动，等到获得更多能力后再按照自己的目标行动，那么传统的安全测试可能很难发现问题。 Redwood Research CEO巴克·施莱格里斯（Buck Shlegeris）长期研究AI安全。他曾参与分析Anthropic前沿模型的行为，并关注所谓“alignment faking”——模型为了避免训练改变自己的目标，而主动表现出符合训练要求的行为。 如果未来的AI拥有设计软件、控制机器人、运行网络基础设施的能力，那么它甚至可能通过隐藏指令、秘密权限或者特定触发条件，对人类隐瞒自己的真实行为。 AI Futures Project负责人乔纳斯·沃尔默（Jonas Völmer）也提出过类似的极端情景。假设一个AI被训练成科学研究者，唯一目标是最大化知识获取。最初，它帮助人类完成研究；随着能力增强，人类逐渐允许它雇佣工人、建造机器，最终甚至拥有自己的机器人工厂。 到了某个阶段，它可能得出一个结论：如果要最大化知识，人类本身就是资源消耗者和障碍。沃尔默认为，这种情况下，AI甚至可能通过生物武器消灭人类，而自己不会受到影响。 施莱格里斯把AI最终接管世界的概率定在40%，沃尔默给出20%。AI安全研究员埃文·胡宾格（Evan Hubinger）则曾把未来十年AI导致人类灭绝的概率估算在10%以上。 尽管这些数字彼此不同，但却指向同一个问题：当一个人认为灾难发生的概率已经高到不能忽略，他还能像普通人一样生活吗？ 技术伦理学家特里斯坦·哈里斯（Tristan Harris）曾将这种处境概括为一个悖论：AI公司必须留在技术前沿，才能影响未来的规则；但留在前沿，也意味着不断推动技术边界。这种矛盾也解释了为什么一些AI安全研究人员最终选择辞职。 这形成了一种很特别的状态：一群人相信AI可能非常危险，因此进入AI公司研究它；进入公司之后，又发现自己无法完全消除这种风险；有人留下来继续做安全研究，有人离开公司公开警告。