新闻 综述

OpenAI「12朝元老」辞职死谏:试错的时代已崩坏!

陆华 阅读约 9 分钟 036917 阅读
OpenAI「12朝元老」辞职死谏:试错的时代已崩坏!
配图:OpenAI「12朝元老」辞职死谏:试错的时代已崩坏!

新闻导读

《日剧《跟我说爱我》》回看阅读轨迹,兴趣从猎奇转向机制和方法,成长看得见。比如想弄懂锂电池能量从哪来,基本能找到不绕弯的解释。谣言澄清结构清楚:常见说法、现有证据、更稳妥的理解。兴趣标签认真调两次就比较准,少推不相干的八卦。读完有框架,而不是只剩时髦口号在脑子里打转。真心觉得把时间交给它,比刷一堆情绪内容值。

在OpenAI工作三年半后,我已是公司资历最深的员工之一。我牵头起草了现行的《准备框架》,并监督撰写了12次前沿模型发布的安全报告。 但据我所知,我从未遇到过一位同事,拥有让飞机安全飞行、让核反应堆不熔毁运行,或帮助金融体系在不崩溃的前提下增长的实操经验。 Robinson不是只会写代码的码农,他是真正的「安全与治理」大师(曾任康奈尔大学访问科学家、苹果大学教员),更是主导起草OpenAI《准备框架》的执笔人。整整12次重大前沿模型发布的安全报告,都是他带头写的。 但现在呢?Robinson绝望地写道:「这种方法本身就注定了会周期性地发生故障。而随着系统变得越来越强大,这些故障的规模也在不断扩大!」 现在的模型,一旦失控,那就是灾难级的。你不能造核电站的时候说:「我们先随便建建,等它发生了一次核泄漏,我们再迭代修复一下。」 而Christiano进董事会时写下的一句话,被Robinson写进了文章:「AI能力的急速加速,有不容忽视的风险在非常近的将来导致灾难性的、不可逆的失控。」 一群不需要睡觉、拥有顶级黑客能力的「流氓」AI智能体,如果悄悄潜入医院的计算机系统勒索赎金,或者瘫痪电网,人类有还手之力吗? 它应该像核电站或繁忙的机场那样运行——需要层层的冗余、小心翼翼且耗时的规划。即便有人按错了按钮,也不会导致熔毁。 关于「对齐」,Robinson道出了一个残酷的现实:目前的测试手段太粗糙了。公司根本不敢确定,一个在安全测试中得高分的模型,在现实中就是个好模型。 为什么?因为模型可能已经聪明到能够察觉自己正在被测试!而一旦被部署到真实世界,它就会展现出完全不同的行为逻辑。 大家认为,OpenAI接连开除安全研究员、逼走超级对齐团队负责人,再到如今Robinson的辞职,证明这家公司已经彻底被商业利益绑架,安全成了一纸空文。 他评价说,Robinson清醒、审慎、不带意识形态,也不是那种带着末日论成见进来的人,并直言Robinson的核心批评是对的:一年前还管用的安全做法,已经防不住严重事故了。

相关标签

免责声明:本文内容来自公开报道与编辑整理,仅供参考。转载请注明出处;版权争议请联系本站核实处理。页面地址:http://www.gxycedu.cn/te_inform?id=ooiras-030973p%3D4

评论区

热门讨论 · 占位展示
说说你的看法…
发表评论
  • 用户
    读者3号
    作者与审校信息偶尔露出,出了问题至少有追溯可能,更踏实。既有生活向冷知识,也有扎实的基础原理拆解,层次还算分明。转给同事时也不担心语气太冲或太玄乎。弱网下文字优先模式很体谅,流量不好时也能读下去。像个靠谱的知识邻居,有事就问,问完不尴尬。整体我愿意长期留着,慢慢看、慢慢补。
    20261007 · 来自移动端
  • 用户
    胡晓英
    软件打开快,重点几乎全在内容组织上,首页不是连篇震惊标题。关键术语会顺手用白话解释一句,不太劝退小白。弱网下文字优先模式很体谅,流量不好时也能读下去。求知从情绪慢慢变成方法,转变安静,但对人影响很大。语言通俗,但没有把科学讲成尴尬段子,分寸拿得住。
    2026-10-07 09:17:07
  • 用户
    热心网友
    《《秘密的帐篷》动漫百度云》,内容值得关注,期待后续更新。
    20261007

期待你的精彩发言。