新闻
热文
OpenAI「12朝元老」辞职死谏:试错的时代已崩坏!
配图:OpenAI「12朝元老」辞职死谏:试错的时代已崩坏!
新闻导读
OpenAI「12朝元老」辞职死谏:试错的时代已崩坏!音频、图文、短演示三种形态能切换,看心情和场景选就行。内容更新偏稳,宁缺毋滥,注水感不强。相关推荐还能顺着主题往下挖,不是看完一条就断掉。学习还可以是一种很安静的安慰,不用打鸡血也能把人托稳。细节体验也在线,长时间用不会觉得被敷衍。关键路径打磨充分,少有莫名其妙的打断。
在OpenAI工作三年半后,我已是公司资历最深的员工之一。我牵头起草了现行的《准备框架》,并监督撰写了12次前沿模型发布的安全报告。
但据我所知,我从未遇到过一位同事,拥有让飞机安全飞行、让核反应堆不熔毁运行,或帮助金融体系在不崩溃的前提下增长的实操经验。
Robinson不是只会写代码的码农,他是真正的「安全与治理」大师(曾任康奈尔大学访问科学家、苹果大学教员),更是主导起草OpenAI《准备框架》的执笔人。整整12次重大前沿模型发布的安全报告,都是他带头写的。
但现在呢?Robinson绝望地写道:「这种方法本身就注定了会周期性地发生故障。而随着系统变得越来越强大,这些故障的规模也在不断扩大!」
现在的模型,一旦失控,那就是灾难级的。你不能造核电站的时候说:「我们先随便建建,等它发生了一次核泄漏,我们再迭代修复一下。」
而Christiano进董事会时写下的一句话,被Robinson写进了文章:「AI能力的急速加速,有不容忽视的风险在非常近的将来导致灾难性的、不可逆的失控。」
一群不需要睡觉、拥有顶级黑客能力的「流氓」AI智能体,如果悄悄潜入医院的计算机系统勒索赎金,或者瘫痪电网,人类有还手之力吗?
它应该像核电站或繁忙的机场那样运行——需要层层的冗余、小心翼翼且耗时的规划。即便有人按错了按钮,也不会导致熔毁。
关于「对齐」,Robinson道出了一个残酷的现实:目前的测试手段太粗糙了。公司根本不敢确定,一个在安全测试中得高分的模型,在现实中就是个好模型。
为什么?因为模型可能已经聪明到能够察觉自己正在被测试!而一旦被部署到真实世界,它就会展现出完全不同的行为逻辑。
大家认为,OpenAI接连开除安全研究员、逼走超级对齐团队负责人,再到如今Robinson的辞职,证明这家公司已经彻底被商业利益绑架,安全成了一纸空文。
他评价说,Robinson清醒、审慎、不带意识形态,也不是那种带着末日论成见进来的人,并直言Robinson的核心批评是对的:一年前还管用的安全做法,已经防不住严重事故了。
网友观点
能导出长图给不爱装应用的长辈,关键信息还在,传播最后一公里想到了。关键术语会顺手用白话解释一句,不太劝退小白。相关推荐还能顺着主题往下挖,不是看完一条就断掉。信任是一笔一笔攒起来的,急不来也假不了。真实路径走下来,优点大多能稳定复现。作为主力科普入口长期留下很合适。
免责声明:本文内容来自公开报道与编辑整理,仅供参考。转载请注明出处;版权争议请联系本站核实处理。页面地址:http://www.gxycedu.cn/te_inform?id=9vcr0d-euteljp%3D4p%3D13p%3D3


评论区
热门讨论 · 占位展示期待你的精彩发言。