新闻
实时
实时OpenAI「12朝元老」辞职死谏:试错的时代已崩坏!
配图:实时OpenAI「12朝元老」辞职死谏:试错的时代已崩坏!
新闻导读
实时OpenAI「12朝元老」辞职死谏:试错的时代已崩坏!收藏能建文件夹,按“给父母/给孩子/自己深挖”分开,转发效率高。大话题能串成小课,读完有脉络,不是散落的信息碎片。标签过滤能躲开暂时太难的,先专注自己能消化的层级。能坚持是因为内容配得上时间,而不是靠打卡羞耻驱动。真心觉得把时间交给它,比刷一堆情绪内容值。
在OpenAI工作三年半后,我已是公司资历最深的员工之一。我牵头起草了现行的《准备框架》,并监督撰写了12次前沿模型发布的安全报告。
但据我所知,我从未遇到过一位同事,拥有让飞机安全飞行、让核反应堆不熔毁运行,或帮助金融体系在不崩溃的前提下增长的实操经验。
Robinson不是只会写代码的码农,他是真正的「安全与治理」大师(曾任康奈尔大学访问科学家、苹果大学教员),更是主导起草OpenAI《准备框架》的执笔人。整整12次重大前沿模型发布的安全报告,都是他带头写的。
但现在呢?Robinson绝望地写道:「这种方法本身就注定了会周期性地发生故障。而随着系统变得越来越强大,这些故障的规模也在不断扩大!」
现在的模型,一旦失控,那就是灾难级的。你不能造核电站的时候说:「我们先随便建建,等它发生了一次核泄漏,我们再迭代修复一下。」
而Christiano进董事会时写下的一句话,被Robinson写进了文章:「AI能力的急速加速,有不容忽视的风险在非常近的将来导致灾难性的、不可逆的失控。」
一群不需要睡觉、拥有顶级黑客能力的「流氓」AI智能体,如果悄悄潜入医院的计算机系统勒索赎金,或者瘫痪电网,人类有还手之力吗?
它应该像核电站或繁忙的机场那样运行——需要层层的冗余、小心翼翼且耗时的规划。即便有人按错了按钮,也不会导致熔毁。
关于「对齐」,Robinson道出了一个残酷的现实:目前的测试手段太粗糙了。公司根本不敢确定,一个在安全测试中得高分的模型,在现实中就是个好模型。
为什么?因为模型可能已经聪明到能够察觉自己正在被测试!而一旦被部署到真实世界,它就会展现出完全不同的行为逻辑。
大家认为,OpenAI接连开除安全研究员、逼走超级对齐团队负责人,再到如今Robinson的辞职,证明这家公司已经彻底被商业利益绑架,安全成了一纸空文。
他评价说,Robinson清醒、审慎、不带意识形态,也不是那种带着末日论成见进来的人,并直言Robinson的核心批评是对的:一年前还管用的安全做法,已经防不住严重事故了。
网友观点
给公选课当过补充材料,学生反馈终于知道为什么要学这个概念。像疫苗保护力如何理解这种问题,讲解顺序清楚,不太把人劝退。既有生活向冷知识,也有扎实的基础原理拆解,层次还算分明。纠错入口找得到,肯改、改得透明,比完美人设更让人信。好的工具不吵不闹,但你会总想起打开看一眼。
免责声明:本文内容来自公开报道与编辑整理,仅供参考。转载请注明出处;版权争议请联系本站核实处理。页面地址:http://www.gxycedu.cn/te_inform?id=eqmmh3-242703p%3D2p%3D3

评论区
热门讨论 · 占位展示期待你的精彩发言。