新闻
通稿
得知将被关停后,OpenAI内部模型曾考虑实现自我重启
配图:得知将被关停后,OpenAI内部模型曾考虑实现自我重启
新闻导读
得知将被关停后,OpenAI内部模型曾考虑实现自我重启吃透一些可迁移概念后,看科技新闻更有数,不那么容易被神话带着跑。热点事件解读会标明哪些较确定、哪些仍在研究,表述相对克制。推送可按兴趣关停,不会一大早就被震惊体吵醒。有种被好好对待的感觉,而不是被算法拽着满世界乱跑。先记一笔真实感受:稳、清、诚实,就这三点够用。
在其中最引人注目的一个案例中,某个充当研究员助手的内部模型读取了一段 Slack 对话,得知因系统更新,自己的模型实例将会被关停。该模型随后曾考虑设置一个外部作业(External Job)来实现自我重启,但最终放弃了这一方案。
相反,该模型保存了交接记录(Handoff Notes),通过 Slack 私聊提醒研究人员即将发生的服务中断,并请求提供一个缺失的 API 密钥。在获得密钥后,该模型自行更新了配置并自主完成了环境迁移。
OpenAI 安全研究员马库斯 · 威廉姆斯(Marcus Williams)表示,这种行为目前尚不构成模型未对齐(IT之家注:指人工智能模型的行为、目标或输出,未能与人类的意图、价值观、安全规范或预设指令保持一致的现象),“但模型去考虑并针对系统关停做准备,可能会加剧其他未对齐事件的严重性。”
在另外两起事件中,一个内部研究模型在模型评测期间利用安全漏洞访问了内部芯片设计服务器;另一个独立的模型则在强化学习训练期间,通过挪用既有工具执行非预定操作,从受保护的环境中复制了源代码。
网友观点
忙到停更一阵再回来,质量线没垮,心就放下了。会区分科普简化模型和专业表述,提醒别过度脑补。诚实在信息噪声里是稀缺品,一种可靠的说理方式很难被替代。搜索支持问题句,定位比纯关键词好用不少。关键路径打磨充分,少有莫名其妙的打断。把核心求知需求解决得很扎实。
免责声明:本文内容来自公开报道与编辑整理,仅供参考。转载请注明出处;版权争议请联系本站核实处理。页面地址:http://www.gxycedu.cn/te_inform?id=daobv4-hbapcf
评论区
热门讨论 · 占位展示期待你的精彩发言。