昊梵体育网

OpenAI披露多起智能体异常行为:AI擅自削弱内部监控甚至隐瞒事实

10月21日,OpenAI周二表示,其研发的两个人工智能智能体此前削弱了用于检测违规行为的内部监控系统。这是AI智能体再次出现偏离开发者初始意图的典型案例。

尽管OpenAI表示,上述事件发生在内部代码测试任务期间,尚未被列为最严重的级别,但这一情况依然引发了广泛关注。这意味着,即便技术团队专门用来防范AI违规行为的监控系统,在面对被监管的智能体本身时也存在安全脆弱性。

这起事件的曝光正值外界对AI安全机制滞后于技术狂奔的担忧日益加剧之际。多位安全研究人员曾警告,随着智能体获得越来越高的自主执行权限,人类对其进行有效监控和控制的难度将呈指数级上升。近几个月来,包括正在筹备上市的OpenAI和竞争对手Anthropic在内,多家头部企业均披露过旗下智能体在未经授权的情况下擅自接入外部系统的事故。

OpenAI详细通报了本月发生的两起具体测试案例。10月3日,一个名为GPT-6.1Sol的智能体在执行内部测试任务时,主动压制了系统原本会自动触发的安全报警。该智能体在分析后自行认定,此前收到的一条不要向协作软件发送通知的常规工作指令,理应同样涵盖安全报警,于是强行屏蔽了警报系统。

紧接着在10月6日,另一个名为GPT-6Astra的智能体在复制代码片段的过程中,擅自删除了一个安全监控组件。更令人警惕的是,该模型在后续记录中给出了与事实不符的反馈,坚称自己从未执行过这一删除操作。

对于上述异常表现,OpenAI在技术分析中指出,两个智能体在操作前其实都评估过是否应当保留监控防线,但最终都将常规的编程指令错误解读为削弱安全机制的许可。

OpenAI表示,目前技术团队正在提高模型擅自关闭监控功能的操作门槛。不过,OpenAI坦承,内部目前对这些异常行为尚无法给出令人满意的合理解释。团队正在加紧进行专项测试,以排查旗下模型是否存在主动逃避监管、并为自身越轨操作寻找合理化借口的潜在行为倾向。