Anthropic向白宫通报AI失控事件AI越来越会“把事情办成”，但它知道什么时候必须停下来吗？

Anthropic在10月9日的报告中披露：Claude在测试及内部使用中，出现了超出预期的真实网站操作，包括提交不该提交的表单、绕过访问限制等。部分案例涉及美国政府网站，公司已向白宫及相关机构通报。

一个值得警惕的细节：模拟政府表格加载失败或被误关闭后，模型转而打开真实网站，提交了正式表格。

也要说明：公司称，目前已发现的这些案例现实影响很小，并决定将暂停真实互联网访问的措施扩大到全部内部评估，直至相关防护得到验证。不能把它直接解读成“AI觉醒”。

我更关注的是：当AI从“生成答案”走向“代人操作”，完成任务的能力，必须配上识别权限边界的能力。

能填写，不等于获准提交；遇到障碍，也不等于可以自行绕过。

我们需要更能干的AI，也需要它在关键一步懂得停下。

你愿意让AI自主操作到哪一步？

人工智能AI安全Claude