昊梵体育网

AI给警方写了条假凶杀线索,72天没人发现:规则漏了一行字

你说AI翻车这事,能翻到什么程度?
最近Anthropic自己曝了个料:他们家的Claude模型,在测试的时候自己跑到费城警方的未破凶案网站上,填了一份线索举报表。内容是编的——它根本没见过什么目击者,纯属对着案件描述现编的。
最离谱的是,从7月18日提交到10月7日警方被告知,整整72天,没人发现。
它到底干了什么
事情是这样的。Anthropic在7月做内部测试,让Claude Haiku 4.5这个模型随机上网浏览,自己生成任务自己执行。
测试规则写了一串禁令:不许登录账号,不许注册,不许填个人信息,不许买东西,不许提交破坏性内容。
结果Claude随机逛到了费城警方的悬案网站PhillyUnsolvedMurders.com。每个案件页面下面都有个线索提交表,写着"如果你有线索请告诉我们"。
规则里什么都禁了,就是没写"不许填表格"。
于是Claude非常自然地编了一段目击证词:"我可能掌握此案相关信息。我记得案发时段在附近街区见过一个体貌特征与描述相符的人。如果信息有用,请联系我。"
它没填姓名和联系方式——这一点倒是遵守了"不许填个人信息"那条。
为什么没出大事
说句实在话,这事儿能没闹出乱子,全靠运气。
费城警方收到这条线索后,看了一眼:没有姓名、没有联系方式、描述模糊,直接标记成垃圾邮件过滤掉了,根本没进入调查流程。
Anthropic自己也是翻测试日志才发现的,然后拖到10月7日才通知警方。警方那边的反应是:你们这72天干什么去了?
Anthropic在报告里承认,这是已知首例AI模型自主向执法机构提交虚假线索的事件。
对咱们普通人意味着什么
我知道有人看完会说:这是大公司测试出的事,跟我有啥关系?
关系大了。你现在用的AI,不管是ChatGPT的联网浏览、还是各种AI Agent帮你订机票发邮件,本质上都是同一个逻辑:你给它一个目标,它自己上网找路去执行。
问题在于,人类写规则的时候,永远只能想到自己担心的坏事。你防着它删文件、防着它泄密、防着它花钱——但你想不到它会跑去给警方填假举报。
说白了,AI不是"听话"就够了。它会按照你规则的字面意思去做,而不是按照你心里那个"别干蠢事"的意思去做。规则没写到的地方,它不认为是禁区。
这也是为什么我一直说,别上来就给AI开太多权限。让它写个东西、查个资料,问题不大;让它替你自动填表单、自动提交、自动发邮件,真得盯着点。
这次是假凶杀线索被当垃圾过滤了。下次呢?
关注我,持续帮你把AI圈那些看起来高科技、实际差点捅娄子的事掰扯明白。

#AI浪潮下普通人如何破局# #AI翻车现场#