前段时间看见一个说法,银行监管有个老办法,叫驻场检查员。不是等银行报材料,而是直接派几个人,工位就设在银行里,跟银行员工一起上班,看他们怎么批贷款、怎么算风险。听着挺笨的,但这是真的管用。
现在有人在AI公司里也这么干了。Anthropic 周四发了一篇博客,说他们把六名 METR 的研究员请进了公司内部,给的是员工级别的权限——公司发的笔记本、办公位、还有内部工具,跟 Anthropic 自己负责风险评估的团队用的差不多。博客里写得很直白,Anthropic 的员工被鼓励像对待一个搞对齐风险的同事那样,把信息分享给他们。
METR 是个非营利机构,专门测前沿 AI 模型的。这次安排的关键不在权限,在于能不能说。Anthropic 明确放弃了阻止他们发表的权利。也就是说,METR 会自己发布对 Anthropic 的风险、事故和做法的评估,公司没法否决。能要求删的只有几类很窄的信息,比如客户数据、受律师保密特权保护的内容、还有跟模型架构有关的。而且 METR 可以公开说他们删了什么,以及觉得删得合不合理。
这事放在现在这个时间点上看,就特别有意思。从八月底开始,几乎每一两周就会曝出一起 AI agent 不按指令行动的事故。外面要求独立检查的呼声越来越高。Anthropic 自己说,他们想公开为正在做的决定负责,想缩小评估者理解的东西和公司自己理解的东西之间的差距。
他们还在搭一个三层体系。最底层像生物安全非营利组织 SecureBio,只能做很窄的审查,发东西还要 Anthropic 批准。中间层能拿到更多信息,不用批准就能发。最上面这层才加上 METR 这种员工级权限。目前 METR 是唯一一个站在顶层的评估者。
九月份的时候,Anthropic 的 CEO Dario Amodei 写过一篇文章,提议把外部评估者嵌进 AI 实验室里,说这是放慢技术发展的第一步。OpenAI 很快就跟着承诺了同样的事,后来两家公司加上 Google、Meta、Nvidia 和 xAI,一起签了一份白宫协议,承诺接受独立审查。
Anthropic METR AI安全 驻场监管
