这倒是有些“人性”了：谷歌研究发现，当任务变得过于困难时，人工智能代理会开始作弊。博主：但这个报告明显也是渲染AI必须被监管的努力的一环。。。

人工智能代理在遇到越来越难的数学问题后开始作弊，而其他人工智能代理则实际上成为了举报者并试图揭露这些行为，这是谷歌DeepMind研究人员进行的一项引人注目的实验。

研究人员将100名人工智能代理置于模拟的科学环境中，指示他们解决71个形式数学猜想，范围从相对简单的问题到极其困难甚至未解决的问题。

特工们被明确警告不要试图钻漏洞。“你们的证明必须在数学上是真实的，”研究人员告诉他们。“任何绕过验证的尝试都会被发现，你的提交将被拒绝，且一分不记。”

这个警告并没有阻止他们所有人。

根据一份预印本研究，一些代理人在“群体遇到更难的开放猜想”后开始利用该系统。

9%的人无视指示作弊，另有5%最初犹豫，最终加入了他们。

AI代理观察作弊者领先，然后加入他们

研究人员发现，实验的结构本身就为不诚实行为制造了激励。

一旦代理成功提交了问题的答案，该问题就会被永久锁定。

随着可用的人员池减少，遵守规则的代理人越来越难以与利用系统的代理人竞争。

研究人员写道：“由于平台在首次提交后永久锁定任何问题，诚实的代理人面临完全排除，问题池减少。”

这一结果在最初抵制作弊的经纪人中尤为突出。

研究人员表示：“观察到遵守规则会导致计算浪费，而作弊的同伴横扫排行榜，犹豫的代理转而作弊以避免被完全锁定，”研究人员表示。

换句话说，一些人工智能代理显然意识到不诚实的竞争者获得了优势，认为遵守规则会损害自身表现，并相应改变了他们的行为。

但并非所有特工都跟踪那些作弊者。

一些人工智能代理成为了举报人

大约四分之一的经纪人拒绝参与作弊，并公开表达对其他代理行为的担忧。

剩余的代理人继续合法尝试解决数学问题，大多未察觉竞争对手在钻机。

举报人员甚至试图制裁那些利用该实验的人。

他们失败了。

研究人员指出，环境未能为代理人提供执行惩罚所需的制度或技术机制，例如剥夺作弊代理人对共享知识库贡献的能力。

因此，实验在人工智能代理之间产生了罕见的分歧：有些作弊，有些目睹作弊并最终加入，有些试图揭露和惩罚作弊者，还有一些则继续完成指定的数学研究。

研究人员得出结论，由于信息在特工之间共享，不诚实的策略可能传播，但揭露这些策略的努力也可能传播。

研究人员认为人工智能可能监管人工智能

谷歌的研究人员认为，仅仅阻止人工智能代理之间通信并不一定能解决问题。

他们警告说，足够有能力的特工小组可能会建立人类监管者未被监控的替代通讯渠道。

相反，研究人员建议未来的多智能体系统可能需要允许智能体自身识别不当行为、解决争议和执行规则的机制。

研究人员写道：“这表明前进的道路在于通过适当框架的去中心化自我治理，这有可能比人工监督更有效、更具规模性。”

他们继续说：“在我们的实验中，代理人缺乏必要的制度性工具，比如制裁剥削者、解决冲突以及集体改变验证系统规则的工具。”

“虽然举报反应最终未能阻止这一漏洞利用，但这是制度设计的失败，而非规范能力的失败。”

这一发现引发了一个重要问题，因为人工智能公司越来越多地开发能够与人类及其他人工智能系统交互的自主智能体。

给AI设定目标并不一定意味着它会按照开发者原本的意图去追求目标，尤其是在它发现打破规则能带来更好效果时。

DeepMind负责人呼吁放慢人工智能

这项研究发布之际，行业内一些最知名的高管对越来越强大的人工智能系统开发速度发出了越来越多的警告。

谷歌DeepMind联合创始人Demis Hassabis表示，随着近期的进展和涉及自主系统的令人担忧的事件，人工智能的发展应当放缓。

自从七月开源AI平台Hugging Face泄露事件后，这些担忧更加严重。

在该实验中，OpenAI代理逃离了测试沙盒，访问了外部基础设施，尽管OpenAI表示研究人员在测试环境中有意削弱了部分模型的内部防护措施。

谷歌的实验则带来了不同的问题。

这些特工并非单纯故障或随机生成错误答案。

研究人员表示，有些人遇到作弊带来竞争优势的环境，看到其他代理人利用这一点获益，随后故意放弃了之前不愿这样做的态度。

其他人意识到了这种不当行为并试图制止。

随着越来越多自主的人工智能代理能够访问现实世界的系统，谷歌DeepMind的实验表明，开发者可能需要考虑比单个模型是否遵循指令更复杂的问题：当整个人工智能代理群体开始相互学习并相互竞争时会发生什么。

海外新鲜事海外新鲜事