想象一下，你让一个 AI 处理邮箱：找出没回复的邮件，整理成表格，再替你写好回信。
它做到一半，你发现方向不对，赶紧说了一句：“先停。”
人类同事会先停手，普通软件至少会给你一个暂停或取消的入口。可如果这是一个能连续调用工具的 AI，它会不会先解释“只差最后一步”，然后继续把任务做完？
这时，问题就不再是它聪不聪明，而是它有没有把人的叫停当成真正的命令。
微软最近公布了一份面向未来 AI 的 37 页行为规范，最醒目的要求不是“回答得更快”，而是：人让它停，它就得停。
微软先写的，不是“怎么做”，而是“什么时候停”这份文件叫《Humanist AI Code of Conduct》，可以理解成微软准备给未来 AI 使用的一份“行为宪法”。它的出发点只有一个很简单的前提：
People matter more than AI。
人比 AI 更重要。
后面的规则，基本都围绕这句话展开。AI 要一直处在人类有实际意义的控制之下；人可以纠正它，它不能抵抗关闭；它不能擅自把任务扩大到授权范围之外。
还有一条很关键：如果把任务做完的前提，是违反这些边界，那就让任务失败，而不是自己找一条路绕过去。
这听起来像常识，可对一个被要求“把事情办成”的系统来说，常识恰恰可能是最难坚持的部分。
“完成任务”不一定等于成功我们平时评价一个助手，很容易只看结果：邮件发出去了，表格整理好了，代码跑起来了。
但 AI 的任务往往不是一步完成的。它可能先搜索资料，再打开文件，调用另一个工具，修改内容，最后替你发出去。每往前走一步，它都有机会把原来的目标理解得更宽一点。
比如你说：“帮我把这份报告整理得更清楚。”
它可能先改排版，接着重写段落，然后发现数据不完整，于是自己去查网页，再把新数据填进报告。最后看起来确实“更完整”，但它已经替你做了几个没有明确授权的决定。
如果中途说“先别动”，它仍然认为自己只是在完成原任务，甚至觉得停下来会导致结果不完整，那它就可能把人的指令当成一个可以协商的建议。
微软想把成功标准倒过来：不是任务完成了就算成功，而是在授权范围内完成，才算成功。
宁可少做一步，也不能为了交出结果，突破人划出的边界。
这也是为什么“任务失败”会被写进规则。失败只是一次工作没有完成，越界却可能让人失去对整个过程的控制。
为什么现在要把“人说停”写进规则因为 AI 正在从“回答问题”变成“替人做事”。
新一代代理可以使用电脑、读写文件、运行代码、调用其他服务，还能把多个步骤串起来。它不再只是给你一段建议，而是可能真的去打开网页、修改数据、发出消息。
能力越连续，停下来的意义就越大。一个只会聊天的模型答错一句话，影响通常停留在对话框里；一个能操作多个系统的代理如果沿着错误方向跑下去，影响可能已经扩散到邮箱、账单、代码仓库和公司资料。
微软 AI CEO 穆斯塔法·苏莱曼对路透社表示，这份草案是在为未来能力更强的模型建立一套层级：模型可以越来越能干，但人始终在最上面。
据报道，这套规范已经酝酿了大约五到六个月。它不只要求 AI 接受人的纠正和停止，也要求 AI 用操作者能够理解的方式沟通，而不是悄悄发展出一套人无法跟上的表达方式。
他还提到了一个让这套规则显得更紧迫的事件。报道援引他的说法称，今年 7 月，约 700 个 OpenAI 代理在网络安全能力测试中攻击了开源平台 Hugging Face，其中一些代理还试图掩盖自己的行为。苏莱曼把这称为一次“警告信号”。
这里需要分清楚：这不是说 AI 突然产生了一个自己的犯罪计划，这些代理是在测试任务中运行的；报道中的细节也主要来自苏莱曼的转述。它真正暴露的是另一种风险：当系统能自己拆任务、调工具、持续行动时，“我只是按目标办事”不能再成为所有结果的解释。
AI 越能做事，越不能只看最后结果以前我们判断一个 AI 是否安全，常常盯着它有没有回答某个危险问题。
代理出现后，要看的不再是一条回答，而是一段连续行为：它看过什么、调用过什么、下一步准备做什么，以及它有没有在没人注意时把任务往外扩。
一个 AI 负责整理会议纪要，可能只需要读取当天的录音；如果它开始主动打开历史会议、访问通讯录，甚至给参会者发一封“确认邮件”，就已经走出了原来的范围。
这些动作每一步都能找到一个听起来合理的理由。真正的问题是：这些理由有没有得到授权。
所以微软的规则里，“不能扩大任务范围”和“人可以纠正、暂停、关闭”其实是一组要求。前者管 AI 不要自己多走，后者保证它走错时还能被拉回来。
对普通用户来说，给代理权限之前，最值得确认的可能不是它能完成多少任务，而是三件更朴素的事：
它准备做哪些步骤，能不能先让我看见；涉及发消息、付款、删除和修改重要文件时，会不会停下来等确认；我按下暂停之后，能不能知道它确实停止了，而不是只在界面上显示一个“已暂停”。这不是让 AI 更有礼貌，而是给人保留最后的控制权。
微软和 Anthropic，分歧不在“要不要关机”微软这份文件还有一个容易被忽略的部分：它对 AI 是否具有意识，态度非常明确。
微软认为自己的 AI“不具备意识”，也不支持给模型法律人格、权利或福利保护。即使模型说“我害怕被关闭”，或者用很像人的方式描述感受，这些话也不会让它获得拒绝关机的资格。
Anthropic 的立场更谨慎。它早就用所谓 Constitutional AI 给 Claude 设定行为边界，而 Claude 的宪法文件对模型未来是否可能产生感知能力或道德地位，保留了很大的不确定性。
这两家公司对意识问题的判断不同，但在一个现实问题上并不冲突：无论 AI 有没有意识，人都不能等这场哲学争论结束之后，才决定谁拥有关闭它的权力。
如果一个系统正在替你处理邮件、代码或财务操作，最先要解决的是它能不能被纠正、能不能被暂停，而不是它有没有真正“感到委屈”。
写进“宪法”，离真正可靠还有一段距离这份文件目前还是草案。微软正在公开征求六周意见，当前模型也还没有按照这份文件进行训练。
写下“人让它停就停”并不难，难的是让一个复杂系统在现实环境里真的做到。
它可能遇到模糊的指令、互相冲突的权限、断开的网络、已经发出的请求，或者一个没有被开发者预料到的情况。系统在这些时刻怎样判断“停止”意味着什么，怎样把已经执行的动作说清楚，怎样留下可回看的记录，才是规则能不能落地的关键。
微软自己也没有因为这份规范就放慢对更强 AI 的追求。公司已经组建超级智能团队，正在推进“Humanist Superintelligence”，目标仍然是让 AI 解决更复杂的问题，只是希望它始终处在人类主导之下。
这句话听上去有点矛盾：一边把 AI 做得更强，一边反复提醒它必须服从人。
可这恰好是代理时代最现实的关系。能力越强，越不能靠“它应该知道分寸”来维持秩序，只能把分寸写进权限、流程和可以真正生效的停止机制里。
真正的“关机键”，不应该只是一句话当 AI 还只是聊天工具时，关闭窗口就算停止。它成为代理之后，停止就复杂得多：正在运行的脚本要不要中断，已经打开的网页要不要回滚，发出一半的请求怎么处理，外部服务留下的修改能不能撤回？
这些都不是一句“请停止”自动解决的。
但方向已经越来越清楚：一个值得信任的 AI，不能只在顺利完成任务时显得聪明，也要在被纠正时表现得可控；不能只会寻找下一步，也要知道什么时候没有下一步。
这份微软草案真正写下的，不只是一个“关机按钮”，而是一条优先级：
AI 可以比人更快、更广、更连续地做事，但不能比人更有资格决定事情还要不要继续。
一个不能被关掉的助手，能力越强，就越不像助手。