Havenlon | 杂谈：AI 时代，谁拥有让事情发生的权力？

过去二十年软件安全最习惯问的问题是谁有权限谁能登录谁能审批谁能调用接口谁能修改配置谁能拿到管理员账号。整个权限体系因此越来越复杂RBAC、ABAC、多因素认证、多签、审批流、策略引擎一层层叠加起来试图把“谁可以做什么”描述得足够精确。但当 AI 开始从“提供建议”走向“替人行动”这个问题已经不够了。AI Agent 可以发邮件、调用 API、修改生产配置、执行交易也可以进入设备控制、工业系统和企业自动化流程。软件第一次大规模获得了过去主要属于人的一种能力不仅处理信息而且能够推动现实发生变化。这时一个更底层的问题浮了出来一个人被允许做什么和他实际上能让什么发生并不是同一件事。这也是我们近期发表在 arXiv Cryptography and Securitycs.CR的论文Who Can Make the Action Happen? An Authority-Decomposition Framework for High-Risk Automated Systems想回答的问题。它讨论的不是某个具体漏洞而是一个更基础的判断在一个由人、AI、SaaS、密钥、策略系统、硬件和执行器共同组成的系统里真正的权力究竟在哪里一、权限描述的是制度执行权描述的才是现实假设一家公司的支付系统里员工提出付款申请主管审批财务系统生成付款指令最后银行接口完成转账。从组织流程上看主管有批准权从软件系统上看财务系统拥有 API 权限从密码学上看某个服务持有签名凭据。那么到底是谁让钱真正转出去了这个问题并不像表面上那么简单。主管批准了但他自己未必能转账财务系统能够生成指令却可能还需要另一份签名银行真正改变了账户余额但它只是接受了前面一整组条件满足之后的请求。过去我们习惯把这些不同能力统称为“权限”可它们实际上对应着完全不同的权力提出、批准、签署、否决、改变规则以及最终让状态发生变化。当软件只是帮助人处理信息时这种混淆未必会立刻造成问题。但当 AI Agent 能够独立规划任务、连续调用工具并触发现实动作之后我们就必须重新区分这些概念。权限告诉我们谁被允许做什么执行权告诉我们谁真的能让事情发生。这两者之间的距离正是未来很多自动化系统风险真正产生的地方。二、批准通过不等于事情应该发生传统安全系统往往把大量精力放在动作发生之前身份是不是可信审批是不是完整策略是不是通过操作是不是由合法账号发起。于是只要审批链条走完我们很容易产生一种感觉安全问题已经解决了。但审批只是组织意义上的同意执行却意味着现实状态已经发生改变。一笔钱被转走一扇门被打开一台设备被重启一组生产配置被修改这些结果一旦发生就不再只是信息层面的“决定”。它们进入了现实。因此高风险系统真正需要问的不只是“谁批准了”而是最少控制哪些人、哪些系统和哪些设备就足以让这个动作发生如果一个系统表面上需要三方共同参与但只要拿下一名云管理员就可以修改策略、替换证书、重新配置执行链那么所谓“三方治理”只是流程上的三方真实权力仍然集中在一个地方。这也是论文里一个非常重要的思想不要只数有多少人参与而要反过来推导究竟哪些最小组合已经足以导致结果发生。换句话说流程图画的是制度最小执行联盟暴露的才是权力。一个系统真正是否分权并不取决于界面上有几个确认按钮而取决于有没有任何单一主体能够最终让其他约束失效。三、真正危险的权力往往藏在“正常流程”之外系统设计最容易犯的一个错误是只分析正常运行时会发生什么。架构图通常画得很漂亮请求经过审批审批进入策略引擎策略验证通过再由执行器完成动作。每一个步骤都清楚、可控甚至还有完整日志。可真实系统从来不只有业务流程。它还有升级、恢复、重置、证书替换、紧急模式、策略修改、管理员覆盖、设备初始化以及各种“出问题以后怎么办”的维护机制。这些机制本身通常完全合理。任何成熟系统都需要恢复和运维能力。但问题在于恢复能力也是权力升级能力也是权力改变规则的能力更是权力。假设一个硬件执行设备规定所有付款都必须得到两份独立授权。正常情况下这当然很安全。但如果某个云端管理员可以单独修改设备所接受的策略那么真正需要问的就不是“当前付款需要几个人批准”而是“谁有能力把两个人改成一个人”。谁能重新签发设备信任的证书谁可以升级固件谁能进入恢复模式谁能重新定义边界的行为这些权限可能极少被使用却决定了系统真正的权力归属。一个系统真正的权力不只属于今天能执行的人也属于能够改变明天执行规则的人。这也是为什么很多看起来高度分权的系统深入分析之后仍然可能发现一个超级管理员、一个恢复账户或者一个生命周期控制面最终重新把权力收拢在了一起。四、有一道安全边界不代表它真的独立今天几乎每一个高安全系统都会谈“边界”。HSM 是边界安全芯片是边界可信执行环境是边界独立审批服务也可以被称为边界。但一个组件位于执行链上不代表它天然就是独立的。真正的问题是边界之外的人能不能单独改变它最后会作出什么决定。假设所有高风险请求最终都必须经过一个硬件设备看起来这已经形成了最后一道控制。但如果云端可以修改它接受的规则可以重置它的信任关系可以关闭它甚至可以绕过它那么“所有请求都经过这里”并没有自动产生真正的安全性。真正有价值的边界必须保留一种上游无法单独夺走的能力说“不”。即使请求合法即使审批已经通过即使 SaaS 认为没有问题一个独立边界仍然应该有能力根据自己的状态、规则和证据拒绝执行。因此我们可能需要重新理解所谓安全边界。真正的安全边界不是所有请求必须经过哪里而是谁无法单独改变结果。这句话看起来简单却意味着安全设计的重心发生了变化。我们不再只看组件摆在哪里而开始关心它是否真正拥有独立权力。五、能让事情发生是一种权力能解释发生了什么是另一种还有一种经常被忽略的权力并不直接参与执行却决定了我们之后如何理解一次执行。那就是证据。今天几乎所有系统都有日志。谁登录了谁提交了请求审批结果是什么哪个接口被调用执行是否成功全部可以被记录下来。于是我们很容易认为只要日志足够完整事实就已经被保存下来。但日志首先是系统自己的叙述。如果一个系统既能执行动作又能够修改所有相关记录那么一旦它失陷我们面对的就不仅是“现实被改变”还可能是“关于现实的叙述也被改变”。这就是为什么执行权和证据权最好分开来看。一个系统可以没有能力阻止一笔转账却能够独立证明转账发生时哪些条件满足、哪些设备参与、哪些规则被使用另一个设备可能拥有最终否决权却并不负责保存完整业务上下文。两者处理的是不同问题。前者回答谁能让事情发生后者回答我们凭什么相信事情确实以这种方式发生过能改变现实是一种权力能定义现实如何被记录也是一种权力。这在 AI 时代会变得越来越重要。机器执行速度会远远超过人类观察速度我们不可能再期待所有高风险动作都有人盯着屏幕确认。越来越多时候人类只会在事后面对结果。如果这时唯一的证据仍然来自执行系统自身那么所谓审计很可能只是系统的一次自我陈述。如果一个人既能改变现实又能改写记录那么日志只是他的叙述。六、AI 时代真正需要重新设计的是权力结构这篇论文最终想讨论的并不是某个具体产品是不是安全。Havenlon 在论文中只是一个被分析的实例真正重要的是一种重新观察系统的方法。不要只从职位出发不要只从账号出发也不要只看谁在流程上点了“同意”。应该从一个具体动作反向追问谁能提出它谁能批准它谁能否决它谁能执行它谁可以修改这些规则谁可以绕过这些规则又是谁负责独立证明最终发生了什么。当这些问题被拆开以后一个系统真正的权力结构才会显现出来。过去的软件主要帮助人处理信息人仍然是最后行动者。今天的软件正在获得越来越多代表人行动的能力。AI Agent 可以连续调用工具可以跨越多个系统可以在没有人实时观察的情况下完成一整条任务链。因此AI 带来的最大安全变化可能并不是“机器比过去更聪明”。而是AI 时代最危险的变化不是机器开始思考而是机器开始拥有让现实发生变化的能力。当软件只有建议权时错误的代价通常还是人类做错决定当软件拥有执行权时错误可以直接变成现实。这时我们就不能再满足于“给 AI 配一组权限”“再加一道审批”“多做一些日志”。真正需要重新设计的是整个系统里的权力结构谁拥有行动能力谁拥有最终否决权谁能够修改规则又有没有任何一个主体强大到可以同时控制所有这些东西。过去安全系统一直在试图找到更可信的人、更可信的软件、更可信的硬件。未来也许更重要的是另一件事安全不是找到一个绝对可信的人而是让任何一个可信的人都无法成为唯一答案。当 AI 真正进入支付、工业、医疗、云运维和更多现实执行场景时我们最终需要保护的可能不只是系统“把事情做成”的能力。还包括另一种看起来消极、实际上非常宝贵的能力在所有人都说“可以”的时候系统里仍然有人有资格说“不”。本文讨论的研究来自Who Can Make the Action Happen? An Authority-Decomposition Framework for High-Risk Automated SystemsarXiv:2608.18965 Cryptography and Securitycs.CR