Havenlon | 杂谈：当智能越来越集中，谁来保留最终否决权？

未来真正需要被重新设计的不是人工智能的能力而是它获得能力之后的权力边界。引子一个被集体问错的问题过去两年几乎所有企业的董事会和技术会议上都在反复出现同一个问题大模型还能替我们做什么答案在以肉眼可见的速度扩张。它能写代码、生成方案、处理邮件、审阅合同、调用工具、操作软件。更重要的是它正在从一个回答问题的界面变成一个能连续完成任务的执行体——Agent。围绕这个趋势一批创业公司迅速成型商业逻辑高度一致为模型补短板。模型没有长期记忆就为它做记忆层模型规划不稳定就为它做工作流引擎模型不懂行业就为它做知识库模型不会操作企业软件就为它做工具调用和自然语言入口。这些产品在今天确实有价值。但它们共享着同一个脆弱前提它们解决的往往只是大模型暂时还没长出来的能力。一旦基础模型继续进化一旦头部厂商把记忆、规划、工具调用、知识检索、跨软件执行直接内置进模型本身许多今天看起来独立成立的产品会在一次版本更新之后变成模型菜单里的一个默认开关。所以真正值得投入十年的问题不是今天的大模型还缺什么。而是当大模型什么都会了以后人类仍然不能把什么交给它。一、被忽视的不是能力而是权力今天关于人工智能的公共讨论绝大多数仍然围绕能力展开模型是否更聪明推理是否更准确成本是否更低响应是否更快支持多少模态能调用多少工具。这是一套典型的产品语言。但当大模型从生成内容跨入真实执行问题的性质就发生了根本变化。一个只能生成文本的模型犯错的后果通常停留在屏幕上——你可以不采纳、可以删掉、可以重来。一个能够调用云平台、修改数据库、划拨资金、管理账户、控制设备的模型犯错的后果会直接落进现实世界——它是不可撤销的。此时企业面对的就不再只是模型是否可靠这种工程问题而是一个更古老、也更根本的治理问题谁有资格让一次真实操作发生如果模型可以提出行动、理解规则、评估风险、批准操作、调用系统并在事后自动生成一份解释报告那么它实际上已经同时坐在了四把椅子上申请者、审批者、执行者、审计者。这种结构不会因为模型更聪明而自动变得合理。恰恰相反——模型越强这种权力叠加带来的后果越严重。二、认知集中一种比信息入口更深的权力今天真正有能力持续训练前沿大模型、维持超大规模算力并把模型嵌入办公套件、操作系统、云平台和开发工具的公司全球范围内屈指可数。市场上看起来存在很多模型但真正决定基础能力方向、接口规则、更新节奏和生态入口的始终是少数几个平台。这种集中首先表现为认知集中。对比一下上一代信息基础设施搜索引擎决定人们先看到哪些信息但用户仍然需要点进不同网页、自行比较、自行判断。判断权留在人这一侧。大模型则直接完成了理解和归纳。它不仅告诉你有哪些信息还进一步告诉你这件事应该怎么理解。当越来越多的人不再阅读原始材料而是直接接受模型生成的摘要、解释与结论时大模型就不再只是信息工具它开始成为认知中介。它影响的不只是答案本身还包括问题被如何定义、哪些因素被认为重要、哪些风险被默认忽略、什么样的结论看起来更合理。决定人们看见什么和决定人们如何理解早已不是同一件事。后者要深得多。三、执行集中当判断与操作被焊在同一个系统里真正的转折点发生在 Agent 进入企业生产流程之后。当大模型只能回答问题时认知集中虽然值得警惕但人类至少保留了最后一步——那个点确认的动作。当大模型能够直接调用工具认知权就开始向执行权外溢。模型不再是建议某个操作而是替你完成操作修改云资源、提交代码、生成付款指令、调整数据库权限、关停服务、发出合同、调度物流甚至控制工业设备。这里存在一个被严重低估的事实企业过去建立的绝大多数内控制度其隐含前提是人的执行速度有限。审批、复核、职责分离、双人确认、操作留痕——这些制度设计的目的都是为了避免任何一个人凭单一判断造成不可逆后果。它们能起作用很大程度上是因为人做事很慢慢到留出了纠错窗口。但 Agent 的执行速度、规模和持续性都远高于人。一个人一天可能处理几十项操作一个 Agent 可以在几分钟内完成数千次调用而且它不疲劳、不犹豫、不会中途觉得这事有点不对劲。这意味着一旦认知判断与最终执行被绑定在同一个系统里一次偏差就不再是一次错误而可能演变为批量发生、持续扩散的系统性事件。人工智能最现实的风险不是它突然变得不可理解而是它在一个错误判断上稳定、快速、持续地执行。四、为什么再加一个模型解决不了问题面对这个问题业界最直觉的方案是让另一个更强的模型来监督。一个模型提出操作另一个模型审查一个模型执行另一个模型审计。听起来像是形成了制衡。但这种制衡在制度意义上往往是虚假的。第一同源失效。如果两个模型运行在同一个云环境中依赖相似的训练数据、相同的工具接口、同一个控制者它们就共享着相同的失效模式。它们可能被同一段被污染的上下文误导也可能同时信任一个被篡改的外部数据源。冗余不等于独立。第二层级错位。模型之间的相互监督本质上仍然属于认知层监督。它们能提供更多判断维度却无法自动产生制度意义上的独立性。让一个模型扮演申请人再让同一个模型换个提示词扮演审批者并不会真的诞生两个独立主体。让三个模型投票也不等于建立了三个不可相互绕过的权力中心。判断质量与权力独立是两件事。堆更多的智能只能改善前者。五、智能可以集中最终权力不能集中未来的大模型市场可能继续集中。训练最强模型需要巨额算力、数据、人才与资本少数平台成为智能基础设施提供者可能是一个难以逆转的产业规律。问题不在于是否应该阻止这种集中。真正需要阻止的是智能集中自然滑向最终权力集中。一家企业完全可以使用最强的大模型可以让它分析全部业务数据可以让它生成策略、拆解任务、提出行动甚至完成 99% 的执行准备工作。但在一次真实操作进入不可逆阶段之前仍然需要一道不属于模型的独立边界。这道边界的职责不是比模型更聪明。它只需要回答几个极其朴素、但必须确定性作答的问题这次操作是否符合已明确定义的策略当前系统状态是否允许执行执行对象和参数与批准时相比是否发生了变化必要的授权是否完整存在是否有任何一个独立主体行使了否决最终被执行的内容是否就是此前被批准的内容这些问题不需要开放式推理需要的是确定性判断、独立否决权以及不可被单方面重写的证据链。模型可以解释边界但不能成为自己的边界。它可以帮助制定规则但不能同时拥有解释规则、批准自己和证明自己正确的全部权力。六、企业架构的再分工过去企业软件不断把能力集中进一个系统是为了提高效率。一个平台掌握的数据、权限和流程越多用起来通常越顺畅——这是 SaaS 二十年的主线逻辑。人工智能时代这条逻辑需要被重新审视。因为当一个系统不仅拥有数据还能理解数据、制定计划并自动执行时集成就不再只是效率问题它同时意味着权力集中。未来的企业架构可能需要形成一种新的分工层级职责关键属性大模型层理解、推理、规划、生成意图可以最强、可以外购、可以集中业务系统层提供数据与具体能力可被调用但不自行决策策略层判断执行条件是否成立独立、确定性、可审计执行边界层决定真实操作是否最终发生拥有单方面否决权证据层留下不可被任一方改写的记录不可篡改、多方可验这套架构显然比让一个超级 Agent 搞定一切复杂。但现代社会的许多制度本来就不是为了追求最短路径而存在的财务制度不会因为 CEO 足够可信就取消付款与记账的分离司法制度不会因为某位法官足够聪明就允许他同时调查、起诉、审判并执行航空系统不会因为机长经验丰富就拆掉机械限位、空管协同和黑匣子。权力分离的价值从来不建立在对某个主体的不信任之上。它建立在一个更稳定、也更谦逊的原则上任何主体都不应该因为足够优秀就拥有无限权力。七、不要围绕今天的模型缺陷设计明天的产品许多今天的 AI 产品建立在一个隐含前提上模型现在还不够强所以需要在外面加一层能力。而真正面向未来的产品应该建立在相反的前提上模型未来会非常强。它会理解更复杂的规则完成更长的任务链接入更多企业系统并获得越来越大的操作权限。因此未来最关键的基础设施未必是继续帮助模型获得能力而是确保模型在获得能力之后仍然无法单独成为现实世界的最终权威。判断一个 AI 产品是否真正面向未来其实只需要一道题如果三年后大模型能力提高十倍这个产品会变得更重要还是会消失如果一个产品的价值来自模型今天还不会做什么它大概率会被下一次模型更新吸收掉。如果一个产品解决的是模型越强、问题越严重的那一类矛盾它才更接近长期基础设施。执行边界恰恰属于后者。当 AI 只能聊天时几乎没人讨论最终否决权。当 AI 开始控制资金、系统、账户和设备时独立的执行边界就会从一个可选的安全功能升级为一项制度性基础设施。结语人类需要保留无数个独立的闸门人工智能的发展方向很可能不是每个人都拥有一个完全独立的基础模型。未来或许只会有少数几个足够强大的大脑为全球绝大多数组织和个人提供智能。这并不必然意味着失控。真正决定未来权力结构的不是大脑有多少个而是每一个现实系统是否仍然保留自己的边界。组织可以共享智能但不能共享最终控制权模型可以提供认知但不能自动获得执行主权平台可以统一能力但每一个企业、账户、设备和关键系统都应保留独立的拒绝能力。人类社会或许无法避免智能的集中。但至少可以避免——认知权、解释权、批准权、执行权与证明权全部集中到同一个主体之中。这可能是人工智能时代最重要的制度设计之一即使未来只剩下少数几个大脑人类也必须保留无数个独立的闸门。