AI Agent 的经济账：算力、模型路由与真实 ROI

文章目录1 - 引言2 - 为什么只看 Token会把账算错3 - Agent 的六类成本1. 模型推理成本2. 工具与数据成本3. 基础设施成本4. 人工注意力成本5. 失败与返工成本6. 风险预期损失4 - 先分工作组合再谈模型预算5 - 模型路由不是“大小模型二选一”6 - 上下文成本常比回答本身更大7 - 成功率决定重试经济学8 - 什么时候多花算力是划算的9 - 一个 AI 获客任务的算账示例方案 A全量使用强模型方案 B分层漏斗10 - 建立一张 Agent 经济仪表盘11 - 最常见的五个误区误区 1Token 越少系统越高效误区 2最强模型一定最贵误区 3并发越多产能越高误区 4演示成功就证明 ROI误区 5所有 Agent 都应该常驻运行12 - 上线前检查清单13 - 结语1 - 引言Agent 项目最容易算清的是 Token最容易漏掉的是人工注意力、失败返工和风险成本。真正值得优化的不是“每次调用有多便宜”而是“每个通过验收的结果要付出多少总成本”。2 - 为什么只看 Token会把账算错传统软件的边际运行成本通常比较稳定一次请求消耗多少计算、存储和带宽大致可以预估。Agent 不同。它会自主决定调用多少次模型、读取多少上下文、使用哪些工具、是否重试也可能在错误方向上持续推进。因此同一个任务在不同提示、工具权限和验收机制下成本可能相差数倍。更重要的是模型账单只是显性成本。一个看似便宜的 Agent如果输出需要员工逐句核验、经常返工或者把错误结果推入下游系统它的总成本可能远高于直接让人完成。可以用下面这个口径替代“每次调用多少钱”单位有效结果成本 模型成本 工具与数据成本 基础设施成本 人工准备与审校成本 失败返工成本 风险预期损失 ÷ 通过验收的结果数量这里的关键词是“通过验收”。生成一百份报告不等于获得一百个结果如果只有二十份可以直接使用那么其他八十份只是过程产物。3 - Agent 的六类成本1. 模型推理成本包括输入、输出、缓存读写、推理强度以及多轮调用。长上下文会反复进入请求工具返回的大段网页或日志也可能被多次携带。复杂 Agent 还会有规划、执行、反思和复核等多个模型角色。2. 工具与数据成本搜索 API、商业数据库、浏览器执行、代码沙箱、地图、语音、OCR、邮件验证等都可能单独计费。数据质量差时Agent 还会花更多模型调用清洗和交叉验证。3. 基础设施成本包括队列、容器、向量库、日志、监控、文件存储、网络出口和安全隔离。开发演示阶段常把这些成本藏在本地环境里上生产后才集中显现。4. 人工注意力成本人需要定义任务、补背景、处理中断、审批高风险动作、核验结果并收口。若 Agent 每隔几分钟就来追问一次它实际上没有释放人而是在制造一种新的值班工作。5. 失败与返工成本失败不只是“再跑一次”。错误可能污染 CRM、重复联系客户、提交不可合并的代码或者让后续 Agent 基于错误前提继续工作。越晚发现返工成本越高。6. 风险预期损失它可以粗略表示为风险预期损失 事故发生概率 × 事故影响低概率但不可逆的动作例如对外承诺、付款、删除数据、批量发送消息不能因为平均调用成本很低就自动执行。它们需要权限边界、确认门和审计记录。4 - 先分工作组合再谈模型预算OpenAI 在关于 Agent 投资管理的文章中提出应把 AI 投资看成组合而不是孤立项目。落到团队执行可以把任务分成三类工作类型典型任务预算策略主要评价指标广覆盖型摘要、分类、格式转换、初筛低单位成本、高吞吐覆盖率、人工节省时间流程改造型客户研究、工单处理、测试生成允许多步调用但必须稳定任务成功率、周期缩短战略探索型新产品原型、复杂研究、重大方案小规模高质量投入学习速度、决策价值如果不做区分团队通常会犯两种相反的错误要么所有任务都调用最强模型成本迅速上升要么为了压低单价强迫小模型处理它不擅长的复杂推理结果靠人工返工补回来。5 - 模型路由不是“大小模型二选一”合理的路由至少有四层不用模型固定规则、数据库查询、去重、格式校验和权限判断优先使用确定性程序。小模型或低推理档分类、抽取、改写、结构化、简单工具选择。中等模型需要结合上下文判断但成功标准清楚的常规任务。前沿模型或高推理档复杂规划、跨来源推理、疑难调试、高风险复核。路由依据不能只看用户输入长度。更有效的信号包括任务是否需要多步规划错误是否容易被程序检测输入是否存在冲突或歧义是否涉及不可逆动作首次尝试的置信度和验证结果失败后升级模型能否显著提高成功率。一个务实流程是“低成本首跑 自动验证 必要时升级”。但前提是验证器真的能识别失败。若没有可靠验收把任务先交给弱模型只会把成本从推理账单转移到人工审校。6 - 上下文成本常比回答本身更大Agent 每次都加载完整项目资料表面上最稳妥实际上会同时伤害成本和质量无关材料占用窗口旧信息与新信息冲突关键规则反而被淹没。降低上下文成本可以从五件事开始分层存储长期规则、项目事实、当前任务状态和临时证据分开管理。按需召回先识别任务类型再检索最小充分上下文。稳定前缀缓存将不频繁变化的系统规则和公共资料放在可缓存部分。工具输出裁剪网页、日志和数据库结果先结构化再交给模型。阶段性压缩长任务在检查点生成可追溯摘要不无限累积原始对话。压缩不能只追求短。好的压缩必须保留决策、证据、未解决问题、下一步和来源位置否则只是把可验证信息压成一段无法追责的文字。7 - 成功率决定重试经济学假设每次尝试独立、成功率为p获得一次成功平均需要约1/p次尝试。成功率 50% 时平均两次20% 时平均五次。但现实失败往往高度相关如果任务定义错了重复运行同一配置不会自动变好。因此应区分三类重试瞬时重试网络、限流或工具偶发故障可以按退避策略自动重试策略重试更换检索、模型或工具路径并记录变化需求返工成功标准或输入本身有问题应暂停并回到任务定义。盲目重试会制造一种假象成功样本最终总能出现但单位成功成本和等待时间已经失控。每种任务都应设置最大尝试次数、升级条件和停止理由。8 - 什么时候多花算力是划算的增加推理预算通常在以下条件下成立任务价值高质量提升能直接影响收入、风险或关键决策更强模型确实能提高通过率而不是只写得更长人工审校很昂贵模型多做一次复核可以明显减少人工时间任务处在探索阶段更快获得证据能缩短产品验证周期产出可以被自动验证额外并发不会淹没人的注意力。反过来如果任务没有明确成功标准、数据入口不稳定或最终仍需人逐项重做增加算力只会更快地产生待审材料。可以比较两个方案的“质量调整后成本”方案单次成本一次通过率平均人工审校单位有效结果成本小模型直出145%12 分钟可能较高强模型 自动验证485%3 分钟可能反而较低这里不填写统一结论因为人工成本、结果价值和任务风险因团队而异。正确做法是用自己的真实样本测量。9 - 一个 AI 获客任务的算账示例假设系统要研究 1,000 家潜在客户并生成可供销售确认的触达草稿。方案 A全量使用强模型每家公司都执行网页研究、公司判断、联系人推断和长文本生成。优点是流程简单缺点是大量明显不符合条件的公司也消耗完整预算。方案 B分层漏斗用规则和轻量模型完成地区、行业、规模、网站可用性筛选只对高潜公司进行多来源研究通过证据完整性检查后才生成草稿高价值客户由更强模型做个性化和事实复核对外发送前由销售确认。方案 B 的价值不只是省 Token。它减少了无效研究、降低了销售审校量也让“为什么选中这家公司”变得可追溯。真正应比较的指标是每个合格线索的总成本每个可用触达草稿的人工分钟数从输入公司到销售可行动结果的周期错误事实率和重复触达率最终回复或商机转化而不是生成数量。10 - 建立一张 Agent 经济仪表盘建议至少跟踪以下指标维度指标示例质量任务成功率、一次通过率、事实错误率成本单任务模型成本、单位有效结果成本、工具成本人力人工准备时间、审校时间、中途介入次数速度端到端周期、P50/P95 延迟、队列等待时间稳定性工具失败率、重试次数、超时率风险越权拦截、敏感操作确认、事故与近失事件业务收入影响、转化率、工单解决率、开发交付周期这些指标必须按任务类型分组。把“摘要”和“付款审批”的成功率混在一起取平均没有管理意义。11 - 最常见的五个误区误区 1Token 越少系统越高效如果省下的 Token 变成更多人工返工总成本反而上升。误区 2最强模型一定最贵单次调用更贵不代表单位有效结果更贵。高一次通过率、少重试和少人工可能抵消差价。误区 3并发越多产能越高没有自动验收和优先级控制时并发只是把人的审核队列堆得更长。误区 4演示成功就证明 ROI演示通常忽略异常输入、人工准备、维护、权限和长期漂移。ROI 要在真实流程和足够样本上测。误区 5所有 Agent 都应该常驻运行低频、低价值、难验收的任务按需调用甚至人工完成可能更划算。12 - 上线前检查清单已定义“有效结果”不是只统计生成量已记录模型、工具、基础设施和人工总成本有任务分级与模型路由而不是全量调用同一模型有自动验收、升级和停止条件重试能区分瞬时故障、策略失败和需求错误高风险动作有权限、确认和审计已用真实样本比较质量调整后成本仪表盘能按任务类型查看质量、成本和业务结果增加预算前能说明它要解除的具体瓶颈。13 - 结语Agent 的经济性不是“模型单价 × Token 数量”这么简单。它是一套关于任务设计、模型路由、上下文、验证、人机分工和风险控制的系统工程。真正健康的目标不是让每个调用都最便宜而是让高价值任务以可接受的总成本稳定通过验收。只有当团队能看见单位有效结果成本才知道应该压缩上下文、升级模型、增加算力还是先把流程重新设计。感谢各位大佬支持互三啦