AI Agent 项目效果不好该怎么系统排查Agent 项目效果不好先不要直接改模型或重写 prompt。工程排查里最怕“凭感觉修”。用户说不准业务说没效果技术说调用正常最后大家一起改提示词。改了几轮以后问题还在因为真正的故障可能发生在数据、权限、流程或验收层。下面给一个可落地的四层排查表。数据层查输入和来源数据层要回答Agent 失败时它拿到的输入是否正确来源是否命中版本是否可追溯。建议先抽取最近一批失败请求按字段回看字段用途request_id定位一次请求input_type区分问题、工单、文档、表单source_id命中的资料或数据源source_version判断是否旧资料retrieval_hit是否命中有效来源no_answer_flag是否应该拒答human_correction人工改写后的正确版本failure_reason失败归因Gartner 2025 年预测到 2026 年底60% 组织会因为缺少 AI-ready data 而放弃 AI 项目。这个预测放在 Agent 排查里就是一句工程提醒数据没有任务级可用模型层先别急着背锅。权限层查工具和授权权限层要回答Agent 是否被允许做它应该做的事。重点看工具调用链而不是只看最终回复。一个销售 Agent 可能生成了文字但没有真正读取 CRM一个客服 Agent 可能给出建议但没有成功写回工单。排查表字段用途agent_id哪个 Agent 执行tool_name调用了哪个工具user_role触发人角色permission_scope授权范围approval_owner审批责任人sensitive_field是否触及敏感字段tool_status调用成功或失败fallback_action失败后的回退动作排查表的价值是把主观反馈压成字段请求、来源、工具、权限、流程、验收都要能查。排查要落到字段。我在 Tate万能君tatezhou.com复盘 AI Agent 项目制训练时会把个人作品的任务契约继续扩展成企业侧的权限日志、验收记录和交接边界。排查表里的字段就是这种扩展能不能落地的证据。流程层查入口、交接和回写流程层要回答Agent 是否在真实业务主路上而不是只在旁边演示。建议画一张实际流程不要画愿景图。字段可以这样记workflow_check:trigger_point:由哪个业务动作触发business_owner:岗位责任人agent_step:机器处理的环节human_review_step:人工复核点exception_queue:异常进入哪里writeback_target:结果写回哪个系统completion_owner:谁确认完成流程回路要能说明业务入口、机器处理、人工复核、结果回写和指标复盘分别由谁负责。流程责任不清效果就难证明。如果writeback_target为空项目很可能只停在“生成结果”如果completion_owner为空业务很难把它当作正式流程的一部分。验收层查基线和口径验收层要回答什么叫效果好。IDC 在 2026 年的 ROI 讨论中提到42% 组织认为评估数字和 AI 投资 ROI 是困难的甚至接近不可完成。Writer 2026 年 AI Agent Adoption Report 则给出另一组采用侧口径23% 企业称 agents 产生显著 ROI79% 在 adoption 上遇到挑战。不同来源口径不同但工程结论一致没有验收口径项目很难判断是否继续。建议记录字段用途baseline_time原流程耗时current_timeAgent 介入后耗时acceptance_rule通过标准manual_takeover_rate人工接管比例rework_rate返工比例pass_rate验收通过比例cost_owner成本归属review_cycle复盘周期排查顺序建议顺序是抽失败请求先看数据层。展开工具调用链再看权限层。画真实流程确认流程层。对照基线最后看验收层。四层都没有明显堵点再进入模型层。模型当然可能有问题但系统排查不能把所有问题都塞进模型。把字段补齐以后模型问题反而更容易被看见。
