如何验证 AI 技能好不好用：一套评估系统完整实战指南

如何验证 AI 技能好不好用一套评估系统完整实战指南【免费下载链接】skillsPublic repository for Agent Skills项目地址: https://gitcode.com/GitHub_Trending/skills3/skills你刚写完一组 MCP 工具让大模型去调用看起来能跑——但到底能答对多少这不能靠感觉。skills 仓库里的 mcp-builder 模块内置了 AI 技能评估能力它把一批测试题交给模型让模型用你的工具作答再逐题对照标准答案输出一份量化报告。从出题到读结果下面走一遍完整流程。先把话说清楚这套评估器在哪它藏在仓库的skills/mcp-builder/目录下核心就是一个脚本skills/mcp-builder/scripts/evaluation.py。工作方式一句话概括连上你的 MCP 服务列出全部工具逐题喂入问题跑完模型的完整调用循环记录每题的答案、耗时和工具调用次数。连接方式支持 STDIO、SSE、HTTP 三种本地进程和远程部署的服务都能测。同目录下的example_evaluation.xml是一个现成的测试文件样例照着写即可。 三步跑通评估第一步装依赖。只有两个包anthropic SDK 和 mcp都在skills/mcp-builder/scripts/requirements.txt里。pip install -r skills/mcp-builder/scripts/requirements.txt第二步准备测试文件。格式是 XML根节点evaluation每个qa_pair里放一个question和一个answer答案就是标准答案原文。第三步执行。本地 STDIO 服务最典型python skills/mcp-builder/scripts/evaluation.py \ -t stdio -c python -a my_server.py my_eval.xml其中-t指定连接方式-c是启动服务的命令-a是传给服务的参数。如果服务部署在远端把-t换成 sse 或 http改传 URL并可以附带自定义请求头做鉴权。测试集怎么出题10 道能验真的题配套的出题指南在skills/mcp-builder/reference/evaluation.md核心要求四条建议一次出 10 道题只读且无害答题只靠查询不修改任何数据。这样评估可以反复跑结果可比。相互独立题目之间无依赖调换顺序不影响答案方便单独复测。答案可精确核对单个数字、ID 或一段确定文本。比如本金 1 万、月息复利 3 年最终金额保留两位小数答案就是一个数字对就是对。答案稳定不随时间变化。别用当前有几条未读消息这种题下次跑结果就飘了。另外两点决定这套测试是否有含金量。一是题目要多跳一道题逼着模型连续调用多个工具才能凑出答案单步查询测不出工具配合的问题。二是避免在题面里写工具字段名用同义词或口语化表述——真实用户往往不知道你的字段叫channel_id只说那个频道。 报告里的四个关键指标怎么读跑完后会生成一份 Markdown 报告用-o参数可以存成文件。顶部是四个汇总值准确率答对的题数除以总题数。注意判分是字符串精确比对所以出题时必须在题面里写死输出格式保留几位小数、只要数字等否则 11614.72 和 $11,614.72 会被判错。平均任务耗时从提问到出答案的总时长。个别题目明显偏慢时翻到该题的工具调用明细看是哪个工具拖了后腿。平均工具调用次数偏少可能说明模型跳步偏多则大概率是工具描述不清晰模型在反复试错。每题的 Summary 与 Feedback这是模型被要求写下的复盘Feedback 部分常直接点名某个工具命名含糊、参数没文档、报错看不懂。整份报告里它最有价值往往直接就是改进清单。模型解不出的题会返回 NOT_FOUND 计为失败失败案例同样值得细看。发现瓶颈、改进、复测的循环评估的价值不在一次分数而在让你能证明改动有效。循环这么做先看失败题模型答错前调用了哪些工具、工具返回了什么瓶颈通常就藏在返回内容里。再看 Feedback 的共性问题如果多道题都在抱怨工具 X 的参数描述不清楚这就是明确信号。一次只改一处比如只重写一个工具的描述然后用同一份测试文件重跑。对比两份报告准确率是否上升、耗时是否下降、工具调用次数是否收敛三项一起看比单看准确率更可靠。测试文件不用动改动的只是你的服务本身。这样每一轮复测的差异才能真正归因到那次修改上。【免费下载链接】skillsPublic repository for Agent Skills项目地址: https://gitcode.com/GitHub_Trending/skills3/skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考