Nemo Skills工具调用评估BFCL v3/v4完整使用指南【免费下载链接】SkillsA project to improve skills of large language models项目地址: https://gitcode.com/gh_mirrors/ne/SkillsNemo Skills是一个专注于提升大语言模型工具调用能力的开源项目其中BFCLBerkeley Function Call Leaderboardv3和v4是评估工具调用性能的重要基准。本指南将帮助你快速掌握这两个版本的使用方法从环境准备到结果分析全面提升你的模型评估效率。为什么选择BFCL v3/v4进行评估BFCL v3包含17个不同的评估子集全面测试从简单函数调用到复杂多轮交互的各种工具调用能力。而BFCL v4则在v3基础上进一步优化增加了更多真实场景的测试用例如内存管理和网络搜索等高级功能。无论是开发新的工具调用模型还是优化现有系统BFCL v3/v4都是理想的评估选择。图1Nemo Skills聊天界面演示展示了工具调用的交互过程BFCL v3/v4核心功能对比BFCL v3主要特点包含17个评估子集覆盖简单调用、多轮交互等基础场景提供标准化的函数调用格式和评分标准支持主流模型如Qwen、Nemotron、DeepSeek的评估BFCL v4新增特性引入内存管理和网络搜索等高级测试场景优化评估流程支持自定义函数库扩展增强多语言支持新增Java、JavaScript等语言的测试用例快速开始环境准备1. 克隆项目仓库git clone https://gitcode.com/gh_mirrors/ne/Skills cd Skills2. 安装依赖BFCL v3/v4的评估依赖已包含在项目的requirements.txt中使用以下命令安装pip install -r requirements/code_execution.txtBFCL v3使用指南数据准备BFCL v3的数据集准备脚本位于nemo_skills/dataset/bfcl_v3/prepare.py运行以下命令自动下载并处理数据python nemo_skills/dataset/bfcl_v3/prepare.py该脚本会从GitHub仓库克隆BFCL数据并将其处理为Nemo Skills兼容的JSONL格式存储在对应的数据目录中。执行评估使用Nemo Skills的评估管道执行BFCL v3评估python nemo_skills/pipeline/eval.py --config prompts/config/bfcl_v3.yaml评估结果将保存在results/bfcl_v3目录下包含每个子集的详细得分和总体评估报告。BFCL v4使用指南数据准备BFCL v4的数据准备脚本位于nemo_skills/dataset/bfcl_v4/prepare.py运行以下命令python nemo_skills/dataset/bfcl_v4/prepare.py与v3相比v4的prepare.py共享了大部分处理逻辑但增加了对新场景如内存管理的支持。执行评估BFCL v4的评估配置文件为prompts/config/bfcl_v4.yaml执行评估命令python nemo_skills/pipeline/eval.py --config prompts/config/bfcl_v4.yaml结果分析与可视化BFCL v3/v4的评估结果可以通过Nemo Skills评估工具进行分析。以下是不同模型在数学问题上的准确率对比图2不同规模模型在AIME和HMMT竞赛数学问题上的准确率对比自定义评分逻辑对于需要特殊评分逻辑的场景如BFCL v3的子集分数聚合可以使用专用的评分脚本python nemo_skills/dataset/bfcl_v3/bfcl_score.py --results_path results/bfcl_v3常见问题解决1. 缺少bfcl_eval依赖BFCL评估需要bfcl_eval库支持prepare.py会自动安装。如果安装失败可以手动执行pip install githttps://github.com/ShishirPatil/gorilla.git#subdirectoryberkeley-function-call-leaderboard2. 评估结果聚合问题目前summarize_results工具不支持BFCL v3的自定义分数聚合需要使用专用脚本处理python nemo_skills/evaluation/compute_group_score.py --results_path results/bfcl_v3总结BFCL v3/v4为大语言模型的工具调用能力提供了全面的评估方案。通过本指南你可以快速搭建评估环境执行标准化测试并深入分析模型性能。无论是学术研究还是工业应用Nemo Skills的BFCL评估工具都能帮助你精准衡量和提升模型的工具调用能力。官方文档docs/evaluation/tool-calling.md 评估源码nemo_skills/evaluation/【免费下载链接】SkillsA project to improve skills of large language models项目地址: https://gitcode.com/gh_mirrors/ne/Skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
