这项由南京大学、StepFun、ZODA、上海人工智能实验室及华中科技大学联合开展的研究以预印本论文形式于2026年6月22日发布论文编号为arXiv:2606.22883研究成果以CLI-Universe为核心聚焦于如何为终端代理型AI模型提供高质量的训练数据。**当AI学干活却没有好教材**AI大模型如今已经能做很多事情——写代码、回答问题、帮你规划行程。但有一类更进阶的能力叫做终端代理说白了就是让AI像一个真正的程序员或系统管理员一样直接在电脑的命令行界面里操作安装软件、调试程序、分析数据、破解安全漏洞……这不是简单地回答怎么做而是真正地动手做。这类能力的训练需要大量真实可用的练习题。每道题不仅要有清晰的任务要求还要有一个可以自动判断AI做对没做对的评测机制甚至还要有一个标准答案过程供AI参考学习。问题在于这样的高质量训练数据极度稀缺。以往的做法就像是把一堆旧教材扫描进教室让学生凑合着学。研究人员会去GitHub上扒代码仓库从文档里提取任务把现成的错误日志改造成调试练习——这些材料本来就不是教学用的强行当题目用结果要么题目描述含糊要么答案路径浅显要么判分标准漏洞百出AI从中得到的训练信号非常弱。南京大学等团队面对这个困境决定从源头重建这套教材制作流水线他们将这套系统命名为CLI-Universe。**一、像课程设计师一样从零规划每一道题**CLI-Universe的核心思路与传统方式完全相反。传统方式是有什么材料就出什么题而CLI-Universe是先想清楚要考察什么能力再去专门设计对应的题目。这就像是一个优秀的教务主任先写好课程大纲再让老师按大纲备课而不是让老师随手抓一本书就开始上课。这套系统将每道题的设计锁定在四个维度上。第一个维度是领域也就是这道题属于哪个技术范畴——是软件工程、调试、系统管理、文件操作、安全渗透、数据处理、数据查询、数据科学、科学计算、数学、优化、机器学习、模型训练还是视频处理、网页接口、游戏或个人助手。第二个维度是技能类型描述解题需要什么专项知识——是算法设计、数据处理、系统底层、配置管理、Shell脚本、数学推导、部署运维还是密码学。第三个维度是能力描述解题过程中AI需要展现哪种推理行为——比如主动探索环境、拆解子任务、从错误中恢复、遵守规格要求、维持长上下文记忆、长期规划、在多个约束间平衡或是逆向分析。第四个维度是工程支柱描述这道题的工程性质——是从零创造新功能、调试修复缺陷、系统底层编程、DevOps部署还是在已有代码上迭代或重构。系统从这四个维度的组合中随机采样生成锚点然后在这个锚点框架下头脑风暴出具体的题目候选。候选题目还会经过创意性、技术扎实性和可行性三方面打分只有高分题目才能进入下一阶段。**二、用真实技术资料喂饱每一道题**光有框架还不够。一道只有抽象描述的题目就像是一道只有烤一个蛋糕几个字的菜谱根本无法落地操作。CLI-Universe的第二步是让一个专门的调研代理去网上搜集与这道题相关的真实技术材料。这个调研代理会去GitHub搜索相关代码仓库去官方文档查阅接口规范去开发者论坛寻找真实的报错案例去教程网站找实际操作示例。它把这些真实材料里的工具用法、限制条件、已知坑点和输入输出规范一点一点地融入题目描述中把一道抽象的练习题磨炼成一道有血有肉的真实任务。这个过程的效果是可以量化的。研究团队发现经过调研代理深度打磨的题目AI在解题时平均需要18.43次操作步骤而未经打磨的题目只需5.34步——这说明打磨后的题目确实更难、更贴近真实工程复杂度。与此同时AI的解题通过率从68.2%下降到了54.9%降低了13.3个百分点。这听起来像是坏事但实际上是好事通过率降低恰恰证明题目变难了、更有区分度了而不是随随便便就能蒙混过关。每道打磨好的题目最终会形成一份蓝图包含三个核心部分对外给AI看的任务说明书、仅供内部构造参考答案使用的提示信息以及后续搭建测试环境所需的环境清单。蓝图完成后还要经过质量验证确保任务描述足够清晰、任务设计可以被可靠测试。通过引入评分标准后人类评审员的接受率从72%提升到91%AI评审员从75%提升到93%两者高度一致。**三、把每道题装进独立的练习沙盒**光有题目描述还远远不够。AI做题的时候需要一个真实可操作的环境——有正确的文件放在正确的位置有必要的软件包预先安装好有配置好的服务在后台运行。这就像是考试不仅要发试卷还要准备好实验室、试管和药品。CLI-Universe的第三步是根据蓝图里的环境清单在Docker容器可以理解为一个轻量级的隔离虚拟机里搭建每道题的专属运行环境。这个过程分两个子阶段。第一个子阶段是资产准备。系统会按照蓝图要求去网上下载对应的代码仓库、数据集、配置文件、日志样本等原始材料。下载回来的材料往往不能直接用需要做格式标准化、注入人工错误、调整参数设置或者裁剪内容范围。如果网上找不到合适的现成材料系统会直接合成——生成带有已知正确答案的受控变体数据以及后续测试所需的验证元数据。第二个子阶段是环境组装。所有资产被打包进Docker镜像所有依赖库被固定版本安装所有配置参数被精确设置文件路径和组件间的引用关系被逐一核验。环境组装完成后系统还会运行一轮冒烟测试检查依赖是否安装成功、服务是否正常启动、文件结构是否符合预期、基本功能是否可以走通。通不过冒烟测试的环境直接丢弃。**四、三重过滤只保留真正有价值的题目**即便环境搭好了也不等于这道题就能用。CLI-Universe设置了三道质量关卡把不够好的题目挡在门外。第一道关卡是测试用例的构建。一个独立的测试代理在不知道参考答案是什么的情况下为这道题生成一套自动化测试脚本。测试脚本要覆盖任务的正确性、确定性和边界情况。测试代理会反复检查自己写的测试用例对照一套质量评分标准包括是否能准确判断任务完成、每次运行结果是否一致、是否覆盖了关键边界情况来迭代打磨直到测试套件稳定可靠。为了验证这套测试机制的有效性研究团队把同样的测试构建流程应用到Terminal-Bench 2TB2这个公开评测集的89道题上发现用CLI-Universe方法生成的测试套件与TB2官方测试套件的吻合度达到91%若用AI作为语义匹配评审员吻合度为88%。这说明这套流程生成的测试与人工精心设计的测试在质量上高度接近。第二道关卡是参考答案的生成。另一个独立的解题代理在拿到环境和内部提示信息后生成一条完整的解题轨迹。这条轨迹只有在能通过所有测试用例的情况下才会被保留为训练数据。第三道关卡分为两层。第一层叫提示依赖过滤系统让另一个代理在不给提示的情况下尝试这道题只有那些不给提示必然失败、给了提示才能成功的题目才会留下来。这排除了那些太简单、随便做做就能过的题目——这类题对AI来说没有训练价值。第二层叫失败到通过验证必须验证在初始环境下测试是失败的在执行完参考解题轨迹后测试是通过的形成一个清晰的从不行到行的状态转变。这避免了两种问题一是测试太宽松初始状态就能通过说明这道题根本没有挑战性二是参考解法是假的其实根本没有解决问题。经过从候选生成到最终验证的完整流水线大约三分之二的候选题目被淘汰。具体来说创意阶段会淘汰30%蓝图验证淘汰14%环境搭建失败淘汰14%最终可执行验证再淘汰8.4%。最终只有33.6%的候选题目能够存活下来被收录进数据集。**五、用6000条数据训练出超越千亿参数模型的AI**研究团队用这套流水线生成了高质量题目和对应的解题轨迹最终筛选出6000条成功轨迹构成CLI-Universe-6K数据集。这些轨迹由Kimi-K2.6一个大型前沿模型担任教师由它在这些题目上操作产生的成功操作过程就是训练数据。用这6000条数据微调Qwen3系列模型一个有8B、14B、32B三种规格的开源模型系列结果令人瞩目。在Terminal-Bench 2.0TB2.0这个专门评测AI终端代理能力的权威基准测试上32B规模的CLI-Universe模型得分达到33.4%。这个数字意味着什么在所有用开源数据训练的、参数量不超过320亿的模型中CLI-Universe-32B排名第一——超过了同等规模的SkillSynth-32B29.6分、Nemotron-Terminal-32B27.4分和TerminalTraj-32B22.0分。更出乎意料的是它还超过了一批参数量比它大十倍甚至百倍的模型4800亿参数的Qwen3-Coder得了23.9分而高达1万亿参数的Kimi-K2-Instruct得了27.8分均不及CLI-Universe-32B的33.4分。与此同时未经专项数据训练的Qwen3-32B原版在TB2.0上只有3.4分经过CLI-Universe-6K微调后飙升到33.4分提升了整整30个百分点。性能提升随着模型规模单调递增8B模型从2.5分提升到10.9分8.414B模型从4.0分提升到23.0分19.032B模型从3.4分提升到33.4分30.0。这个趋势说明更大的模型从同样的训练数据中提取出了更多价值而且目前还没有到达饱和点。当然与最顶尖的商业模型相比仍有差距Claude-Opus-4.5得分57.8Gemini 3 Pro Preview得分56.9GPT-5.2得分54.0这些模型依然领先。**六、拆解每个零件看看哪块最关键**研究团队对CLI-Universe的各个组成部分做了消融实验——通俗地说就是轮流拆掉某个零件看看机器还能不能正常运转以此判断每个零件的价值。实验在Qwen3-32B上以1000道题的子集进行。完整系统的得分是26.7分。拆掉资产策略即精心准备的环境材料后分数跌至20.5分损失了6.2分这是三项中最大的损失说明多样化、精心设计的环境是题目质量的核心驱动力。拆掉查询评分标准即题目描述的质量控制机制后分数跌至23.3分损失了3.4分说明哪怕环境和测试都到位题目问题本身的质量仍然是学习效果的天花板。拆掉测试用例评分标准即测试套件的质量控制后分数跌至22.8分损失了3.9分说明高保真的自动化测试对于产生有效训练信号至关重要。三个组件各自独立地贡献了显著的性能它们是互补关系而非冗余关系。在数据选择策略上研究团队比较了两种方案保留所有10000条轨迹不论成功与否对比只保留6000条成功轨迹。结果是只保留成功轨迹的效果33.4分明显优于保留全部轨迹28.2分高出5.2分。这说明失败和不完整的操作轨迹会给训练引入噪声在当前模型规模下数据质量比数据数量更重要。在教师模型的选择上用Kimi-K2.6生成轨迹的效果33.4分略优于用DeepSeek-V4-Pro生成轨迹31.2分但差距不大说明这套流水线对具体前沿模型的依赖度较低换一个优质的教师模型也能得到接近的效果。**七、能力有没有真正泛化到其他场景**一个合理的疑虑是CLI-Universe的训练数据是否只让AI在Terminal-Bench这个特定评测集上刷了高分在其他场景下仍然不行研究团队在两个完全不同的评测集上进行了验证。在BFCL v4一个测试函数调用能力的评测集上CLI-Universe-32B以58.0分超过Qwen3-32B原版的46.7分提升了11.3分CLI-Universe-8B相比Qwen3-8B提升了7.0分。在VitaBench一个测试多轮工具使用能力的评测集上CLI-Universe-32B以27.0分超过Qwen3-32B的15.4分提升了11.6分8B版本提升了1.1分。这两组数据表明CLI-Universe训练出的能力——工具调度、环境状态追踪、多步规划——在不同的任务场景下都能发挥作用而不是对某个特定评测集的过拟合。在TB2.0的细粒度分类分析中Qwen3-32B基线几乎在所有类别上都接近零分而CLI-Universe-32B则在大多数类别上取得了实质性突破。提升最大的几个类别包括数据处理62.5分、机器学习50.0分、数据查询50.0分、模型训练43.8分、系统管理41.7分和安全37.5分。仍有挑战的类别是视频处理和游戏在32B规模下均为零提升这指向了未来数据扩展的方向。**八、AI出错的时候究竟在哪里出错**研究团队对Terminal-Bench 2上的失败案例做了深入分析建立了一套包含9种具体失败模式的分类框架归属于三大类执行层失败、连贯性失败和验证层失败。对于Claude-Opus-4.6、GPT-5.3-Codex、GLM-5、DeepSeek-V4-Pro这四个顶尖商业模型失败的主要原因都集中在验证层占比从47%到60%不等。这意味着这些顶尖模型在执行任务时往往能走到终点附近但问题出在它们没有正确验证自己的工作成果就宣布完成了。具体来看Claude-Opus-4.6更多表现为弱验证做了检查但检查太粗糙错误没被发现占比36%GPT-5.3-Codex则更多表现为没有或错误地进行验证直接跳过验证步骤占比47%。CLI-Universe-32B的失败画像与顶尖模型截然不同。验证层失败降到了27%而执行层失败上升为最大的失败类别占比44%。其中最突出的具体失败模式是步骤重复从顶尖模型的0%到7%飙升到23%。这说明CLI-Universe-32B更容易在任务进行中陷入循环——反复执行同一个操作却无法推进——而不是像顶尖模型那样做到七八成就草草结束并跳过验证。研究团队还给出了每种失败模式的详细案例。比如步骤重复的案例中AI需要从网上下载一个特定版本的源代码但找不到下载链接于是它反复执行同一条curl命令达165次虽然在推理文字里写着换个方法但实际执行的命令从未改变。任务偏离的案例中AI需要写一个正则表达式配置文件但它花了整整10轮都在用Python调试棋盘状态目标文件一行都没有写。推理与行动不一致的案例中AI在分析文字里三次写道应该用逆向分析法但实际写出的攻击代码始终是暴力枚举的正向搜索两者矛盾从头到尾没有解决。归根结底CLI-Universe做的事情就是在AI学习干活这件事上把题库从一堆拼凑的旧材料升级为了一套精心设计的专项训练课程。它的核心逻辑是与其拿更多平庸的题目堆量不如用严苛的设计流程和多重质量过滤保证每一道题都真正有训练价值。实验结果证明6000道这样的高质量题目足以让一个320亿参数的模型在某个专项能力上超越那些参数量比它大三十倍的对手。这当然不是终点。与Claude、GPT等最顶尖商业模型之间的差距仍然存在。数据集只有6000条轨迹扩大规模或许能进一步释放潜力。整条流水线依赖的LLM代理自身的能力上限也决定了合成数据质量的天花板。此外视频处理、游戏等类别目前仍是空白说明任务覆盖范围还有扩展空间。有兴趣深入了解完整方法和实验细节的读者可以通过arXiv编号2606.22883查阅完整论文。QAQ1CLI-Universe和普通数据合成方法有什么区别A普通方法是把现成的代码仓库、文档、错误日志改造成训练题目这些材料本来不是为了教学设计的质量难以保证。CLI-Universe反过来先设计好要考察的能力维度再通过研究代理搜集真实技术材料来充实题目最后用多重可执行验证过滤掉低质量题目整个流程会淘汰三分之二的候选只留下真正有价值的部分。Q2CLI-Universe-6K的6000条数据是怎么得到的ACLI-Universe流水线先生成了更多候选题目和测试环境然后让Kimi-K2.6这个前沿大模型在这些题目上实际操作记录它的完整操作过程作为轨迹。只有那些成功通过所有测试用例的轨迹才会被保留最终精选出6000条成功轨迹构成训练数据集。Q3Terminal-Bench 2.0是什么评测基准ATerminal-Bench 2.0是一个专门评测AI在命令行终端环境中完成复杂任务能力的权威基准测试由人工精心设计涵盖软件工程、调试、系统管理、安全分析、数据处理等多个专业领域任务运行在隔离的Docker容器环境中通过自动化测试判断AI是否真正完成了任务。
