OpenResearch nanochat瓶颈诊断报告：研究智能体自我诊断案例解析

OpenResearch nanochat瓶颈诊断报告研究智能体自我诊断案例解析【免费下载链接】OpenResearchTurn your coding agents into research agents项目地址: https://gitcode.com/GitHub_Trending/op/OpenResearchOpenResearch是一个把编码智能体Claude Code、Codex、Cursor 等变成研究智能体的本地优先工作区它能让 AI 自主查文献、提假设、跑实验并产出可复核的研究产物。本文以它内置的nanochat 训练演示为真实案例完整拆解一份由研究智能体写出的瓶颈诊断报告——从证据收集、文献对照到给出下一个单变量实验帮你快速理解研究智能体是怎么做科研的。 案例背景一次完整的 nanochat 训练跑完了但模型不太聪明演示脚本会在 Apple Silicon / CPU 上从零训练一个极简 GPT6 层、约 7350 万参数做预训练 SFT 微调最后用chat_cli提问验证。完整执行记录保存在 demo/nanochat/run-output.txt。结果却很有意思当被问法国的首都是哪里时模型先答对了Paris紧接着陷入数字死循环Paris is a city known for its historical and cultural significance. The capital of France is Paris, a 1715,345,345,345,345,345,345...这段答对又复读的现场输出被原样存档在 demo/nanochat/evidence/final-inference.txt。问题来了到底是哪里出了瓶颈换数据换 SFT 配方还是干脆加参数研究智能体没有拍脑袋而是先收集证据。 诊断第一步让证据说话而不是凭感觉OpenResearch 有一条核心技能——实验证据见 agent-skills/orx-evidence/SKILL.md运行的日志和指标就是证据通道如果结果没写在日志里之后就无法复核。围绕这次训练演示保留了一个紧凑的证据包demo/nanochat/evidence/README.md证据文件内容training-metrics.csv逐步的 loss、验证集 BPB、吞吐量共 6500 行evaluation-metrics.json基础模型 BPB 与 CORE 评测任务成绩checkpoints/base/meta_005000.json最终 base 检查点的完整超参数元数据run-manifest.json全部产物清单含字节数与 SHA-256 哈希两条关键证据直接改变了诊断方向损失还在下降训练就停了base 验证集 BPB 从 step 4000 的 1.1878 → 4500 的 1.1743 → 5000 的 1.1658没有出现过平台期——说明模型还没把现有数据和算力吃透。数据量严重不足预训练只用了 8192 万 token对应每参数仅3.53 个 token远低于 nanochat 代码里默认的目标比例 12。nanochat 本身就是一个围绕缩放定律设计的最小训练框架——参数量和 token 量应大致等比例增长。下面这张 IsoFLOP 曲线正是该思想的经典图示来自 nanochat 仓库 demo/nanochat/base/dev/scaling_laws_jan26.png同时base 模型的 CORE 知识评测接近随机水平Wikidata 0.0、OpenBookQA 0.25、Winogrande 0.56而 SFT 后验证 BPB 虽从 1.0174 降到 0.7389却换来的是答对 Paris 后开始复读——典型的拟合了 SFT 分布但没获得广博知识。 诊断第二步对照文献排除换 SFT 数据的干扰项报告没有止步于本项目数据而是引用了四篇经典工作来交叉验证完整引用见 demo/nanochat/reports/nanochat-bottleneck-diagnosis.mdChinchillaHoffmann et al., 2022最优配比约 20 token/参数本项目 3.53 连参考线都不到LIMAZhou et al., 2023知识与推理主要来自预训练SFT 只教如何表达且验证困惑度会在生成质量见顶后继续下降——正好解释BPB 好看但生成复读TinyStoriesEldan Li, 2023极小模型在简化领域内也能生成连贯文本说明小不是复读的唯一原因TAAHGunasekar et al., 2023数据质量能让小模型更高效是后续可优化的轴但不是当前的第一瓶颈。综合结论一句话首要瓶颈是预训练不足模型规模构成次要天花板SFT 数据质量和配方不是主因但过短训练 贪心解码放大了复读现象。 诊断第三步给出下一个单变量实验一份好的瓶颈诊断落点永远是可执行的下一步。报告推荐了一个只动一个变量的消融实验架构d6、分词器、预训练数据、优化器、batch、SFT 配方全部保持不变从头训练至代码默认目标--target-param-data-ratio12约2.78 亿 token / 16992 步对比当前的 8192 万 / 5000 步在 5000、约 11000、16992 步处存检查点逐一报告验证 BPB、CORE 任务和固定提示生成对最终 base 检查点套用同一份 1500 步 SFT 配方报告 ChatCORE 与 MMLU/GSM8K 成绩。这个设计的好处是判据清晰若基准分数大幅提升就继续下一轮 SFT 早停/数据精选若 loss 降了但评测不动下一个瓶颈就是模型容量或预训练领域覆盖——届时应比较同算力下更大深度而不是回头调 SFT。想复现完整工作区可以在新实验中运行 demo/nanochat/base/runs/runcpu.sh。 这个案例给新手的三点启示先证据后结论研究智能体的每一步判断都能追溯到具体的 CSV、JSON 或推理文本证据包甚至记录了每个文件的 SHA-256 哈希保证可复核。瓶颈要单变量地验证同时改架构 数据 SFT你永远不知道是谁起了作用。文献是排除法的工具引用论文不是为了堆引用而是用来排除错误方向、锚定量级参考如 20 token/参数。这正是 OpenResearch 想做的事让 AI 不只是写代码而是走完假设 → 实验 → 证据 → 诊断 → 下一步的完整科研闭环。 延伸阅读路径诊断报告全文demo/nanochat/reports/nanochat-bottleneck-diagnosis.md证据包说明demo/nanochat/evidence/README.mdnanochat 训练框架文档demo/nanochat/base/README.md证据技能如何读运行日志agent-skills/orx-evidence/SKILL.md报告生成技能agent-skills/orx-reports/SKILL.md【免费下载链接】OpenResearchTurn your coding agents into research agents项目地址: https://gitcode.com/GitHub_Trending/op/OpenResearch创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考