如何用Feynman的rank命令给论文排优先级:PaperRank基于引用与复现证据的科学评分完整指南
如何用Feynman的rank命令给论文排优先级PaperRank基于引用与复现证据的科学评分完整指南【免费下载链接】feynman项目地址: https://gitcode.com/gh_mirrors/feynman/feynmanFeynman 是一个开源 AI 科研智能体它的feynman rank命令内置了 PaperRank 评分引擎输入一个研究主题它会自动检索论文并基于引用证据与复现证据复现性信号给每篇论文算出一个 0–100 的“先读分数”read-first score帮你快速决定该先读哪几篇。这篇文章用尽量少的代码讲清楚它的评分原理、常用参数和输出产物。为什么需要给论文排优先级进入一个新研究方向时你可能会遇到这样的困境搜出来几十篇论文哪篇是奠基工作哪篇是最新突破哪篇虽然引用多但复现困难rank命令把这类判断变成了可审计的确定性流程所有分数都能追溯到 OpenAlex 元数据、本地引用图和全文线索而不是“黑盒直觉”。核心结论PaperRank 不是简单的引用数排序而是六个信号的加权组合 证据审计。快速上手一条命令得到论文优先级列表安装 Feynman 后在终端执行以机制可解释性方向为例feynman rank mechanistic interpretability sparse autoencoders命令会完成四步检索从 OpenAlex 获取与该主题匹配的论文默认最多 25 篇--limit最高 100打分对每篇论文计算六个维度信号加权合成readFirstScore审计生成评分审计、敏感性分析和引用网络图产出把报告和全部中间数据写入outputs/目录命令行入口在 src/cli.ts评分核心实现在 src/rank/paper-rank.ts。评分原理六个信号如何合成一个分数默认权重定义在 paper-rank.ts 的DEFAULT_SCORE_WEIGHTS中维度权重数据来源通俗解释主题相关性 topicalRelevance0.30查询词与标题/摘要/概念的匹配度这篇论文是不是在回答你的问题引用影响 citationImpact0.20OpenAlex 规范化引用百分位在同年份、同子领域中它被引多深图谱声望 graphPrestige0.20本地引用网络的 PageRank它被哪些“枢纽论文”引用引用速度 citationVelocity0.10被引次数 ÷ 发表年数新论文是否正在快速被认可方法论质量 methodologyQuality0.10消融/基线/统计显著性等标记词实验设计是否严谨可复现性 reproducibility0.10开源/代码/数据/开放获取信号别人能不能重跑这个工作几个值得注意的设计细节引用影响优先用规范化百分位一篇 2023 年的论文不会被 2003 年的经典高引论文压垮因为百分位是按“工作类型 年份 子领域”归一化的见 scoreCitationImpact。图谱声望是本地 PageRankFeynman 会把种子论文及其参考文献、引用者连成一张局部引用图再跑 PageRank 风格的名望计算buildCitationGraph。被“枢纽”引用比被一堆边缘论文引用更有分量。引用速度抑制老论文偏置用“每年平均被引次数”衡量让刚发表但势头猛的论文也能进入前排。撤稿惩罚被 OpenAlex 标记为撤稿retracted的论文总分会被强制压到 20 分以下scorePapers。复现证据不只是查代码仓库方法论与可复现性两个维度背后是借鉴 NeurIPS 论文清单Paper Checklist的五项确定性检查PAPER_RUBRIC_ITEMS局限性讨论是否说明了假设、范围与弱点复现路径是否给出复现主结果的路径命令、环境、代码可用性实验细节数据集、基线、指标、超参数是否写清楚统计显著性是否报告了误差、置信区间或方差计算资源是否说明复现所需算力每项检查会在论文的标题、摘要、甚至拉取的全文中定位“证据片段”比如找到了github、reproduce、ablation这类标记词并在审计报告里逐条列出。也就是说“可复现性 80 分”背后能看到具体是哪句话给的证据——这正是它区别于直觉评分的地方。三个可选加深参数按需加证据参数作用--expand-citations 2把被引和引用者论文加入本地引用图让图谱声望更准--full-text-top 3为前 3 名拉取分节全文跑完整检查表后再重打分--critique-top 5为前 5 名生成“优势/隐患/跟进问题”式研究批评--synthesize让模型基于评分证据包写出可审计的模型综合结论示例feynman rank mechanistic interpretability sparse autoencoders --expand-citations 2 --full-text-top 3输出产物分数如何审计一次rank运行会在outputs/下生成一整套可追溯文件产物清单*-paper-rank.md— 主报告排名 先读分数*-scores.jsonl— 每篇论文六维信号明细*-score-audit.md— 评分审计每个分数的解释与证据*-rank-sensitivity.json— 权重敏感性分析*-citation-graph.json与*-graph-explorer.html— 本地引用图HTML 版可交互浏览*-rank.provenance.md— 数据来源账本记录每个字段来自哪个接口敏感性分析排名到底稳不稳PaperRank 会用五套权重档案均衡、影响力优先、方法复现优先、前沿优先、主题优先见 SCORE_SENSITIVITY_PROFILES重算排名把每篇论文标记为stable换任何权重档案排名都不动可以放心按序阅读sensitive部分档案下名次有波动volatile排名对权重高度敏感需要更仔细人工判断这等于给你的优先级列表附带了一份“置信度说明”。适合谁用新方向入门先跑一次rank按 stable 排名从第 1 篇读起文献综述前置用--expand-citations--synthesize快速拿到带证据的综述骨架严谨性要求高的场景查看*-score-audit.md确认高分背后有真实复现证据更多细节可参考 paper-rank.test.ts 的测试用例以及样例数据 openalex-rank.json它们能帮你直观理解一次评分的输入长什么样。【免费下载链接】feynman项目地址: https://gitcode.com/gh_mirrors/feynman/feynman创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考