PG-LLM评测基准：大语言模型与蛋白质模型在突变排序上的对决

PG-LLM 这个评测基准核心是回答一个问题把“蛋白突变排序”这类专业任务交给大语言模型LLM来做到底谁更靠谱。它由哈佛大学团队提出定位是面向 LLM 的蛋白突变排序标准化评测基准一次把 13 款主流大模型和 95 款蛋白质领域专业模型放进同一套评测流程里比较。如果你正在关注 LLM 在生物计算里的落地或者需要给突变效应预测做模型选型这篇内容值得看。我不太想把它当作普通论文解说去写。更想拆一拆这类评测到底怎么设计、哪些结论能直接迁移到项目里、哪些地方必须回去看论文原文。尤其是“模型选型”这件事很多人只盯着总排名忽略了数据集划分、指标计算和数据泄漏控制。下面按实际落地时会关心的顺序拆开说。1. 蛋白突变排序为什么需要专门评测基准1.1 蛋白突变排序在做什么蛋白质本质是一条氨基酸序列。序列上某个位置的氨基酸被替换成另一个就叫突变。突变可能对蛋白质功能没影响也可能让蛋白质失去活性、稳定性变差甚至获得新功能。蛋白突变排序就是给一堆突变体排队哪个大概率有害哪个大概率无害哪个更可能带来增益。这个排序在生物医学和蛋白质工程里都很常见。比如在一个致病基因上发现多个错义突变研究员想知道哪个突变最可能影响功能再比如做酶改造设计出几百个突变体不可能全部做湿实验先用计算模型筛一批再进实验验证。这个场景里模型的核心价值不是把每个突变的功能值预测得分毫不差而是把排名靠前的突变尽量排对。实验资源有限最终被验证的通常只有前几名。所以评测这个任务不能只看“预测误差”更关键的是排序质量。这也是 PG-LLM 这类基准为什么专门把“排序”作为中心任务来设计的原因。它和你平时看到的文本分类、阅读理解评测评价逻辑不一样。1.2 从序列保守性到蛋白质语言模型再到通用 LLM早期做突变效应预测主流方法可以分成两类一类基于序列保守性认为进化上越保守的位置突变越危险另一类基于结构或能量计算用物理化学原理推断突变对稳定性的影响。这两条路线在特定场景下表现不错但泛化能力有限换了新蛋白、新功能读数性能波动很明显。后来蛋白质语言模型开始普及。这类模型在大量蛋白质序列上做无监督预训练通过学习进化模式来编码序列信息。比较常见的做法是把掩码语言建模用在蛋白质序列上代表工作是 ESM 家族那一批。它们做突变效应预测的基本逻辑是野生型位置被其他氨基酸替换后模型输出概率的变化可以作为突变效应的打分依据。通用 LLM 进入这个领域思路又不一样。通用大模型不一定经过专门蛋白质数据预训练但通过大规模文本训练能理解“序列、突变、功能”之间的语义关系。比如它可以把蛋白质序列当成一串特殊 token结合少量示例做上下文推理也可以把突变前后的序列差异作为文本输入让模型输出一个评分或排序。这个方向的价值在于零样本和少样本能力很多场景根本拿不到足够多的标签数据来微调专业模型通用 LLM 这时候就有用武之地。1.3 没有标准化评测模型比较就是各说各话现在的问题不是“模型不够多”而是“结果没法比”。有的论文在某个蛋白的 DMS 数据上测了几个模型说自己的方法排名第一另一篇论文换了数据划分、换了指标、换了序列预处理方式得出了完全不同的排名。两边都有道理但放在一起没法横向比较。更麻烦的是很多评测只报告平均值不报告每个蛋白上的单独结果方差大、异常值多、单点拉高均值的情况都被平均值掩盖了。PG-LLM 这类标准化评测基准核心价值就是把模型放进完全相同的任务配置里跑一遍相同的数据集、相同的蛋白划分、相同的指标计算方式、相同的输入输出格式。这样不同模型之间的差异才真正反映模型能力而不是反映评估流程的差异。这也是我读这类论文时最看重的地方比单个排名数字重要得多。2. PG-LLM 究竟评测了什么13 款主流模型和 95 种专业模型2.1 主流模型和专业模型是两条路线标题里的信息是 13 款主流大模型加 95 种专业模型。这里有一个很容易误会的点95 种专业模型不是陪跑不是用来衬托大模型厉害的。它们是蛋白质序列建模领域里真正沉淀了很久的模型很多在单一任务上非常稳。主流大模型和蛋白质专业模型训练目标和数据分布差别很大。专业模型见过大量蛋白质序列对氨基酸共现模式、进化约束、同源关系都很敏感通用 LLM 的优势在于语义理解、上下文学习、多任务泛化和自然语言解释。两者放在一起评测与其说是在争“谁更强”不如说是在回答一个选型问题冷启动做突变排序时直接用通用 LLM 是不是已经够用什么时候还是要回到专业模型我个人的判断是这两者不是替代关系更多是互补关系。通用 LLM 适合快速预览、少样本适应、需要解释性的场景专业模型适合高吞吐批量筛选、序列同源信息丰富的场景。真正要分高下必须靠统一基准。2.2 评测关注排序、分辨和泛化三种能力面对这类评测我会重点看三个能力维度。第一是排序能力。给一个蛋白的全部单点突变模型能不能把实验测得的高功能突变排到前面。这个能力一般用秩相关指标衡量比如 Spearman 或 Kendall tau。它们不看绝对数值只看顺序一致性和突变排序任务的目标很匹配。第二是分辨能力。排序之外模型还得能区分有害突变和中性突变实际应用里经常要先把突变分成几类再决定哪些进入下一轮实验。这一块要看分类指标比如 AUC、PR-AUC、F1。选择哪个指标取决于下游筛选策略如果实验验证成本高就需要高精确率宁可多筛掉一些真阳性也不要让太多假阳性占用实验名额。第三是泛化能力。这是评测里最容易翻车的地方。模型在训练过的蛋白上表现好不一定在未见过的蛋白上表现好。如果评测里每个测试蛋白都和训练数据高度相似那么模型的排序能力其实被高估了。真正可靠的基准会关注模型换个蛋白、换种功能读数之后成绩是否还能稳定。2.3 一次性同场竞技意味着什么把这么多模型一次性跑完工作量并不小。如果每个模型都要做多组提示词配置再配合微调、少样本示例推理次数会非常大。这也是这类基准稀缺的原因之一它需要稳定的工程流程作为支撑。同场竞技还有一个隐藏好处可以更细致地分析“同分不同质”。两个模型全局相关系数可能都是 0.5但一个模型在不同蛋白上表现稳定另一个只在两三个蛋白上特别强其余蛋白都一般。平均值一样实际可用性完全不同。标准化的评测框架可以把每个蛋白、每个突变类型的子成绩单独拉出来让读者看到排名背后的稳定性。3. 一个标准化评测基准通常怎么搭建数据、指标与任务层级3.1 数据来源与划分方式做突变排序评测最核心的数据来源是深度突变扫描实验数据。这个实验技术可以一次测定一个蛋白质几乎所有单点突变的功能效应。一份高质量的 DMS 数据能覆盖几百到几千个单点突变而且带有实验重复和功能读数。把多个蛋白的 DMS 数据合并起来就能形成一个覆盖不同蛋白、不同功能读数的突变效应集合。不过数据多不等于评测质量高。真正决定评测质量的是数据划分方式。常见的做法会区分两类场景。一类是零样本或无监督场景模型不在评测蛋白上做任何微调直接靠预训练知识或上下文学习输出打分。另一类是微调场景允许模型在部分训练蛋白上微调然后预测未见过的蛋白。这两类场景的结果必须分开报告一旦混在一起LLM 在零样本上的优势会被掩盖专业模型经过微调后的局部优势也可能被误读成全局优势。数据划分还需要考虑同源去重。蛋白质序列有很强的家族相似性训练集和测试集如果来自高度同源的序列模型可以通过“记忆近邻”来得分而不是真正理解突变机制。一个可靠的评测基准至少要报告测试蛋白与训练序列的最大同源性上限。没有这一步评测分数就算打得再高也可能在全新蛋白上失效。3.2 指标不只看相关系数很多人在看突变排序论文时只盯着一个相关系数。相关系数确实直观但它只是其中一个维度。我更建议把指标拆成三层来看。第一层是整体排序指标。Spearman、Kendall tau 这种反映的是全部突变预测顺序和实验顺序的整体一致性。它适合快速判断一个模型“大概靠不靠谱”但不能说明头部排名是否精准。第二层是分类指标。把突变按实验测量值切出有害、中性、有益几类然后看 AUC、PR-AUC、F1。这里需要特别注意阈值怎么定。定得太宽分类问题变成简单问题区分度差定得太严又可能让模型在少数极端突变上表现决定整体结果。第三层是头部指标。实际项目中最关心的是排在前 1%、前 5% 的突变是否真的有价值。所以我会看 top-k 覆盖率或前 k 个突变里的真阳性比例。这类指标比全局相关系数更贴近工程使用模型整体排得全对但前几名全是假阳性那也是不可用的。如果你发现一个评测只报告了 Spearman 相关系数没有报告头部指标和稳定性分析那这个结论的参考价值是有限的。3.3 单点突变、组合突变与饱和突变突变排序任务还可以按复杂度继续拆分。单点突变是最基本的任务数据量最大评测也相对公平。深度突变扫描实验能覆盖几乎全部单点突变所以单点突变排序的结果比较可信。组合突变也就是同时改两个或多个位置要复杂得多。组合数量随位点数指数增长实验数据覆盖很稀疏。而且组合突变的效应不等于单个突变效应相加可能存在上位效应两个单独无害的突变组合在一起可能有害也可能产生增益。通用 LLM 能不能捕捉这种非线性关系是一个很有价值的评测方向。饱和突变则是整个蛋白每个位点都换成其他 19 种氨基酸得到一张完整功能图谱。这类数据对整个蛋白的功能约束做了系统刻画适合用来训练和验证模型在罕见替代上的预测能力。不同任务层级难度差异很大。一个模型在单点突变上排名高不代表它在组合突变上也能保持优势。评测基准如果能把这些任务分开报告选型参考价值会大很多。4. 从评测结果到模型选型哪些结论可信哪些要谨慎4.1 排名高不代表所有场景都好用标准化评测的价值在于统一尺度但结论永远有边界。评测里的蛋白种类、突变类型、数据分布不可能覆盖真实世界里的所有场景。一个模型在 PG-LLM 评测集上排名第一只能说明它在这套数据划分、这套指标、这套提示词配置里表现最好。到了自己项目里至少要额外检查三个变量。第一个是目标蛋白和评测蛋白的进化距离。评测数据可能包含一些可溶蛋白、激酶结构域或常见模式蛋白但你要预测的可能是膜蛋白、高度无序蛋白或者来自非模式物种的蛋白。跨物种、跨家族迁移时排名很可能重新洗牌。第二个是功能读数类型。同样是突变效应用细胞生长活力做读数和用结合亲和力做读数难度完全不同。模型对某类读数的偏好可能很强换一种读数方式成绩就会变化。第三个是运行成本和许可要求。一个模型评测分数很高但推理速度慢、需要高端 GPU、许可协议也不适合商用那它在实际项目里可能还不如分数略低但部署简单的替代模型。评测报告通常不会给你计算这笔账这部分必须自己在选型时算。4.2 数据泄漏是这类评测的隐藏问题评测类论文最怕数据泄漏蛋白质序列领域尤其明显。先解释一下泄漏从哪来。蛋白质语言模型的训练数据来自公共序列数据库而很多 DMS 实验数据也来自这些数据库对应的蛋白。如果训练集里包含和测试蛋白高度同源的序列模型不用理解突变机制只要在相似序列上找证据就能得到一个不错的排序分数。这个分数在外人看来很漂亮但换一个没有同源信息的蛋白就彻底失效。通用 LLM 的泄漏链条更隐蔽。预训练语料里可能包含生物数据库摘要、论文全文、维基百科条目这些内容里很可能带蛋白质名称、突变位点、功能描述甚至部分实验结论。模型不一定能逐字记忆但在零样本评测时确实可能通过“见过的知识”而不是“理解序列”来作答。所以读评测论文时我第一优先级看它的数据泄漏控制策略有没有去除高同源序列有没有单独报告训练蛋白和测试蛋白的最大序列一致性有没有在提示词和输入格式上做防止记忆化的设计。如果这些内容都缺失总排名再高也得存疑。4.3 冷启动、批量筛选和可解释性场景怎么选结合前文的细节选型可以按场景来做。冷启动场景只有一条野生型序列和一批突变候选没有足够的外部标签数据我建议优先考虑通用 LLM 的零样本能力。它不依赖额外标注可以快速给出一个可用的排序。尤其在突变位置可能处于某个关键结构域、而你在意语义解释时LLM 可以把背景知识带进推理过程。批量筛选场景要处理几千个蛋白、几十万突变我建议先跑专业模型或小参数模型做全量初筛。这类模型推理快、显存占用低、部署简单适合做第一遍过滤。真正排在最前面的少量突变再交给更强的通用 LLM 做精排和解释这种“初筛加精排”的流程比全部交给大模型更现实。可解释性要求比较高的场景比如要向上汇报或者要写实验方案通用 LLM 有明显优势。它能输出自然语言理由这个突变为什么有害、位点是否保守、是否位于已知功能区域。传统打分模型只能给一个数字解释起来需要额外做后处理。5. 想复现或继续实验环境准备、操作步骤与常见坑5.1 环境和依赖先看文档再装版本我不太建议直接照搬任何模板命令去复现这类项目因为项目文档更新很快而且不同操作系统、不同 GPU 环境差异很大。通用流程是有的但具体版本要依赖项目文档。准备环境时通常需要这些组件Python 环境建议 3.10 或更高。深度学习框架比如 PyTorch版本以模型仓库要求为准。评测脚本或 notebook用来读取突变数据、调用模型、计算排序指标。足够的内存和显存。显存大小决定你一次能跑多少条序列、多大的批大小。如果调用通用 LLM还要考虑模型权重路径、上下文长度、并发限制、密钥或本地推理服务。这里最容易踩的坑是版本不匹配。比如新的项目代码可能依赖 transformer 库的某个大版本而你的环境里已经装了一个不兼容版本导入报错或者运行结果异常。先读官方文档把自己环境里的关键依赖版本列出来再装项目依赖这是最稳妥的顺序。5.2 从单样本到完整评测的推进顺序复现评测类项目我建议按下面这个顺序推进不要一上来就跑全量。第一步准备数据。把突变数据整理成统一格式至少包含蛋白 ID、野生型序列、突变类型列表。如果数据集包含实验测量值一起整理进来。文件格式建议用纯文本 CSV 或 TSV编码用 UTF-8尽量不加额外注释避免解析出错。第二步跑通单样本。取一个蛋白拿一个突变位点让模型输出一个打分。这一步的目的不是看效果而是确认输入输出格式正确。很多问题在这一步就能暴露比如序列被截断、token 化异常、模型把输入当成了普通文本。第三步跑通单蛋白排序。对同一个蛋白下的几十个突变批量生成打分然后和实验测量值计算 Spearman。如果这一步结果方向和论文方向基本一致说明流程正确。如果完全相反或者接近 0先检查数据对齐不要急着怀疑模型。第四步扩展到多个蛋白。遍历测试列表记录每个蛋白上的单独成绩再汇总平均。这一步要特别关注每个蛋白的样本量和异常值。实验噪声大的蛋白相关系数低可能不是模型的问题而是数据本身波动太大。第五步输出结构化报告。至少包含每个蛋白的相关系数、AUC、top-k 头部召回以及去掉低质量样本后的稳定性分析。有了这份报告后续换模型、调参数或加提示词时才有一个可对照的基线。5.3 常见报错与排查链路复现此类项目报错通常集中在几个位置。先看输入。输入格式不正确是最常见的问题。蛋白序列里如果混入空格、换行符或者非标准氨基酸字符模型可能静默过滤掉很多样本导致输出全空或者样本量严重缩水。突变位置越界、突变前后氨基酸不一致也会造成结果错位。再看模型加载。权重路径、缓存目录、模型文件是否完整都是首要检查项。很多报错看起来是代码问题实际是权重没有下载完整或者路径写错。再看资源占用。显存溢出时把批大小调小或者把序列和突变分片处理而不是一次性塞入。内存不足时优先检查是不是把整个数据集都加载到了内存里改成流式读取或分批处理更稳。再看指标计算。排序指标对顺序错位非常敏感。如果预测结果和真实值没有按同一个突变键对齐相关系数会严重偏低。最稳妥的做法是始终使用“蛋白 ID 突变字符串”作为唯一对齐键。最后看随机性。如果同一个模型跑两次结果差异很大通常不是模型本身问题而是随机种子或 LLM 采样温度没固定。评测场景下温度该设为 0关闭随机采样。注意评测类任务里“能跑”和“跑得对”是两件事。先在小样本上反复核对中间输出再扩大数据规模这是最省时间的路径。6. PG-LLM 的价值与局限我的个人判断6.1 最大的价值是给模型比较提供了公共底盘我认为 PG-LLM 这类基准最有价值的地方不是给出一个最终排名而是给蛋白突变排序研究提供了一个公共底盘。以后任何人提出新模型都可以先在这个基准上跑一遍对比的起点是一样的。团队之间讨论方案时也可以直接引用同一套评测结果而不是各说各话。这对中小团队尤其重要。他们没有足够的计算资源和人力去完整测试几十个模型有一个可靠的外部基准就能快速缩小候选范围。先看基准上哪些模型值得进入备选池再在自己的目标蛋白上做一个几十个突变的小规模验证选型效率会高很多。6.2 局限时效性、成本和湿实验验证标准化评测的局限也很明显。第一是时效性。DMS 实验数据越来越多模型也在持续更新。一个评测基准发布之后如果不定期维护新模型很容易在旧数据上失真。排行榜上的第一名很可能只是“当时的第一名”三个月后就不一定了。第二是计算成本。13 款主流模型加 95 种专业模型的全量评测背后是大量推理和资源消耗。如果要加入微调、多组提示词配置、多次随机种子重复成本还会更高。评测质量好不代表普通用户能按同样规模复现。第三是湿实验验证缺失。计算排序的最终目标是帮实验人员缩小候选范围但排得好不等于在细胞、动物或临床环境里一定有效。这不是评测基准的错而是所有计算预测都要面对的共同边界。所以我的建议是把这类基准当作进入实验前的初筛不要当作临床决策的直接依据。6.3 我会怎么使用这套基准如果我现在要基于 PG-LLM 做模型选型会先做三件事。第一去官方来源找数据拆分和同源去重策略确认数据泄漏控制做到位。这一关如果过不了后面都不用看。第二不看总排名而是把所有蛋白的子成绩拉出来看稳定性。如果冠军模型只是靠两三个蛋白拉高均值其他蛋白表现平庸我会直接换候选。第三在自己的目标蛋白上做一个小规模测试20 到 50 个突变就够。这个小测试不需要追求完整只需要验证模型在目标数据上的排序方向是否合理。项目时间再紧张这一步也值得做。最后说一个经验。这种排名型论文很容易给人错觉排名靠前就一定要用。但真实落地时模型性能只是一个因素。推理成本、许可协议、部署难度、数据隐私、可解释性每一个都可能成为卡点。基准负责帮你做初筛剩下的路还是要自己在实际样本上走一遍。先把小样本跑通再逐步放大这个顺序永远不过时。