蛋白质语言模型与多任务学习：AI驱动抗菌肽发现新范式

1. 项目概述当AI“阅读”蛋白质的进化史最近在《自然·生物医学工程》上读到一篇论文标题是“蛋白质语言模型揭示进化隔绝却极具活性的抗菌肽新家族”。这个标题信息量很大它点出了一个正在生物信息学和药物发现领域掀起波澜的核心趋势我们不再仅仅把蛋白质看作一串氨基酸序列而是开始用自然语言处理NLP的视角去“理解”它。简单来说这篇研究用上了类似GPT训练时处理海量文本的方法去“阅读”了自然界亿万年来写就的“蛋白质进化之书”并从中发现了一个被传统方法忽略的、全新的抗菌肽宝藏。这背后的逻辑其实很直观。蛋白质是由20种氨基酸“字母”按特定顺序排列而成的“句子”。这些“句子”在漫长的进化过程中被不断“撰写”和“修改”蕴含着功能、结构和进化的深层语义。蛋白质语言模型比如这项研究中可能用到的ESM-2就是在数十亿计已知蛋白质序列的“语料库”上进行预训练学习氨基酸之间如何组合、哪些模式是保守的、哪些突变是允许的。它不依赖任何先验的生物学标注如三维结构、功能注释纯粹从序列数据中自我学习从而获得对蛋白质“语言”的深刻直觉。那么“进化隔绝”又是什么意思你可以想象一片未被探索的海洋。传统的抗菌肽发现往往聚焦于那些已知的、有明确家族特征的“近海区域”。比如我们从青蛙皮肤、昆虫血淋巴中发现的抗菌肽通常具有某些共有的模体如两亲性α螺旋、富含特定残基。但“进化隔绝”的序列就像深海热泉或极地冰盖下的生命它们在序列空间里距离这些已知家族非常遥远以至于基于序列相似性的搜索如BLAST根本无法找到它们。它们可能是进化史上一次独特的“创新实验”由于种种原因没有大规模扩散但其功能潜力却被埋没了。这项研究的突破性在于它利用蛋白质语言模型的“语义理解”能力跳出了序列相似性的桎梏。模型能够感知到尽管这些序列在字面上氨基酸组成与已知抗菌肽大相径庭但在“语法”和“语义”如理化性质分布、局部结构倾向、进化约束模式上却可能具备抗菌肽的核心特征。然后研究者再结合湿实验验证最终确认了一个全新的、高效的抗菌肽家族。这不仅仅是发现几个新分子更是打开了一扇通往蛋白质序列空间“未知大陆”的大门为应对日益严峻的抗生素耐药性问题提供了全新的武器库和发现范式。2. 核心技术拆解蛋白质语言模型如何成为“序列侦探”要理解这项研究我们必须深入其核心引擎蛋白质语言模型。它不是单一工具而是一套结合了前沿AI与进化生物学思想的方法论。这里我们重点拆解ESM-2和“多任务深度森林”这两个关键组件看看它们是如何协同工作的。2.1 ESM-2从海量序列中学习“蛋白质语法”ESM-2Evolutionary Scale Modeling是Meta AI团队开发的一系列蛋白质语言模型可以看作是蛋白质领域的“BERT”或“GPT”。它的训练数据来自UniRef数据库包含了数亿到数十亿条不同的蛋白质序列覆盖了整个已知的蛋白质宇宙。它的工作原理可以类比为语言学习掩码学习输入一条蛋白质序列如“MKLPV…”其中每个字母代表一种氨基酸模型会随机“遮住”掩码其中15%左右的氨基酸。上下文预测模型的任务是根据被掩码位置前后的氨基酸上下文来预测被遮住的到底是什么氨基酸。这个过程强迫模型去学习氨基酸之间的长程依赖关系和上下文语义。例如在某些结构环境中疏水氨基酸倾向于聚集在活性位点某些极性或带电氨基酸是高度保守的。表征提取经过海量数据训练后模型内部形成了一个复杂的、高维的“理解”网络。当我们输入一条全新的序列时模型可以为序列中的每一个氨基酸位置以及整个序列输出一个固定长度的向量称为“嵌入”或“表征”。这个向量浓缩了该位置或整条序列的进化、结构和功能信息。注意ESM-2生成的表征是“无监督”的意味着它不依赖于任何昂贵的、人工标注的实验数据如晶体结构、活性数据。这使其特别适合探索未知领域因为我们有海量的未标注序列数据可供利用。在这项抗菌肽发现研究中ESM-2扮演了“特征提取器”的角色。研究者可能将整个蛋白质数据库包括已知抗菌肽和大量未知功能的序列输入ESM-2为每一条序列获取一个高维表征。这个表征而非原始的氨基酸序列成为了后续挖掘工作的“新语言”。2.2 多任务深度森林从表征到功能的“智能筛选器”拿到了海量序列的ESM-2表征后下一个挑战是如何从中精准地“钓”出具有抗菌潜力的序列。这里“多任务深度森林”登场了。深度森林是一种基于决策树集成如随机森林的深度学习替代方案它通过级联多个森林层来处理复杂模式参数更少在小数据集上往往表现更稳健。而“多任务”学习是其关键创新。为什么要“多任务”抗菌活性不是一个单一、纯粹的性质。一个理想的抗菌肽通常需要满足多个条件任务一膜靶向性。能够与细菌带负电的细胞膜发生初始相互作用。任务二两亲性。同时具有亲水和疏水区域便于插入并破坏脂质双分子层。任务三低哺乳动物细胞毒性。对人类的红细胞或其它细胞毒性要低这是药物安全性的核心。任务四可能的特定结构倾向。如形成α螺旋或β片层的倾向。如果为每一个任务单独训练一个模型不仅效率低而且忽略了任务之间的内在关联。多任务学习允许一个模型同时学习预测所有这些相关的属性。在训练时模型会看到每条序列的ESM-2表征以及该序列对应的多个标签如抗菌活性强度、溶血性数据等。模型通过共享底层特征表示并针对不同任务有不同的输出层来同时优化所有任务的预测性能。这样做的好处显而易见信息互补学习膜靶向性的特征可能有助于模型理解低细胞毒性的要求因为两者都涉及与不同细胞膜的相互作用机制。数据效率即使某个任务如详细的构象数据的标注数据很少其他任务如简单的活性有无的丰富数据也能帮助模型学习到更好的通用特征表示。综合评分对于一条新序列模型可以同时输出其在各个任务上的预测分数。研究者可以定义一个综合筛选标准例如抗菌活性预测分高 细胞毒性预测分低 强两亲性从而一次性筛选出“多面手”候选者。在这个研究中研究者很可能用已知的、经过实验验证的抗菌肽及其突变体数据集训练了这样一个多任务深度森林模型。这个模型学会了将ESM-2生成的抽象“序列语义”映射到具体的、多维的生物活性谱上。2.3 进化隔绝的量化“序列空间”的距离测量“进化隔绝”不是一个定性描述在计算生物学中需要被量化。一种常见的方法是计算序列之间的进化距离。传统方法如BLAST的局限BLAST基于局部序列比对寻找高度相似的片段。对于进化上距离遥远、全局相似度很低的序列BLAST会认为它们不相关从而漏掉。基于模型表征的距离使用ESM-2等模型后我们可以计算两条序列在“表征空间”里的距离例如计算两条序列整体表征向量之间的余弦距离或欧氏距离。即使两条序列的氨基酸同一性很低如果它们在模型看来“语义相似”功能或结构可能相似它们的表征距离也会很近。系统发育分析对于筛选出的候选序列研究者会将其与已知抗菌肽家族一起构建系统发育树。常用的贝叶斯方法如文中热词提到的Mega BEAST套件或MrBayes可以推断进化关系。如果新发现的序列形成一个独立的分支且该分支与所有已知抗菌肽家族的最近共同祖先都非常遥远这就从进化上证实了其“隔绝”地位。差分进化等优化算法则可能被用于优化系统发育树构建中的模型参数以得到最可靠的树形结构。因此整个技术流程形成了一个闭环ESM-2将序列转化为富含信息的表征 - 多任务深度森林根据多维功能标签从表征中筛选候选 - 进化分析确认候选序列属于新颖的、隔绝的家族 - 湿实验验证最终功能。3. 实操流程从数据到新分子的发现之路理解了核心原理我们来看一个简化的、可复现的实操流程框架。假设我们拥有一个包含已知抗菌肽的数据集如DRAMP、APD数据库和一个庞大的背景蛋白质序列数据库如UniRef50。3.1 数据准备与预处理正负样本集构建正样本从专业数据库中收集经实验验证的抗菌肽序列并尽可能获取其多维标签数据最小抑菌浓度MIC、溶血率HC50、二级结构等。对这些序列进行去冗余处理如使用CD-HIT序列相似性阈值设为90%。负样本选择明确不具有抗菌活性的蛋白质序列例如人源胞内蛋白、某些酶等。也可以从背景数据库中随机抽取大量序列作为未知样本其中隐含了潜在的阳性样本即我们想发现的新肽。序列格式化将所有序列处理成FASTA格式确保氨基酸字母标准20种标准氨基酸。对于过长的蛋白质可以截取其可能的功能域但对于短肽抗菌肽通常50个氨基酸通常直接使用全长。3.2 生成蛋白质语言模型表征模型选择与加载使用预训练的ESM-2模型。根据计算资源可以选择不同规模的版本如ESM-2 650M参数或更大的30亿、150亿参数版本。更大的模型通常能捕捉更细微的规律但计算成本更高。# 示例代码使用PyTorch和ESM库 import torch import esm # 加载模型和分词器 model, alphabet esm.pretrained.esm2_t30_150M_UR50D() # 以150M版本为例 batch_converter alphabet.get_batch_converter() model.eval() # 切换到评估模式 # 准备数据 data [(protein1, MKALTARQQEVFDLIRDHISQTGMPPTRAEIAQRLGFRSPNAAEEHLKALARKGVIEIVSGASRGIRLLQEE), (protein2, KALTARQQEVFDLIRD)] batch_labels, batch_strs, batch_tokens batch_converter(data) # 提取表征 with torch.no_grad(): results model(batch_tokens, repr_layers[33]) # 提取第33层通常为最后一层的输出 token_representations results[representations][33] # 每个氨基酸的表征 # 获取整个序列的均值表征常用方法 sequence_representation token_representations.mean(0)表征池化对于每条序列我们得到了每个氨基酸位置的表征向量。需要将其聚合为一个代表整条序列的向量。常用方法有取所有氨基酸位置向量的平均值、取[CLS]或 特殊标记位的向量、或者使用注意力池化。平均值池化是最简单稳健的选择也是很多研究的默认方法。3.3 训练多任务深度森林筛选器构建多标签数据集将正样本的ESM-2序列表征作为特征X。将其对应的多个活性标签如log(MIC), HC50, 螺旋性概率等作为多任务的目标Y。负样本的Y值可以设为活性极低或毒性极高的值。模型训练与调优可以使用如deepforest或multi-task-forest等库的实现或者自行构建。核心是建立一个由多个决策树森林层级联的结构每一层接收前一层的特征和原始特征并输出更精炼的特征。将数据集划分为训练集、验证集和测试集。在训练集上训练模型在验证集上监控多个任务的损失如均方误差回归任务或交叉熵分类任务防止过拟合。关键技巧不同任务的重要性可能不同。可以尝试为不同任务的损失函数设置权重例如更看重抗菌活性预测的准确性相对降低对精确结构预测的权重。大规模筛选将整个背景数据库数百万条序列的ESM-2表征输入训练好的多任务深度森林模型。模型会为每条序列输出一组预测值抗菌活性得分、毒性得分等。设定阈值进行筛选例如抗菌活性得分 0.8 且 毒性得分 0.2。3.4 进化分析与候选肽确认序列聚类与去冗余对筛选出的数万条高分序列进行聚类如使用MMseqs2选取每个簇的中心序列作为代表减少数量。多序列比对与系统发育分析将候选代表序列与已知抗菌肽家族序列放在一起进行多序列比对使用MAFFT或Clustal Omega。基于比对结果使用MEGA软件中的最大似然法或邻接法快速构建初步树形观察候选序列的分布。为了获得更可靠的进化时间尺度和支持率使用BEAST2进行贝叶斯系统发育推断。这需要定义进化模型如JTT、WAG和钟模型松弛钟或严格钟。差分进化算法可以作为BEAST2中MCMC采样器的一种优化选项帮助在复杂的参数空间中找到后验分布提高收敛效率。如果构建出的系统发育树显示候选序列形成一个或多个单系群一个共同祖先及其所有后代且该群与任何已知抗菌肽家族的节点距离都很远那么就从计算上强力支持了这是一个“进化隔绝”的新家族。合成与实验验证最后也是最关键的一步。选择进化树上最具代表性的几条候选序列进行化学合成。然后进行标准的微生物学实验测定其对多种革兰氏阳性菌、革兰氏阴性菌的最小抑菌浓度MIC评估其溶血活性对红细胞的毒性并通过圆二色谱CD或核磁共振NMR初步分析其二级结构。只有实验数据才能最终宣告一个新家族的诞生。实操心得整个流程的计算开销非常大。ESM-2推断数百万条序列的表征需要强大的GPU资源如多张A100。多任务深度森林的训练和推断虽然比深度神经网络轻量但处理海量数据时仍需可观的内存和CPU。建议分批次处理数据并充分利用云计算资源。另外阴性样本的选择非常关键不恰当的负样本会导致模型学习到虚假特征降低筛选特异性。4. 影响与展望开启“AI进化”驱动的药物发现新范式这项研究不仅仅是一项具体的发现更是一个强有力的概念验证它标志着计算生物学和药物发现进入了一个新阶段。我们可以从几个维度来看待它的深远影响。4.1 对基础科学的启示重新审视蛋白质序列空间传统上我们对蛋白质功能的理解严重依赖于同源性。如果一个新蛋白与某个已知功能的蛋白序列相似度高我们就推断它可能有类似功能。这种方法非常成功但也构筑了认知壁垒让我们习惯于在已知家族的“灯光”所及之处寻找而忽视了广袤的“黑暗”序列空间。蛋白质语言模型打破了这堵墙。它通过学习进化隐含的“语法规则”建立了从序列到功能的直接映射这种映射超越了简单的序列相似性。这意味着功能预测的范式转移从“像谁就可能是谁”的类比推理转向基于“序列语义”的模型直接推理。进化创新的发现能够系统地挖掘那些在进化史上出现次数极少、但被自然选择偶然“设计”出来的、具有卓越功能的蛋白质变体。这些变体可能是应对新环境压力的“创新方案”。对蛋白质宇宙的重新测绘我们有望绘制一张基于“功能语义相似性”而非“序列相似性”的蛋白质地图揭示不同家族之间意想不到的潜在联系。4.2 对应用领域的变革加速抗菌肽及Beyond的理性设计在应用层面这套“AI挖掘实验验证”的流水线具有极高的可扩展性和通用性。抗菌药物研发的加速器抗生素耐药性是全球健康危机而抗菌肽因其不易产生耐药性的机制物理性破坏膜结构而备受关注。此方法能极大扩展候选分子库发现结构全新、作用机制可能也全新的先导化合物绕过现有耐药机制。扩展到其他肽类药物同样的流程可以应用于发现其他功能的肽类如抗癌肽、抗病毒肽、细胞穿膜肽、信号调节肽等。只需将训练数据中的标签从抗菌/毒性换成相应的活性数据即可。蛋白质工程的导航仪不仅用于发现天然序列还可用于指导设计。例如可以对一个已知抗菌肽的ESM-2表征进行定向扰动在表征空间沿特定方向移动然后通过模型的解码器或配套生成模型反推出可能具有更优性能如更高活性、更低毒性的新序列实现编程进化。这比传统的随机突变筛选要理性、高效得多。理解宿主防御系统的进化通过分析这些新发现的、进化隔绝的抗菌肽在基因组中的分布和上下文可以推测它们是如何产生的例如来自非编码区、重复序列扩增还是结构域重组为了解生物体免疫系统的进化策略提供新线索。4.3 面临的挑战与未来方向尽管前景广阔这条道路仍充满挑战数据质量与偏差模型的好坏取决于训练数据。当前蛋白质数据库存在物种偏差模式生物数据多、功能注释不全、实验数据噪声等问题。如何构建更干净、更平衡、标注更丰富的多任务数据集是关键。模型的可解释性蛋白质语言模型是复杂的“黑箱”。我们如何理解它究竟根据序列的哪些特征做出了判断发展可解释性AI方法将模型的“注意力”映射回具体的序列模体或结构特征对于指导理性设计至关重要。从序列到活性的复杂映射模型目前预测的是体外初级活性。但一个成功的药物还需要考虑体内稳定性是否容易被蛋白酶降解、药代动力学、免疫原性等。将这些更复杂的属性纳入多任务学习框架是未来的难点。湿实验验证的瓶颈计算筛选可以轻松产生成千上万个候选但合成与实验验证的速度和成本是主要瓶颈。发展更高通量的合成与筛选技术如芯片合成、微流控筛选与计算预测形成闭环是推动领域发展的必要条件。我个人在实际操作中的体会是这个领域正处于从“证明概念可行”到“构建标准化管线”的过渡阶段。早期的兴奋点在于用最先进的模型做出漂亮的预测而现在更关键的是构建稳健、可重复、端到端的自动化流程并深入思考如何将生物学先验知识如膜物理化学、受体结构更有效地融入AI模型而不仅仅是端到端的数据驱动。最后与实验生物学家的紧密合作前所未有地重要。计算预测提供的是“高概率假设”而生物学实验才是最终的“法官”。只有两者深度协同才能将AI在序列宇宙中发现的“星光”真正转化为治愈疾病的“灯塔”。