DeepEvidence: Empowering Biomedical Discovery with Deep Knowledge Graph Research——通过深度知识图谱研究赋能生物医学发现

DeepEvidence是一个专门针对生物医学知识图谱设计的“深度研究”AI智能体框架旨在解决生物医学知识分散、异构、难以整合的痛点通过系统化的知识图谱探索和推理加速从药物发现到临床应用的完整生物医学研究生命周期。一、研究背景与问题核心挑战生物医学知识图谱如KEGG、Gene Ontology、OpenTargets、PubMed等海量且异构结构各异、持续演化、互操作性差现有通用“深度研究”系统如OpenAI DeepResearch主要依赖互联网文本缺乏对结构化知识图谱的深度利用传统方法整合这些资源需要大量人工难以规模化研究问题能否设计出能系统化探索异构生物医学知识图谱的AI智能体以揭示其中微妙的关联支撑现代生物医学发现二、DeepEvidence 系统架构2.1 核心设计理念采用协调器-子智能体架构核心是一个协调器Orchestrator动态规划研究策略委派任务给两个互补的专门子智能体并通过一个持续更新的证据图谱Evidence Graph来结构化记录整个过程。2.2 两个核心研究智能体智能体功能工作方式BFRS广度优先研究广泛、多图谱实体搜索快速扫描一跳邻域捕捉广泛的候选实体和关系DFRS深度优先研究多跳、证据聚焦的推理对重要实体进行深度探索追溯引文链构建综合证据二者通过桥接实体Bridge Entities实现跨异构知识图谱的关联。2.3 技术支撑统一API接口覆盖17个生物医学知识库基因、疾病、药物、出版物、临床试验等执行沙盒智能体可在其中编写和执行代码进行程序化数据检索、提取和分析确保高效和可重复性证据图谱记忆增量式构建记录实体、关系和来源提供透明、可审计的推理轨迹完全可操控用户可指定领域约束或提供专家先验来引导研究三、实验评估3.1 开放基准测试表现DeepEvidence在四个知名基准上均取得最优成绩显著优于Biomni、ToolUniverse、GPT-5和Sonnet-4.5等强基线基准任务DeepEvidence最优基线任务特点HLE-医学40.0%20.0% (Biomni)通用医学知识文献推理LabBench-LitQA280.0%48.0% (Sonnet-4.5)出版物证据检索与综合SuperGPQA-医学-困难47.1%43.6% (Sonnet-4.5)困难机制推理TrialPanorama-EvidenceQA96.0%88.0% (Sonnet-4.5)临床试验证据推理关键发现基线智能体虽然也能访问大量API但通常只做浅层探索且易产生“工具混淆”DeepEvidence的结构化BFRS-DFRS探索配合证据图谱实现了更深入、更可靠的推理。3.2 全生命周期应用——四大阶段1药物发现——靶点识别任务为给定疾病识别有前景的治疗/诊断靶点准确率DeepEvidence68% Biomni 56% LLM 42% ToolUniverse 40%优势系统化探索精选知识源跨数据库确认基因身份增量式构建证据图谱2临床前研究——机制推理涵盖作用机理解释、信号串扰分析、转录组数据解读、磷酸化蛋白质组学评估等现实场景。准确率DeepEvidence72% 通用LLM 52% Biomni/ToolUniverse 44%优势更好整合多样实验证据为连贯的生物学机理解释3临床前研究——体内代谢通量响应预测任务预测酶抑制后肿瘤队列的代谢通量抑制效果准确率DeepEvidence80% Biomni 68% LLM 60% ToolUniverse 52%优势更可靠地将靶酶与通路级依赖对齐证据基础扎实4临床试验开发子任务DeepEvidence最优基线说明样本量估算68%32% (ToolUniverse)综合类似试验的设计模式药物方案设计52%36% (Biomni)检索FDA参考文献综合历史剂量与毒性数据替代终点发现F1 73.3%61.9% (ToolUniverse)准确区分上下游关系机制基础更扎实5循证医学——证据缺口发现任务识别系统综述更新时应纳入的新临床试验缺口检测率Top-30DeepEvidence90% Biomni 50% ToolUniverse 15% PubMed-LLM 10%召回率DeepEvidence44.14% Biomni 30.17% ToolUniverse 5.06% LLM 2.67%工作机制解析DeepEvidence模拟人类综述者流程——①识别核心疾病实体→②映射相关药物→③广度探索系统综述和RCT→④深度追溯引文网络→⑤构建证据图谱→⑥基于图谱聚类和筛选→⑦输出优先排序的合格试验。其优势在于整合了疾病/药物知识图谱增强文献检索并通过证据图谱作为研究优先排序的“脚手架”。四、与既往工作的区别维度传统方法DeepEvidence知识图谱角色作为辅助结构辅助文本检索作为深度研究的核心操作对象检索方式以文档为中心直接在基因、疾病、药物、通路等实体上操作推理过程不透明/依赖模型隐式推理显式构建证据图谱透明可追溯跨资源整合依赖人工对齐通过桥接实体和统一API自动跨图谱关联五、局限性与未来方向当前局限知识库覆盖仍不完整基准任务仅覆盖部分研究场景当前依赖精心整理的知识图谱KEGG、GO等对含缺失值或结构不一致的内部图谱适应不足BFRS/DFRS两种策略虽优于通用方法但未必最优尚未达专家水平目前以文本模态为主未来展望赋予智能体构建新工具的能力适应内部/私有图谱让智能体通过自我学习发现更优的研究策略扩展至多模态数据影像、结构生物学、蛋白质组学与人类专家深度协作成为可验证、可解释的深度研究伙伴DeepEvidence证明了一个以结构化证据图谱为核心记忆、以广度优先和深度优先为互补探索策略、以统一API和执行沙盒为技术底座的多智能体框架能够系统性地利用分散在多个异构生物医学知识库中的海量信息为贯穿药物发现→临床前研究→临床试验→循证医学的完整研究生命周期提供基于证据的、透明可追溯的深度研究能力是知识图谱驱动生物医学深度研究的重要里程碑。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示数据集地址在这里如下所示项目地址在这里如下所示摘要生物医学知识图谱编码了涵盖文献、基因、通路、药物、疾病和临床试验的海量异构信息但将其集体用于科学发现仍然困难重重。它们结构各异、持续演化且跨资源对齐有限需要大量人工整合限制了知识探索的深度和广度。我们推出了 DeepEvidence一个旨在对各类异构生物医学知识图谱进行“深度研究”的 AI 智能体框架。与主要依赖互联网规模文本的通用深度研究系统不同DeepEvidence 整合了专门的知识图谱工具和协同探索策略以系统性地桥接异构资源。其核心是一个协调器orchestrator指导两个互补的智能体广度优先研究BFRS智能体用于广泛的、多图谱实体搜索以及深度优先研究DFRS智能体用于多跳的、以证据为中心的推理。一个内部构建的、增量式更新的证据图谱为检索到的实体、关系和支持证据提供了结构化记录。为了大规模运行DeepEvidence 包含了用于查询多样化生物医学 API 的统一接口以及一个支持程序化数据检索、提取和分析的执行沙盒。在已建立的深度推理基准测试和生物医学发现生命周期的四个关键阶段药物发现、临床前实验、临床试验开发和循证医学中DeepEvidence 在系统性探索和证据综合方面均展现出显著优势。这些结果凸显了知识图谱驱动的深度研究在加速生物医学发现方面的潜力。引言知识图谱现已成为当代生物医学发现的基石支持文献挖掘、化学和药物注释、基因和蛋白质表征、通路分析以及疾病-表型理解等任务。突出的例子包括用于出版物衍生知识的 PubTator [1] 和 PKG [2]用于通路和功能注释的 KEGG [3] 和 Gene Ontology [4]用于基因-疾病关联的 OpenTargets [5]以及用于统一化学和基因注释的 BioThings [6]。这些知识库共同为生物医学实体、关系和注释提供了丰富且互补的表示支撑着现代研究工作流程。然而将它们集体利用起来仍然极具挑战性它们在结构上差异显著不断演化且很少能无缝对齐导致互操作性有限使得跨资源推理在实践中变得困难。因此整合、对齐或遍历这些异构知识图谱仍需大量人工努力而现有的标准化或合并计划也劳动密集且难以大规模维持。将人工智能AI智能体融入生物医学研究已成为一个快速增长的兴趣领域应用范围遍及系统文献综述 [7, 8]、基因组学研究 [9, 10]、空间生物学 [11]、生物标志物发现 [12] 等领域。这一趋势的核心是 AI 科学家的概念即由大语言模型驱动的智能体它们与多样的科学知识源和计算工具交互以简化、增强或自动化研究过程的组成部分 [13-15]。伴随这些努力也开发了几个通用型生物医学智能体 [16, 17]。在此背景下“深度研究”代表了一类基于 LLM 的智能体能够通过自主搜索、推理和综合来自文献及知识库的证据进行端到端的科学探究例如 OpenAI DeepResearch [18]、Gemini Deep Research [19]、Perplexity Deep Research [20] 等。尽管取得了这些进展仍然存在重大挑战。特别是大多数现有智能体仅依赖互联网规模的文本语料库留下了一个核心问题我们能否设计出能够深入、系统地探索大型、异构生物医学知识图谱的智能体桥接它们以揭示现代生物医学发现所必需的微妙关系和联系在此我们推出了 DeepEvidence一个专门设计用于对生物医学知识图谱进行深度研究的 AI 智能体系统。与通用的深度研究系统不同DeepEvidence 利用专门的知识图谱工具来定位并链接异构图谱中的实体并通过广度优先研究BFRS和深度优先研究DFRS的协调组合来导航它们这是两种用于系统性图谱探索的互补策略。DeepEvidence 还整合了一个内部证据图谱记忆该图谱在智能体遍历和综合信息时持续更新为发现过程提供了一个结构化和透明的记录。我们将这些原则实例化在一个协调器-子智能体架构中该架构包含专门的 BFRS 和 DFRS 智能体它们协作构建和完善最终的证据图谱图 1。我们的实证评估首先评估了 DeepEvidence 在需要深度探索和推理文献的既定生物医学基准上的表现包括 Humanitys Last Exam (HLE) [21]、LabBench-LitQA2 [22]、SuperGPQA [23] 和 TrialPanorama-EvidenceQA [24]。然后我们展示了 DeepEvidence 在生物医学发现生命周期的四个关键阶段的实用性1药物发现2临床前体内实验3临床试验开发以及4循证医学。总之这些结果说明了知识图谱驱动的深度研究在支持和加速生物医学发现方面的潜力。结果DeepEvidence 概述DeepEvidence 是一个深度研究框架旨在利用 LLM 驱动的 AI 智能体在异构生物医学知识图谱KGs上运行。其核心是一个协调器智能体将任务委派给一组专门的子智能体即研究智能体以执行知识图谱探索图 1a。在整个过程中协调器维护并增量式更新一个内部证据图谱该图谱记录了回答查询至关重要的关键实体和关系图 1b。研究智能体以两种互补模式运行。广度优先研究BFRS发出广泛的、多图谱查询以快速调查一跳邻域例如在疾病-药物或基因-疾病图谱中识别与疾病相关的药物。并捕获广泛的候选实体和关系集。深度优先研究DFRS建立在 BFRS 发掘的重要实体之上当问题需要多步推理或更丰富的证据发现时例如递归追踪出版物间的参考文献以构建用于系统文献综述的综合证据图谱执行更深层次的多跳探索。我们将这两种模式称为 BFRS 和 DFRS而不是传统的 BFS/DFS因为所提出的 AI 智能体自主选择遍历步骤而不是遵循固定的图论规则。此外AI 智能体可以通过识别共享实体或推断跨图谱关系在图 1a 中称为“桥接实体”来桥接异构知识图谱。我们创建了一个集成环境和工具集使 DeepEvidence 能够大规模探索多样化的生物医学知识图谱图 1c。许多生物医学知识图谱可通过异构的 Web API 访问因此为了支持高效的 BFRS我们跨主要生物医学领域包括出版物、临床试验、化学物、基因、药物、疾病、表型和蛋白质实现了统一的实体搜索和数据获取接口。例如智能体发出的单一药物查询可以自动触发对 KEGG [3]、ChEMBL [25]、OpenFDA [26]、OpenTargets [5] 等资源的并行查找。因为这些操作涉及大量的 API 调用并产生异构数据我们为系统配备了一个执行沙盒使智能体能够以编程方式进行研究。在此沙盒内智能体可以编写和执行代码以大规模查询知识图谱 API将检索结果保存为结构化文件如电子表格并在受控环境中执行下游提取和分析。这种设计确保了多步骤研究工作流程的高效性和可重复性。DeepEvidence 旨在通过智能体工作流支持通用生物医学研究任务协调器根据查询动态确定研究计划图 1d。一开始协调器选择 BFRS 和 DFRS 的顺序和相互作用并为每一步确定研究目标。然后每个研究智能体自主决定其行动例如查询哪些知识图谱以及执行哪些程序进行数据提取和分析。尽管如此系统仍然是完全可操控的用户可以指定与特定查询相关的生物医学领域从而约束搜索空间或者提供专家先验知识来指导和加速深度研究过程。DeepEvidence 在生物医学研究基准测试中表现出色我们在四个需要通用生物医学知识、多跳推理和基于证据研究的挑战性开放基准上评估了 DeepEvidenceHumanitys Last Exam (HLE) [21]、LabBench [22]、SuperGPQA [23] 和 TrialPanorama [24]图 1e。为了突出我们提出的深度研究框架的贡献我们将 DeepEvidence 与强大的基线方法进行了比较1两个配备了文献搜索功能的前沿 LLMGPT-5 和 Sonnet-4.5以及2两个通用型生物医学智能体Biomni [16] 和 ToolUniverse [17]。为了公平起见所有智能体系统包括 DeepEvidence都使用相同的底层 LLMGPT-5运行。在所有四个基准测试中DeepEvidence 始终表现出最强的性能图 1e。在 HLE-医学上DeepEvidence 达到了 40.0%显著优于 Biomni (20.0%)、ToolUniverse (10.0%)、Sonnet-4.5 (3.3%) 和 GPT-5 (3.3%)。在需要检索和综合出版物衍生证据的 LabBench-LitQA2 上DeepEvidence 达到了 80.0%是 Biomni (32.0%) 的两倍多并超过了 Sonnet-4.5 (48.0%)。在强调困难机制推理的 SuperGPQA-医学-困难集上DeepEvidence 达到了 47.1%超过了所有基线Biomni 40.7%Sonnet-4.5 43.6%。最后在基于真实世界临床试验的临床证据推理任务 TrialPanorama-EvidenceQA 上DeepEvidence 获得了 96.0%优于 Biomni (84.0%) 和 Sonnet-4.5 (88.0%)。这些结果证明了生物医学中深度知识图谱研究的价值。尽管像 Biomni 和 ToolUniverse 这样的智能体可以访问许多知识图谱 API但它们通常执行浅层探索。在回答前只进行几次搜索。它们庞大的工具集也可能引起工具混淆导致智能体选择不相关的工具或遵循错误的推理路径。相比之下DeepEvidence 在持续更新的证据图谱指导下进行结构化的 BFRS-DFRS 探索实现了更深入、更有针对性、更可靠的知识图谱调查。这种设计直接支持在需要多跳推理和证据综合的任务上取得优越性能。为了进一步评估 DeepEvidence 在现实生物医学研究环境中的泛化能力我们策划了六个新的基准任务涵盖生物医学发现的完整生命周期包括药物发现、临床前研究、临床试验开发和循证医学。我们将在以下章节详细介绍和分析每个基准。DeepEvidence 用于药物发现和临床前研究药物发现和临床前研究构成了药物开发生命周期的前两个阶段。药物发现侧重于识别可操作的生物学靶点而临床前研究旨在阐明作用机制并在实验模型中评估靶向生物学反应。在本节中我们评估 DeepEvidence 支持这两个阶段的能力。我们在一个用于药物发现的靶点识别任务上评估 DeepEvidence随后是两个临床前机制推理任务分别探究通路水平解释和体内代谢反应预测图 2a 和 图 3。第一个任务是靶点识别它要求通过整合来自基因、通路、生物标志物和既往研究的证据为给定的疾病背景识别有前景的治疗或诊断靶点。如图 2a 所示智能体收到一个研究问题以及关于靶点用途和方法学类别的约束必须迭代搜索、汇总并评估证据以收敛于一个充分证实的靶点。性能如图 2b 所示。在此任务上DeepEvidence 达到了 68% 的准确率显著优于 Biomni 的 56%、ToolUniverse 的 40%40% 以及通用 LLM 的 42%。这种差距主要反映了研究策略的差异。DeepEvidence 在精选的生物医学知识源上进行有指导、结构化的深度探索跨数据库确认基因身份并增量式维护一个证据图谱来组织发现。相比之下Biomni 和 ToolUniverse 暴露了大量异构工具但缺乏足够的领域特定指导这常常导致工具选择不准确、证据检索浅层以及因嘈杂或不完整的工具输出而造成的混淆。接下来我们评估智能体如何探索和综合生物医学文献、实验研究和分子数据以解释临床前作用机制、通路相互作用以及分子扰动的生物学后果。如图 5a 所示问题涵盖了广泛的现实临床前推理场景包括解释信号串扰、解释药物机制和生物标志物、分析批量和单细胞转录组数据、评估磷酸化蛋白质组学方法以及将分子观察结果与表型或治疗结果联系起来。图 5b 的准确率比较显示DeepEvidence 达到了 72% 的准确率显著优于同为 44% 的 Biomni 和 ToolUniverse以及准确率为 52% 的通用 LLM。这些结果表明DeepEvidence 更能将多样的实验证据整合成连贯且生物学上合理的机制解释而基线智能体通常难以协调异构数据源或在表面关联之外进行推理。最后我们在一个反映常见临床前研究设计的体内代谢通量响应任务上评估 DeepEvidence。如图 5c 所示智能体需要识别在酶抑制后最有可能表现出强烈靶向代谢抑制的肿瘤队列或生物标志物。图 5d 的结果显示DeepEvidence 达到了 80% 的准确率优于 Biomni 的 68%、通用 LLM 的 60% 和 ToolUniverse 的 52%。我们观察到一个类似的模式即基线智能体难以将代谢背景与实验设计整合而 DeepEvidence 通过专注的、基于证据的探索更可靠地将靶酶与通路水平的依赖性对齐。DeepEvidence 用于临床试验开发每一个新的治疗候选药物都必须通过临床试验进行人体研究以确定其对特定疾病和患者队列的安全性和有效性图 4a。在本节中我们评估 DeepEvidence 支持临床试验开发的能力重点关注核心设计决策。具体来说我们为试验规划开发了三个具有挑战性的任务样本量估算、药物方案设计和替代终点发现。成功完成这些任务通常需要广泛调查先前的临床证据并结合关于疾病生物学和治疗机制的专家级推理。第一个任务是“样本量估算”它要求确定确保研究达到期望显著性水平和足够统计功效所需的参与者数量。如图 4b 所示智能体收到一个问题以及统计假设和治疗组定义然后尝试推断所需的样本量。性能如图 4c 所示。在此任务上DeepEvidence 达到了 68% 的准确率显著超过了三个基线Biomni (20%)、ToolUniverse (32%) 和 PubMed 搜索 LLM (24%)。我们将 DeepEvidence 的优越性能归因于它能够对相关研究中使用的样本量估算策略进行全面审查并形成对类似临床试验中样本量模式和设计设置的概览。相比之下通用智能体要么只执行浅层搜索要么试图在不收集实质性证据的情况下直接推断样本量。第二个任务是“药物方案设计”图 4d它要求为一种药物组合选择适当的策略包括起始剂量水平、递增方法、剂量限制性毒性定义以及治疗方案安排以平衡治疗效果和参与者安全。每个问题都需要审查特定药物组合的历史证据智能体必须根据这些证据和既定规则识别正确的方案策略。性能如图 4e 所示。DeepEvidence 达到了 52% 的准确率优于 Biomni (36%)、ToolUniverse (28%) 和 PubMed 搜索 LLM (20%)。对智能体行为的分析显示DeepEvidence 始终如一地从 FDA 批准的药物参考和相关文献中检索信息使其能够形成对历史剂量和毒性模式的全面了解而基线智能体则常常产生不完整的证据收集。第三个任务是“替代终点发现”图 4f智能体根据新疗法的作用机制和生物学背景对候选替代终点的合理性进行排序。解决此任务需要在生物医学知识库中搜索以识别疾病通路、药物靶点和相关生物学过程然后确定哪些终点在机制上得到支持。图 4g 的结果使用平均精确率、召回率和 F1 分数进行评估。DeepEvidence 达到了 73.2% 的精确率、75.0% 的召回率和 73.3% 的 F1。Biomni 达到了 60.8%、64.3% 和 60.9%。ToolUniverse 达到了 57.7%、69.0% 和 61.9%61.9%。LLM 达到了 58.4%、61.9% 和 58.7%。我们发现 DeepEvidence 更全面地检索证据并能正确区分药物靶点、通路和生物标志物之间的上下游关系。这使得对替代终点的选择更具机制基础。DeepEvidence 用于循证医学循证医学EBM通过将临床实践决策建立在高质量的临床证据之上来指导临床实践 [27]。EBM 的核心是综合已发表的临床研究并且必须随着新发现的出现而更新。当后续的随机对照试验改变了对现有治疗方法的理解时现有证据可能变得过时从而产生证据缺口。为了评估 AI 智能体是否能识别此类缺口我们构建了一个专注于检测新相关临床试验的基准。如图 5a 所示智能体接收系统综述的设置包括研究问题、综述目标和资格标准并且必须识别出原始综述中未包含但为了保持最新临床证据而应纳入的新兴试验。我们沿两个维度评估智能体性能1缺口检测率定义为智能体提出的前三十个最合理试验中是否至少包含一个真阳性2召回率定义为真阳性被前三十个识别试验覆盖的比例。解决此任务需要对文献进行深入研究并使用细致的筛选标准仔细评估研究资格。结果如图 5d 所示。DeepEvidence 达到了最高的缺口检测率 90.0%相比之下 Biomni 为 50.0%ToolUniverse 为 15.0%PubMed 搜索 LLM 为 10.0%。在召回率方面DeepEvidence 达到了 44.14%再次优于 Biomni 的 30.17%、ToolUniverse 的 5.06% 和 LLM 的 2.67%。这些结果表明 DeepEvidence 在识别证据缺口方面更有效并提供更广泛的相关研究覆盖。其优势来自于对相关系统综述、随机对照试验及其引文网络进行全面的深度研究并辅以疾病和药物知识图谱以增强文献检索和研究筛选。为了理解 DeepEvidence 为何优于通用智能体我们检查了其行为模式和内部工作流程。图 5e 中的协调器流程显示DeepEvidence 遵循一个结构化的、迭代的深度研究流程类似于人类研究者更新系统综述。它识别核心疾病实体映射相关药物实体并在系统综述、随机对照试验及其引文网络中进行广度优先和深度优先探索以重建广泛的证据图景。图 5c 中的证据图谱以及图 5b 中智能体生成的发现表明DeepEvidence 能够追溯疾病术语、治疗类别、突变特异性人群和资格标准之间的机制联系使其能够聚类相关试验并浮现新相关的研究。这些行为表明DeepEvidence 通过执行全面的深度研究、整合来自多个生物医学知识源的证据并使用证据图谱作为研究优先排序的框架来取得成功。这使得 DeepEvidence 能够比仅依赖简单搜索或直接推断的智能体更有效地识别证据缺口并追踪新兴临床发现。讨论DeepEvidence 代表了朝着构建用于生物医学研究的全面深度研究系统迈出的重要一步。它表明一个扎根于多样化生物医学知识图谱的智能体框架能够显著提高导航分布在各领域特定资源中的广泛且碎片化知识的能力。通过协调专门的检索行动并应用现代大语言模型的推理能力DeepEvidence 为跨越生物医学发现完整生命周期的任务包括药物发现、临床前研究、临床试验和循证医学提供基于证据的答案。DeepEvidence 与此前基于知识图谱的检索工作提出了不同的视角后者主要侧重于索引文本文档并使用大语言模型改进文档级检索 [28-30]。这项工作不是将知识图谱视为文本挖掘的辅助结构而是展示了如何将深度研究系统明确地构建在异构生物医学知识图谱之上以共同支持复杂生物医学任务的检索和多步推理。通过直接在基因、疾病、药物、通路、试验及其关系上操作DeepEvidence 实现了比以文档为中心的流程更高效、更有效的证据驱动研究。此外证据图谱的显式构建提供了一个透明且可追溯的推理过程其中中间实体关系和支持证据可以被人类检查和验证。这种基于证据图谱的表述为生物医学深度研究提供了一个有原则且可解释的范式这是纯文本驱动的检索系统难以实现的。仍然存在一些局限性。尽管我们已经整合了各种生物医学实体和领域特定的知识库但覆盖范围仍不完整当前的基准仅反映了生物医学研究任务的一个子集。此外该系统目前适用于精心整理的知识图谱如 KEGG 和 Gene Ontology它们提供稳定的模式和高质量的 API。未来的版本必须适应可能包含缺失值、结构不一致或不完整接口的专有或内部托管图谱。这需要授权智能体构建新的工具来访问这些图谱。此外当前系统侧重于两种有原则的图谱遍历策略即广度优先和深度优先研究。这些策略显著优于通用智能体但它们不太可能是最优的。DeepEvidence 在许多任务上尚未达到专家级性能未来的改进将依赖于更强大的底层语言模型以及允许智能体通过自我导向适应发现改进研究策略的方法。最后我们当前的工作主要侧重于基于文本的模式而我们可以进一步将其扩展到多模态数据如图像、结构生物学和蛋白质组学信息使其更适用于更广泛的生物医学研究任务。展望未来我们将 DeepEvidence 视为生物医学领域更深层次知识图谱探索的基础以及通用 AI 智能体的补充组件。通过与人类专家更紧密地合作DeepEvidence 可以支持需要严格证据基础的研究并可以通过结构化和透明的深度研究范式帮助生成和验证具有科学意义的假设。图 1DeepEvidence 概述及基准性能。(a) 系统概览显示协调器在研究智能体间协调规划、行动和记忆更新。用户查询被转化为一系列计划好的研究智能体这些智能体在执行沙盒内行动并通过观察更新共享记忆。这些智能体在多个生物医学知识图谱上执行协调的广度优先和深度优先探索以识别跨图谱链接并构建集成的证据视图。(b) 智能体增量式构建一个结构化图谱通过诸如靶向、测试和引用等关系链接论文、药物、基因和通路。此证据图谱作为持久记忆组织已发现的实体并支持下游推理。(c) 智能体可访问的跨领域多样化生物医学知识图谱概览包括基因、疾病、药物、化学物、蛋白质、表型、出版物和临床试验。(d) 一个逐步示例展示智能体如何规划、查询知识库、执行广度优先研究、收集观察结果并使用编程操作完成系统综述任务。(e) 基准测试结果显示DeepEvidence 在四个生物医学推理任务上始终优于强大的基线系统。图 2靶点识别实验结果。(a) 靶点识别任务示意图该任务定义了研究问题、疾病范围、靶点用途以及治疗和诊断发现的方法学类别。(b) 靶点识别任务的准确率比较显示 DeepEvidence 在评估设置中均比基线系统取得更高性能。(c) 一个端到端的靶点识别工作流程示例智能体执行候选搜索、广泛证据收集、跨数据库基因身份确认、证据审查与更新以及比较评估逐步构建和完善证据图谱以识别并验证一个疾病相关基因靶点。图 3机制推理任务实验结果。(a) 作用机制和通路推理任务示意图该任务指定了生物学背景、分子实体和推理目标以解释信号串扰并识别关键调控检查点。(b) 作用机制和通路推理任务的准确率比较显示 DeepEvidence 相比基线系统取得了最高性能。(c) 体内代谢通量响应任务示意图智能体对肿瘤代谢依赖性、靶酶和通路脆弱性进行推理以识别具有有效靶向通量抑制的队列。(d) 体内通量响应任务的准确率比较显示 DeepEvidence 在评估设置中始终优于基线方法。图 4临床试验开发任务实验结果。(a) 临床试验开发生命周期示意图显示从发现到批准的过程。(b, d, f) 分别说明样本量估算、药物方案设计和替代终点发现任务。(c, e, g) 分别对应这三个任务的性能比较显示 DeepEvidence 在各项任务中均优于 Biomni、ToolUniverse 和 LLM 基线。图 5循证医学任务实验结果。(a) 证据缺口发现任务示意图智能体识别最新随机对照试验RCTs这些试验与更新现有临床证据最相关。输入的研究目标和详细筛选标准用于确定哪些试验符合合格主要 RCT 的资格。(b) DeepEvidence 做出的一个示例性发现。(c) DeepEvidence 构建的一个示例性证据图谱。(d) 证据缺口发现任务的性能比较显示 DeepEvidence 在所有方法中取得了最高的缺口检测率和前三十项的平均召回率。(e) 证据缺口发现的工作流程示例显示智能体如何定义核心疾病和药物实体在研究中进行广度优先和深度优先研究并迭代整合和筛选候选 RCT。该过程以一份由更新后的证据图谱支持的优先排序的合格试验列表结束。方法开放基准测试的处理开放基准实验通过选择和调整来自 Humanitys Last Example (HLE) [21]、LabBench LitQA2 [22]、SuperGPQA [23] 和 TrialPanorama [24] 的任务来构建。对于 Humanitys Last Example (HLE)我们首先选择主题标签为“医学”的问题。然后我们移除那些需要额外图像作为输入的问题。此筛选步骤的动机是我们观察到 HLE 中的医学问题通常需要基于文献的推理进行诊断或临床决策而非视觉解读。筛选后此过程产生了总共 30 个问题。对于 LabBench我们专注于 LitQA2 子集因为该部分明确要求探索科学文献以支持推理和答案生成。从该子集中我们随机抽取 25 个问题构成我们的评估集。对于 SuperGPQA我们首先将基准问题限制为难度等级标记为“困难”的问题。在此子集中我们进一步选择领域为“临床医学”的问题。这产生了一个包含 172 个问题的精选数据集我们称之为 SuperGPQA 困难临床医学集。对于 TrialPanorama我们从基准中选择了“EvidenceSummary”任务。然后我们保留了最近的 50 个问题。在原始设定中每个问题都是一个证据总结任务提供来自多个研究的摘要并要求模型总结证据以选择正确选项。在我们的设定中我们从输入上下文中移除了这些摘要从而要求智能体主动探索文献以识别正确答案。这种修改后的设置构成了我们的 TrialPanorama EvidenceQA 数据集。策划靶点识别任务对于靶点识别任务我们通过从 KGML 格式的 KEGG 疾病通路文件中提取通路拓扑来构建评估实例。我们解析了涵盖癌症、代谢紊乱、感染和自身免疫性疾病的 8 条人类疾病通路构建有向信号图其中节点代表基因/蛋白质边编码调控关系激活、抑制、阻遏或表达。对于每条疾病通路我们将靶点识别表述为一个多项选择题询问哪些基因代表最有前景的治疗靶点从通路成员中抽取 10 个候选选项。此任务的一个示例见补充表 2。为了从通路结构而非手动注释计算真实答案我们开发了一个拓扑逻辑引擎根据三个标准为每个候选靶点分配增益分数0、1 或 2。首先我们通过查找从候选基因到疾病终点节点的所有简单路径并计算沿每条路径的边权重的累积乘积激活边贡献 1抑制边贡献 -1来计算路径极性。平均路径极性 0.5即促进疾病进展的基因在使用抑制剂靶向时获得增益 2而极性为负抑制疾病的基因获得增益 0以反映抑制保护因素的生物学矛盾。其次我们纳入了图论分析中的介数中心性中心性得分在前 10% 且路径极性为正的基因被优先作为最优靶点增益 2因为它们代表了信号汇聚的关键瓶颈。第三我们应用了可成药性过滤通过针对基因符号的关键词匹配将不可成药的蛋白质类别如核糖体蛋白、细胞骨架成分分配增益 0。我们进一步实现了疾病特异的逻辑配置文件根据不同通路类型对基因功能类别进行不同加权。对于癌症通路激酶和酶获得更高优先级对于耐药通路转运蛋白和受体被强调对于感染通路模式识别受体和细胞因子被优先考虑。基因功能类型从 KGML 条目元数据包括酶的 EC 编号和图形注释推断并在提取失败时回退到基于符号的、针对精选基因家族字典的模式匹配。最终的多项选择格式将选项呈现为“GENE_SYMBOL - functional_type”答案对应于所有增益 2 的选项从而能够评估 AI 智能体是否能够从通路拓扑中识别具有治疗可操作性的靶点。策划体内代谢通量响应任务对于体内代谢通量响应预测任务我们构建了评估实例以评估 AI 智能体是否能够预测在临床前小鼠模型中药理学抑制靶酶后预期的代谢扰动。我们解析 KGML 格式的 KEGG 疾病通路文件提取反应图底物 →→ 产物关系和信号图调控关系以建模代谢通量动态。对于每条通路我们选择一个靶基因并制定一个多项选择题询问哪些肿瘤队列在靶标抑制后会表现出最佳的代谢通量响应提供七个候选表型结果。此任务的一个示例见补充表 4。真实答案通过使用三层验证系统从通路拓扑计算得出。首先我们应用拓扑一致性检查使用从靶基因节点开始的广度优先搜索我们识别下游代谢物两步反应内可到达的产物和上游底物两步内的前体。根据酶抑制的逻辑下游产物应显示减少的同位素示踪剂标记而上游底物应积累反映此模式的选项获得增益 2而陈述相反情况例如“尽管有抑制下游产物水平仍增加”的选项获得增益 0因为这违反了质量平衡原则。其次我们识别通路终点反应图中出度为零的终端节点并将终端合成的持续抑制标记为最佳响应指标。第三我们通过强连通分量分析检测反馈环路参与循环的节点可能表现出瞬时或补偿性响应获得增益 1 以反映部分但不稳定的靶标接合。为确保生物学基础选项文本使用从 KGML 反应元素中提取的实际化合物名称动态生成而非通用占位符。对于每个靶基因我们遍历反应图以收集真实的代谢物名称例如“显示丙酮酸标记减少 40% 的肿瘤”而非抽象引用提供具体的分子背景。问题主干中的代谢依赖性和过程描述符也尽可能从通路特异性化合物派生仅在化合物提取失败时回退到精选模板例如“谷氨酰胺代谢”、“氧化还原平衡”。最终的多项选择格式呈现七个按随机顺序排列的表型结果答案对应于所有增益 2 的选项从而能够评估 AI 智能体是否能够从通路拓扑推理代谢通量扰动。策划作用机制和通路推理任务对于涵盖肿瘤学和分子生物学的临床前研究任务我们策划了包含单选和多选题的、基于证据的多项选择题。这些问题旨在反映现实的临床前研究场景其中正确的结论取决于机制特异性、实验背景和方法学约束而非孤立的事实回忆。我们通过识别临床前研究中遇到的反复出现的分析和决策问题来定义临床前研究任务的范围。策划的问题涵盖了核心主题包括靶向药物作用机制表征、肿瘤治疗策略的局限性、癌细胞系特性和药物敏感性、组学数据分析工作流程、信号转导机制、实验检测验证、肿瘤分子亚型和转移机制以及基因表达模式与表型或临床读数之间的关联。主题优先选自具有成熟临床前共识的领域以最小化对初步、有争议或矛盾发现的依赖。对于每个任务问题主干和候选答案均根据任务相关性扎根于权威的临床前证据来源。这些来源包括描述体外实验、体内肿瘤模型和分子机制研究的同行评审临床前文献以及临床前研究中常用的精选资源如包括 ATCC 和 DSMZ 在内的癌细胞系存储库包括 GDSC 在内的药物敏感性数据库包括 GEPIA2 或 GEPIA3、TIMER 和 Kaplan Meier Plotter 在内的基因表达和生存分析平台以及包括 KEGG 在内的通路数据库。在适当的情况下也使用了既定的实验原则和技术指南。证据来源在单个任务层面应用以确保声明的一致性和可追溯性而未在所有条目中强制执行统一或自动化的验证流程。每个任务被制定为单选或多选题取决于潜在的临床前问题是允许唯一最优答案还是多个同时有效的解释。答案选项由领域专家手动策划并分配分级正确性标签增益为二、一或零反映与任务一致的临床前证据的偏差程度。严格分类的增益为二的选项必须同时符合明确的临床前证据或广泛接受的机制理解得到同行评审文献或精选数据库记录的支持且无矛盾发现明确匹配问题所隐含的实验场景包括分子靶点、细胞系特征、检测方法或数据解释标准的精确规范并确保所有生物学声明在事实上准确、无歧义且可追溯到具体证据如文献图表、表格、数据库记录或实验方案。增益为一的选项代表部分正确的推理路径包含有效的生物学或方法学元素但忽略了关键约束从相关系统过度概括或依赖不足以支持确定性结论的关联。增益为零的干扰项被构建为机制上看似合理但与既定证据或实验逻辑不一致通常源于跨实体混淆、对检测能力的误解或与共识发现的直接矛盾在某些情况下改编自相邻研究背景中的真实陈述以保持表面合理性。所有条目均经过审查以确保答案正确性不能仅通过通用生物学知识解决而是需要扎根于每个任务的具体实验或分析背景进行推理并且问题文本中不出现显式的数据库登录号或记录标识符而在方法学相关处保留对常用平台的引用。策划临床试验开发任务对于样本量估算任务我们从 TrialPanorama 基准中提供的样本量估算实例开始。然后我们通过选择该集合中最近的 25 个试验作为测试集来构建我们的评估分割。对于每个实例我们将基准提供的真实样本量视为正确答案并通过生成真实值的乘性扰动来产生四个看似合理的干扰项将问题转换为多项选择题。具体来说我们在 0.25-4.00 的范围内即比真实值小 75% 到大 300%采样一个扰动比率将其应用于真实样本量四舍五入为整数并强制执行基本有效性约束例如在合理的样本量范围内且不等于正确值。然后我们打乱五个选项并记录相应的选项字母作为答案标签从而能够基于准确率直接评估 AI 智能体是否能从竞争性替代方案中选出正确的样本量。此任务的一个示例见补充表 6。对于药物方案设计任务我们从一个从早期肿瘤联合试验中手动提取的结构化毒性和剂量发现语料库构建了一个基于证据的多项选择数据集 [31]。我们首先从规范化表中加载试验级元数据例如人群和剂量限制性毒性DLT评估窗口、方案级药物属性药物名称和给药途径、剂量级阶梯、按剂量水平观察到的 DLT 摘要、方案 DLT 定义、报告的最大耐受剂量MTD以及升级设计描述符如有。使用语料库中的所有单药方案我们为每种药物计算了单药治疗基线包括参考单药 MTD单药试验中报告的最大 MTD和去重后的单药 DLT 术语列表。对于每个多药方案我们随后通过以下方式推导方案特定的证据特征i分析剂量阶梯以估计相对于单药 MTD 的起始和最大剂量强度ii量化跨剂量水平的 DLT 模式并估计毒性重叠评分即联合 DLT 类型中也曾在单药治疗中观察到的比例以及iii提取辅助背景信息如人群和给药途径。这些证据特征使用一个基于规则的分类器映射到一个四级设计类别标签I-IV 级该分类器优先考虑批准状态代理、单药剂量发现证据的可用性、毒性重叠和相互作用风险代理。最后对于每个符合条件的方案我们生成一个设计策略多项选择题问题主干总结了支持性证据所有答案选项使用相同的药物组合但仅在提议的试验设计策略上有所不同对应每个类别例如安全性验证/有限调整接近单药 MTD 的降阶梯标准升级或谨慎引导期配合延长的 DLT 窗口和强制性药代动力学/相互作用评估。我们排除了单药方案和证据不足的组合。此任务的一个示例见补充表 7。对于替代终点发现任务我们从 KEGG2025 年有批准日期的药物条目中策划了一组近期获批的药物作为起点并基于其通路注释自动构建机制基础的多项选择题。对于每种药物我们从 KEGG 检索结构化的药物记录名称、临床评论/疗效文本、疾病注释、类别标签、靶基因标识符和关联通路并保留至少有一个映射靶点和通路的药物。然后我们下载最多五个相关通路的 KGML 文件并将其解析为有向交互图。为了将药物机制与可测量的中间结果联系起来我们在合并的通路图中从药物靶点节点执行双向广度优先遍历深度限制为 10并将可达基因与预定义的生物过程标志物集合库例如增殖、凋亡、代谢、DNA 损伤、炎症、血管生成、迁移和信号传导进行匹配。我们还使用高优先级临床文本字段COMMENT/EFFICACY上的关键词启发式方法辅以 DISEASE 和 CLASS 字段对每种药物的治疗背景例如癌症、炎症、代谢、心血管、神经学或其他进行分类。利用推断的下游过程效应我们生成药物特异性、疾病感知的替代终点策略作为正确选项增益2强调在 2-12 周内可测量的、将药效学调节与预期临床获益联系起来的远端生物标志物我们还包括可接受但较弱的策略增益1这些策略时机不当或与临床结果的关联较弱。为了创建具有挑战性的干扰项增益0我们采用两轮构建首先为每种药物生成正确的替代策略然后对于给定的药物我们从i为其他药物生成的正确替代策略机制上看似合理但与当前机制/适应症不匹配和ii主要反映靶点接合而非下游获益的上游/近端测量值深度 3中采样干扰项。每个最终项目是一个多答案多选题包含 6-10 个选项其中所有增益2 的选项被标记为正确我们强制执行质量控制约束如要求多个正确/次优/干扰选项并从问题文本中移除显式数据库标识符例如KEGG ID。此任务的一个示例见补充表 5。策划循证医学任务对于循证医学EBM任务我们从连续更新间结论发生变化的 Cochrane 系统综述版本构建测试数据。从一份更新的综述精选列表开始我们通过解析 DOI 到 PubMed 记录并使用 NCBI E-utilities 下载完整 XML以编程方式检索最新版本及其直接前序版本。从每个综述版本中我们提取结构化元数据标题和结构化摘要部分并解析由综述明确标记的参考文献列表例如纳入本综述的研究参考文献和排除在本综述之外的研究参考文献。这产生了一个版本解析的映射从每个综述到其纳入研究的 PMID 集合从而能够使用共享的基础 DOI 稳健地配对综述版本并精确比较纳入研究集合。此任务的一个示例见补充表 8。然后我们将最终的 EBM 测试集构建为一个证据缺口识别任务。对于每对配对的综述较旧 vs 较新我们提供更新综述的研究背景例如目标、资格/筛选标准、结局指标并在可用时提供先前版本纳入的研究列表。模型被要求识别在更新综述时应添加哪些新研究。真实答案被定义为较新版本和较旧版本的纳入研究 PMID 之间的集合差即出现在更新综述纳入列表中但先前未被纳入的研究。实施协调器和研究智能体DeepEvidence 采用使用 LangGraph 状态机实现的层级多智能体架构。在顶层一个协调器智能体接收用户研究查询并通过将复杂问题分解为有针对性的子任务动态规划调查策略。协调器提示见补充说明 A.1。协调器维护一个追踪搜索预算、管理证据图谱并协调两个专门的研究子智能体的状态机广度优先研究子智能体BFRS和深度优先研究子智能体DFRS。BFRS 旨在跨指定知识库进行广泛探索同时收集关于多个实体的多样化信息而 DFRS 则沿着引文链和实体关系深入挖掘以揭示详细的机制证据。BFRS 和 DFRS 的提示分别在补充说明 A.2 和 A.3 中。协调器通过工具调用来调用这些子智能体指定搜索目标包括实体名称和标准化标识符如 PubTator ID 或 UMLS CUI、目标知识库以及分配给搜索的操作预算。每个子智能体作为一个独立的状态图运行拥有自己的工具执行节点允许模块化组合和受控的资源分配。所有智能体包括协调器和研究子智能体都使用代码执行作为其主要操作机制。每个工具不是返回静态输出而是生成可在沙盒环境中运行的可执行 Python 代码。这种以代码为中心的方法使智能体能够执行复杂操作包括多步 API 查询、使用 pandas 进行数据转换、统计分析和结构化报告生成。例如在搜索基因时智能体执行查询多个数据库的代码将结果聚合到统一的数据框中并将输出保存到共享工作区以供后续分析步骤使用。沙盒追踪执行指标运行时间和内存使用并在工具调用间维护持久状态允许智能体基于先前结果构建。这种设计提供了透明度、可重复性并使智能体能够处理使用固定工具输出无法实现的任意数据处理工作流程。DeepEvidence 实现了一个显式的证据图谱作为一等记忆结构智能体在整个深度研究过程中增量式地构建和维护它。该图谱仅存储高价值的规范化生物医学实体如基因、疾病、药物、通路、论文和具体发现每个实体在可用时由规范标识符标识并在全局去重。边代表一组受控的机制性成员关系关联和证据级别关系每个节点和关系都通过来自原始文献或精选知识图谱的显式来源进行接地。智能体不是将上下文编码为自由文本而是将简短的事实性观察附加到实体上捕捉实验设置方法论和定量或机制性结果。在推理过程中智能体在添加新内容前查询现有图谱合并近似重复项更新观察而非创建冗余节点并用独立的证据链接记录相互矛盾的发现。我们在补充说明 A.4 中将提示作为额外指导添加到智能体的系统提示中。智能体和证据图谱之间的这种紧密耦合使得迭代假设精炼、证据聚合和透明可追溯性成为可能确保结论源自一个明确的、结构化的、可审计的生物医学证据体。为促进跨知识库研究和实体桥接我们实现了统一的模态级搜索工具通过单一接口聚合来自多个权威来源的信息。例如统一的基因搜索工具同时查询 BioThings (MyGene.info)、KEGG 和 Open Targets返回带有跨数据库标识符的合并结果。针对疾病、药物、化合物、靶点、通路和变异也存在类似的统一工具。除了实体查找我们还通过 PubTator3 API 集成了基于关系的搜索能力使智能体能够发现通过特定语义关系如 TREAT、CAUSE、INTERACT、INHIBIT 和 ASSOCIATE链接的实体。这允许智能体从疾病遍历到候选药物从基因到相关表型或从化学物到其生物学靶点支持机制假设生成所必需的深度优先推理模式。总之这些统一的搜索和关系工具提供了知识基础设施使研究智能体能够桥接异构知识图谱并跨多个生物医学领域综合证据。实施知识图谱工具我们在智能体的工具库中包含了以下知识库BioThings [6]、ChEMBL [25]、ClinicalTrials.Gov [32]、Gene Ontology [4]、Human Phenotype Ontology [33]、KEGG [3]、NCBI Datasets API [34]、OpenFDA [26]、Open Genes [35]、ProteinAtlas [36]、PubChem [37]、PubTator [1]、PubMed [34]、Reactome [38]、UMLS [39]、UniProt [40]。详细的工具列表见补充表 1。我们开发了一个模块化工具库使智能体能够访问和查询 17 个生物医学知识图谱和数据库。每个知识图谱集成遵循一致的两层架构1一个低级客户端类封装 API 认证、速率限制、错误处理和响应解析以及2高级工具函数提供面向任务的接口返回 pandas DataFrame 和适合智能体消费的格式化输出字符串。这种分离允许相同的底层 API 客户端支持多个工具函数同时保持代码可重用性。所有工具函数都遵循统一的签名模式接受搜索参数和一个可选的 save_path 参数并返回一个DataFrame formatted_output_string元组。格式化输出旨在既人类可读又可由 LLM 解析包括摘要统计、结果预览和文件保存确认。对于 RESTful APIBioThings、PubChem、KEGG、ClinicalTrials.gov、OpenFDA、ProteinAtlas、Open Genes、NCBI Datasets、HPO我们使用 requests 库实现了基于 HTTP 的客户端配备可配置的超时、重试策略和自定义用户代理头。这些客户端将 JSON 或平面文件响应解析为结构化字典。对于基于 GraphQL 的 APIOpen Targets Platform我们构建了带有目标、疾病和药物搜索参数化变量的查询模板。对于需要认证的编程式 APIUMLS、UniProt我们实现了凭据管理和基于会话的认证流程。PubTator3 集成包括对实体类型布尔查询例如CHEMICAL_remdesivir AND DISEASE_COVID_19和使用语义谓词TREAT、CAUSE、INTERACT、INHIBIT、ASSOCIATE的基于关系搜索的专门支持。一些知识图谱需要特殊处理ChEMBL 支持基于 SMILES 的相似性和使用 Tanimoto 系数的子结构搜索Reactome 使用稳定标识符进行通路层次遍历KEGG 采用需要自定义解析逻辑的独特平面文件格式。为实现跨数据库实体解析和综合信息检索我们实现了统一的搜索工具通过单一接口聚合来自多个来源的结果。例如search_genes_unified 同时查询 BioThings (MyGene.info)、KEGG、Open Targets并可选择查询 MyVariant.info合并带有交叉引用标识符Entrez、Ensembl、KEGG IDs的结果。类似地search_drugs_unified 聚合来自 BioThings (MyChem.info)、OpenFDA (DrugsFDA 和药品标签)、KEGG Drug、Open Targets 和 ChEMBL 的结果。这些统一工具使用 ThreadPoolExecutor 进行并发执行以最小化延迟并返回带有来源归属的合并 DataFrame。工具输出旨在支持下游分析用于详细记录的 JSON 文件、用于表格数据的 CSV 文件以及供研究智能体立即解释的 Markdown 格式摘要。