Benchmarking the Medical Understanding and Reasoning of Large Language Models in Arabic Healthcar...

文章总结与翻译一、文章主要内容该研究聚焦阿拉伯语医疗领域，旨在评估当前主流大型语言模型（LLMs）在阿拉伯语医疗自然语言处理（NLP）任务中的医疗理解与推理能力，以填补阿拉伯语医疗LLM评估的空白。1. 研究背景现有LLMs在众多阿拉伯语NLP应用中表现出色，但在阿拉伯语医疗NLP领域的有效性缺乏深入研究。多数医疗LLM基准测试集中于英语，阿拉伯语因高质量临床数据集匮乏、语言多样性以及多语言模型在特定领域任务表现有限等问题，相关评估存在空白。2. 研究问题RQ1：最先进的专有基础LLMs在阿拉伯语医疗任务中表现如何？RQ2：具备推理能力的最先进专有基础LLMs在阿拉伯语医疗任务中的优势程度如何？RQ3：基于开源的阿拉伯语LLMs在阿拉伯语医疗任务中表现怎样？RQ4：多个LLMs之间的多数投票机制如何提升阿拉伯语医疗任务的性能？3. 研究方法数据集：采用MedArabiQ2025赛道中AraHealthQA挑战赛的医疗数据集，包含700个多样化临床样本（涵盖选择题、填空题、医患问答等），后又新增200个样本用于测试模型推理与理解能力。评估模型：专有LLMs：包括Claude