开云体育 
斯坦福临床医疗AI横评DeepSeek把谷歌OpenAI都秒了开云体育
2025-06-05
浏览次数：
次
返回列表
斯坦福最新大模型医疗任务全面评测，DeepSeek R1以66%胜率拿下第一！
歪国网友纷纷被惊艳住了，原因在于该评测重点聚焦临床医生的日常工作场景，而非仅局限于传统医疗执照考试题。
整个评测的分类体系还经过了临床医生验证，由29名来自14个医学专科的执业医师共同参与开发。
光作者名单就老长，斯坦福大学医学院、斯坦福医疗中心、斯坦福大学基础模型研究中心（CRFM）、微软的研究人员均在列。
此综合评估框架名为MedHELM，受到了之前斯坦福HELM项目标准化跨领域评估思路的启发。
在初步拟定分类体系时，一名临床医生基于《美国医学会杂志》（JAMA）综述中梳理的任务，将这些任务重组为反映真实医疗活动的功能主题，形成了一个含5个类别、21个子类别、98项任务的框架。
来自14个医学专科的29名执业临床医生参与问卷调研，从分类逻辑和覆盖全面性两方面评估体系合理性。
根据反馈，体系最终扩展为5 个类别、22 个子类别、121 项任务，全面覆盖临床决策支持、临床病例生成、患者沟通与教育、医学研究辅助、管理与工作流程等医疗实践的各个方面，且26位临床医生对子类别分类达成96.7%的一致性。
核心贡献二，在分类体系基础上，团队构建了一个含35个基准测试的综合评估套件，包括：
值得一提的是，13个全新开发的基准测试中有12个基于真实的电子健康记录数据，有效弥补了现有评估中真实医疗数据使用不足的问题。
最终这整套基准测试，完全覆盖了分类体系中的所有22个子类别，同时根据数据的敏感性和访问限制，这些基准测试被划分为14个公开、7个需要审批和14个私有的不同访问级别。
DeepSeek R1表现最佳，在两两对比中以66%的胜率领先，宏观平均分为0.75，且胜率标准差较低（0.10）。
其中胜率指模型在全部35个基准测试的两两对比中表现更优的比例。胜率标准差（SD）衡量模型获胜的稳定性（值越低=稳定性越高）。宏观平均分是所有35个基准测试的平均性能得分。标准差（SD）反映模型在不同基准测试中的性能波动（值越低=跨基准一致性越高）。
o3-mini紧随其后，在临床决策支持类别基准中表现较优，以64%的胜率和最高宏观平均分0.77位居第二。
另外，开源模型Llama 3.3 Instruct胜率为30%；Gemini 1.5 Pro以24%的胜率排名末位，但其胜率标准差最低（0.08），显示出最稳定的竞争表现。
团队还以热图形式展示了每个模型在35个基准测试中的标准化得分，深绿色表示性能更高，深红色表示低性能。
EHRSQL（根据自然语言指令生成用于临床研究的SQL查询——原设计为代码生成数据集）
在NoteExtract基准测试（从临床病历中提取特定信息）中表现最佳。
在临床病例生成任务中，大多数模型达到了0.74-0.85的高分表现；在患者沟通教育任务中表现同样出色，得分在0.76-0.89之间；在医学研究辅助（0.65-0.75）和临床决策支持（0.61-0.76）类别中表现中等，而在管理与工作流程（0.53-0.63）类别中的得分普遍较低。
这种差异反映了自由文本生成任务（如临床病例生成、患者沟通）更适合发挥大语言模型的自然语言优势，而结构化推理任务则需要更强的领域特定知识整合和逻辑推理能力。
对于13个开放式基准测试，团队采用了大语言模型评审团（LLM-jury）评估方法。
为评估该方法的有效性，团队收集了临床医生对部分模型输出的独立评分。其中，从ACI-Bench中选取了31个实例，从MEDIQA-QA中选取了25个实例，以比较临床医生给出的分数与评审团的综合评分。
结果显示，LLM陪审团方法与临床医生评分的一致性达到0.47的组内相关系数，不仅超过了临床医生之间的平均一致性（ICC=0.43），也明显优于传统的自动化评估指标如ROUGE-L（0.36）和BERTScore-F1（0.44）。
团队由此认为，大语言模型评审团比标准词汇指标更能反映临床医生的判断，证明了其作为临床医生评分替代方法的有效性。
成本效益分析是该研究的另一个创新，基于2025年5月12日的公开定价，团队结合基准测试运行和大语言模型评审团评估过程中消耗的输入总token数和最大输出token数，估算了每个模型所需的成本。
本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。
