大语言模型在医生推理任务上的表现 (Performance of a large language model on the reasoning tasks of a physician)
多项选择式的医学考试已无法区分强弱人工智能系统,因此由哈佛医学院和贝斯以色列女执事医疗中心领导的团队提出了一个更难的问题:推理模型能否处理医生每天都要做出的开放式判断?他们使用 OpenAI 的 o1 模型进行了五项实验,涵盖鉴别诊断、诊断推理解释、分诊、概率推理和管理规划,并由执业医生使用经过验证的评分工具对输出进行评分。测试集包括《新英格兰医学杂志》的 143 个临床病理病例、高难度模拟病例,以及一项真实世界对比:从波士顿一家急诊科随机选取 76 名患者,由模型和两名主治医生在分诊、初步评估和入院决策三个时间点阅读同一份病历。在大多数任务上,模型的表现与医生持平或更优。在分诊阶段,当仅有生命体征和简短的护理记录可用时,模型给出准确或非常接近的诊断的频率明显高于医生;随着更多信息到来,差距缩小,不再具有统计学显著性。
主要发现
- 在 143 个《新英格兰医学杂志》病例讨论中,推理模型给出正确或非常接近的诊断的频率明显高于 GPT-4。
- 在急诊科测试中,模型的优势在信息最匮乏的分诊阶段最为显著;盲审人员无法可靠地区分人工智能输出与医生输出。
- 作者强调,模型仅阅读了他人撰写的文字,并呼吁在任何部署之前开展前瞻性临床试验。
为何重要
海湾地区的医院正大力投资数字医疗,而这是顶级期刊上首个经同行评审的证据,表明通用推理模型在真实急诊病例上可与专科医生媲美。它支持在临床医生信息最少的时刻将人工智能作为第二意见,同时明确指出临床试验、治理和医生监督必须先行。



