Эффективность большой языковой модели в задачах клинического мышления врача (Performance of a large language model on the reasoning tasks of a physician)
Медицинские экзамены с выбором ответа больше не отличают сильные системы ИИ от слабых, поэтому команда под руководством Гарвардской медицинской школы и медицинского центра Beth Israel Deaconess задала более трудный вопрос: способна ли рассуждающая модель справляться с открытыми суждениями, которые врачи выносят каждый день? Исследователи провели пять экспериментов с моделью o1 от OpenAI, охватывающих дифференциальную диагностику, объяснение диагностического мышления, сортировку пациентов (триаж), вероятностные рассуждения и планирование лечения, а оценку результатов поручили практикующим врачам с применением валидированных шкал. Тестовый набор включал 143 клинико-патологических случая из New England Journal of Medicine, сложные смоделированные случаи и сравнение в реальных условиях на 76 случайно отобранных пациентах отделения неотложной помощи в Бостоне, где модель и два лечащих врача читали одну и ту же карту в три момента: при триаже, первичном осмотре и принятии решения о госпитализации. В большинстве задач модель не уступала врачам или превосходила их. На этапе триажа, когда были доступны лишь жизненные показатели и краткая запись медсестры, она ставила точный или очень близкий диагноз заметно чаще врачей; по мере поступления информации разрыв сокращался и переставал быть статистически значимым.
Ключевые результаты
- На 143 клинических разборах NEJM рассуждающая модель давала правильный или очень близкий диагноз заметно чаще, чем GPT-4.
- В тесте в отделении неотложной помощи преимущество модели было наибольшим на этапе триажа, когда информации было меньше всего; ослеплённые рецензенты не могли надёжно отличить ответы ИИ от ответов врачей.
- Авторы подчёркивают, что модель лишь читала текст, написанный другими, и призывают к проспективным клиническим испытаниям до любого внедрения.
Почему это важно
Больницы стран Залива активно инвестируют в цифровое здравоохранение, и это первое рецензируемое доказательство в ведущем журнале того, что рассуждающая модель общего назначения может соперничать со специалистами на реальных неотложных случаях. Работа говорит в пользу ИИ как второго мнения в те моменты, когда у клиницистов меньше всего информации, но ясно даёт понять, что сначала должны быть испытания, регулирование и врачебный надзор.



