Rendimiento de un gran modelo de lenguaje en las tareas de razonamiento de un médico (Performance of a large language model on the reasoning tasks of a physician)
Los exámenes médicos de opción múltiple ya no distinguen a los sistemas de IA sólidos de los débiles, así que un equipo dirigido por la Facultad de Medicina de Harvard y el Beth Israel Deaconess Medical Center planteó una pregunta más difícil: ¿puede un modelo de razonamiento manejar los juicios abiertos que los médicos emiten cada día? Realizaron cinco experimentos con el modelo o1 de OpenAI, que abarcaron el diagnóstico diferencial, la explicación del razonamiento diagnóstico, el triaje, el razonamiento probabilístico y la planificación del tratamiento, y pidieron a médicos en ejercicio que calificaran los resultados con herramientas de puntuación validadas. El conjunto de prueba incluyó 143 casos clinicopatológicos del New England Journal of Medicine, casos simulados difíciles y una comparación en el mundo real con 76 pacientes seleccionados al azar de un servicio de urgencias de Boston, donde el modelo y dos médicos adjuntos leyeron la misma historia clínica en tres momentos: el triaje, la evaluación inicial y la decisión de ingreso. El modelo igualó o superó a los médicos en la mayoría de las tareas. En el triaje, cuando solo se disponía de las constantes vitales y de una breve nota de enfermería, ofreció un diagnóstico exacto o muy cercano con bastante más frecuencia que los médicos; a medida que llegaba más información, la diferencia se redujo y dejó de ser estadísticamente significativa.
Hallazgos principales
- En 143 conferencias de casos del NEJM, el modelo de razonamiento dio el diagnóstico correcto o muy cercano con una frecuencia claramente mayor que GPT-4.
- En la prueba del servicio de urgencias, la ventaja del modelo fue mayor en el triaje, cuando la información era más escasa; los revisores ciegos no pudieron distinguir de forma fiable las respuestas de la IA de las de los médicos.
- Los autores subrayan que el modelo solo leyó texto escrito por otros y piden ensayos clínicos prospectivos antes de cualquier implantación.
Por qué importa
Los hospitales del Golfo están invirtiendo con fuerza en salud digital, y esta es la primera evidencia revisada por pares, en una revista de primer nivel, de que un modelo de razonamiento de uso general puede rivalizar con los especialistas en casos reales de urgencias. Aboga por la IA como segunda opinión en los momentos en que los clínicos disponen de menos información, al tiempo que deja claro que los ensayos, la gobernanza y la supervisión médica deben ir primero.
