Kinerja model bahasa besar pada tugas-tugas penalaran seorang dokter (Performance of a large language model on the reasoning tasks of a physician)
Ujian kedokteran pilihan ganda tidak lagi mampu membedakan sistem AI yang kuat dari yang lemah, sehingga tim yang dipimpin Fakultas Kedokteran Harvard dan Beth Israel Deaconess Medical Center mengajukan pertanyaan yang lebih sulit: dapatkah sebuah model penalaran menangani penilaian terbuka yang dibuat dokter setiap hari? Mereka menjalankan lima eksperimen dengan model o1 dari OpenAI, mencakup diagnosis banding, penjelasan penalaran diagnostik, triase, penalaran probabilistik, dan perencanaan penatalaksanaan, lalu meminta dokter praktik menilai keluarannya dengan instrumen penilaian tervalidasi. Set uji mencakup 143 kasus klinikopatologis dari New England Journal of Medicine, kasus simulasi yang sulit, serta perbandingan di dunia nyata pada 76 pasien yang dipilih secara acak dari unit gawat darurat di Boston, di mana model dan dua dokter penanggung jawab masing-masing membaca rekam medis yang sama pada tiga titik: triase, evaluasi awal, dan keputusan rawat inap. Model tersebut menyamai atau melampaui dokter pada sebagian besar tugas. Pada tahap triase, ketika hanya tanda-tanda vital dan catatan singkat perawat yang tersedia, model memberikan diagnosis yang tepat atau sangat mendekati jauh lebih sering daripada para dokter; begitu informasi lebih banyak masuk, selisihnya menyempit dan tidak lagi signifikan secara statistik.
Temuan utama
- Pada 143 konferensi kasus NEJM, model penalaran memberikan diagnosis yang benar atau sangat mendekati jelas lebih sering daripada GPT-4.
- Dalam uji di unit gawat darurat, keunggulan model paling besar pada tahap triase, ketika informasi paling sedikit; peninjau yang disamarkan tidak dapat membedakan keluaran AI dari keluaran dokter secara andal.
- Para penulis menekankan bahwa model hanya membaca teks yang ditulis orang lain dan menyerukan uji klinis prospektif sebelum penerapan apa pun.
Mengapa ini penting
Rumah sakit di kawasan Teluk berinvestasi besar dalam kesehatan digital, dan ini adalah bukti pertama yang ditelaah sejawat di jurnal papan atas bahwa model penalaran serbaguna dapat menyaingi dokter spesialis pada kasus gawat darurat nyata. Studi ini mendukung peran AI sebagai pendapat kedua pada saat-saat ketika klinisi memiliki informasi paling sedikit, sambil menegaskan bahwa uji klinis, tata kelola, dan pengawasan dokter harus didahulukan.
