Ringkasan: Satu kajian berlangsung untuk membandingkan ketepatan diagnostik ChatGPT berasaskan GPT-4 dengan radiologis, menggunakan 150 laporan MRI tumor otak. Hasilnya, ChatGPT mencatat ketepatan 73%, sedikit lebih baik daripada neuroradiologis (72%) dan radiologis umum (68%).
Ketepatan AI ini paling tinggi (80%) apabila membaca laporan yang ditulis oleh neuroradiologis, menunjukkan potensi AI dalam membantu diagnosis perubatan. Kajian ini menyoroti peranan AI yang semakin berkembang dalam bidang radiologi dan peluang untuk mengurangkan beban kerja doktor serta meningkatkan ketepatan diagnosis.
Fakta Penting:
- Ketepatan diagnostik ChatGPT adalah 73%, sedikit tinggi berbanding radiologis.
- Ketepatannya mencapai 80% ketika menggunakan laporan daripada neuroradiologis.
- Kajian ini menunjukkan AI dapat membantu meningkatkan efisiensi diagnostik dalam radiologi.
Sumber: Universiti Metropolitan Osaka
Dengan kemajuan kecerdasan buatan, penggunaannya dalam aplikasi dunia nyata semakin meluas dan mungkin dapat melampaui kepakaran manusia.
Di bidang radiologi, di mana ketepatan diagnosis adalah penting untuk menghantar rawatan yang tepat kepada pesakit, model bahasa besar seperti ChatGPT boleh menambah baik ketepatan diagnosis atau sekurang-kurangnya memberi pandangan kedua yang berguna.
Untuk menguji potensi ini, pelajar siswazah Yasuhito Mitsuyama dan pejabat yang lebih tinggi profesor Daiju Ueda di Universiti Metropolitan Osaka mengetuai kajian ini dengan membandingkan prestasi diagnostic ChatGPT dan radiologis terhadap 150 laporan MRI tumor otak praoperasi.
Dalam kajian ini, laporan MRI yang ditulis dalam Bahasa Jepun ini, ChatGPT, dua neuroradiologis bertauliah, dan tiga radiologis umum diminta untuk memberikan diagnosis pembezaan dan diagnosis akhir.
Setelah itu, ketepatan mereka diukur berdasarkan diagnosis sebenar tumor setelah ia dikeluarkan.
Keputusan menunjukkan ketepatan 73% untuk ChatGPT, 72% untuk neuroradiologis, dan 68% untuk radiologis umum.
Lebih-lebih lagi, ketepatan diagnosis akhir ChatGPT berbeza mengikut penulis laporan; ia mencapai 80% dengan laporan neuroradiologis dan hanya 60% untuk laporan radiologis umum.
“Hasil ini menunjukkan ChatGPT boleh berguna untuk diagnosis MRI praoperasi tumor otak,” kata Mitsuyama.
“Di masa hadapan, kami bercadang untuk mengkaji model bahasa besar dalam bidang pengimejan diagnostik lain dengan matlamat mengurangkan beban kepada doktor, meningkatkan ketepatan diagnosis, dan menggunakan AI untuk menyokong persekitaran pendidikan.”
Tentang penyelidikan AI dan kanser otak ini
Pengarang: Yung-Hsiang Kao
Sumber: Universiti Metropolitan Osaka
Hubungi: Yung-Hsiang Kao – Universiti Metropolitan Osaka
Imej: Imej diakui oleh Neuroscience News
Penyelidikan Asal: Akses terbuka.
“Analisis perbandingan prestasi diagnostik ChatGPT berasaskan GPT-4 dengan radiologis menggunakan laporan radiologi tumor otak dunia sebenar” oleh Yasuhito Mitsuyama et al. European Radiology
Abstrak
Analisis perbandingan prestasi diagnostik ChatGPT berasaskan GPT-4 dengan radiologis menggunakan laporan radiologi tumor otak dunia sebenar
Objektif
Model bahasa besar seperti GPT-4 telah menunjukkan potensi dalam diagnosis di bidang radiologi. Kajian sebelumnya yang menyiasat potensi ini terutama menggunakan kuiz daripada jurnal akademik. Kajian ini bertujuan untuk menilai keupayaan diagnostik ChatGPT berasaskan GPT-4 menggunakan laporan radiologi klinikal sebenar bagi tumor otak dan membandingkannya dengan prestasi neuroradiologis dan radiologis umum.
Kaedah
Kami mengumpulkan laporan MRI otak yang ditulis dalam Bahasa Jepun dari pesakit tumor otak praoperasi di dua institusi dari Januari 2017 hingga Disember 2021. Laporan MRI diterjemahkan ke dalam Bahasa Inggeris oleh radiologis. GPT-4 dan lima radiologis diberikan penemuan tekstual yang sama dari laporan dan diminta untuk memberikan diagnosis pembezaan dan diagnosis akhir. Diagnosis patologi tumor yang dikeluarkan menjadi kebenaran asas. Ujian McNemar dan ujian tepat Fisher digunakan untuk analisis statistik.
Hasil
Dalam satu kajian yang menganalisis 150 laporan radiologi, GPT-4 mencapai ketepatan akhir diagnosis sebanyak 73%, sementara ketepatan radiologis berkisar antara 65 hingga 79%. Ketepatan diagnosis akhir GPT-4 menggunakan laporan dari neuroradiologis lebih tinggi pada 80%, berbanding 60% dengan laporan dari radiologis umum. Dalam hal diagnosis pembezaan, ketepatan GPT-4 adalah 94%, sementara radiologis berada antara 73 hingga 89%. Yang menarik, untuk diagnosis pembezaan ini, ketepatan GPT-4 tetap konsisten sama ada laporan itu berasal dari neuroradiologis atau radiologis umum.
Kesimpulan
GPT-4 menunjukkan kemampuan diagnostik yang baik, setanding dengan neuroradiologis dalam membezakan tumor otak dari laporan MRI. GPT-4 boleh menjadi pendapat kedua untuk neuroradiologis mengenai diagnosis akhir dan alat panduan untuk radiologis umum dan pelajar residensi.
Pernyataan relevansi klinikal
Kajian ini menilai keupayaan diagnostik ChatGPT berasaskan GPT-4 menggunakan laporan MRI klinikal dunia nyata daripada kes tumor otak, yang menunjukkan ketepatannya dalam menginterpretasikan tumor otak dari penemuan MRI adalah setanding dengan radiologis.
