Yapay zeka doktorları geride bıraktı! Teşhis testinde yüzde 83 başarı
Yapay zeka doktorları geride bıraktı! Teşhis testinde yüzde 83 başarı
Microsoft’un geliştirdiği MAI-DxO, karmaşık tıbbi vakaları değerlendiren kontrollü bir testte yüzde 83,2 teşhis doğruluğuna ulaştı. Araştırmaya katılan hekimlerde bu oran yüzde 36,1 olarak ölçüldü.
Yapay zekanın sağlık alanındaki kullanımına ilişkin dikkat çekici bir çalışma, Science dergisinde yayımlandı. Microsoft araştırmacılarının geliştirdiği Microsoft AI Diagnostic Orchestrator, kısaca MAI-DxO, hastalıkların teşhisinde bilgi toplama ve değerlendirme sürecini adım adım yürütüyor.
Sistem, kendisine verilen belirtilere hemen bir hastalık adı söylemekle yetinmiyor. Ek sorular soruyor, hangi tetkiklerin gerekli olduğunu belirliyor ve yeni bilgiler geldikçe olası teşhisleri yeniden değerlendiriyor. Microsoft, bu yaklaşımın hem doğruluğu artırabileceğini hem de gereksiz testleri azaltabileceğini savunuyor.
İKİ FARKLI VAKA GRUBUNDA DAHA YÜKSEK BAŞARI
Araştırmada, New England Journal of Medicine’da yayımlanmış 304 karmaşık vaka ile MIMIC-IV-ED veri setinden alınan 325 acil servis başvurusu kullanıldı.
GPT-5 ile çalışan MAI-DxO, karmaşık vakalarda yüzde 83,2 doğruluğa ulaştı. Kaynaklara erişebilen, genel klinik değerlendirme yapan hekimlerin ortalaması ise yüzde 36,1 oldu. Hekim karşılaştırmasının bu bölümünde, geliştirme sürecinden ayrı tutulan 56 vakalık test kümesi kullanıldı.
Acil servis kayıtlarına dayanan değerlendirmede yapay zekanın doğruluk oranı yüzde 80,3, hekimlerin oranı yüzde 46,8 olarak açıklandı. Bu sonuçlar, gerçek hastalar üzerinde yürütülen tedavilerin başarı oranını değil, hazırlanan test ortamındaki teşhis performansını gösteriyor.
Seçim sonuçlarına müdahale: Yapay zeka talimatsız Georgia seçim verilerini hackledi!
SANAL BİR HEKİM HEYETİ GİBİ ÇALIŞIYOR
MAI-DxO, farklı görevler üstlenen sanal hekimlerden oluşan bir değerlendirme sürecini taklit ediyor. Olası hastalıkları öneren, istenecek testleri seçen ve ortaya çıkan görüşleri sorgulayan roller birlikte çalışıyor.
Testin başlangıcında yalnızca kısa bir vaka özeti veriliyor. Ardından “Gatekeeper” adı verilen ayrı bir yapay zeka bileşeni, sorulara vaka dosyasındaki bilgilerden cevap sağlıyor. Dosyada bulunmayan bazı bulgular için de vakayla uyumlu sentetik cevaplar üretebiliyor.
Son teşhis, başka bir değerlendirme bileşeni tarafından referans teşhisle karşılaştırılıyor. Böylece yalnızca ulaşılan sonucun değil, o sonuca giderken istenen bilgilerin ve tetkiklerin de değerlendirilmesi amaçlanıyor.
DAHA AZ MALİYET İDDİASI AYARA GÖRE DEĞİŞİYOR
Çalışmada teşhis doğruluğunun yanında istenen testlerin tahmini maliyetleri de hesaplandı. Microsoft’a göre maliyete daha fazla ağırlık veren bir yapılandırma, karmaşık vakalarda yaklaşık yüzde 81 doğruluk sağlarken karşılaştırmadaki maliyeti yarıdan fazla azaltabildi.
Ancak en yüksek doğruluk ile en düşük maliyet aynı çalışma ayarından gelmiyor. Sistemin bütçe sınırına göre farklı sonuçlar vermesi, “yapay zeka her durumda daha başarılı ve daha ucuz” şeklinde bir yorum yapılmasını engelliyor.
Yapay zeka doktorları geride bıraktı! Teşhis testinde yüzde 83 başarı
GERÇEK HASTAYLA İLETİŞİM HENÜZ AYNI ŞEKİLDE SINANMADI
Araştırmanın önemli sınırları bulunuyor. Hekimler ve yapay zeka, hastayla yüz yüze görüşmek yerine metin üzerinden çalıştı. Hastanın bir ayrıntıyı unutması, şikayetini eksik anlatması veya muayene sırasında ortaya çıkan işaretler bu ortamda tam olarak karşılanamıyor.
Karşılaştırma, farklı uzmanlık alanlarından hekimlerin birlikte çalıştığı klinik ekiplerle de yapılmadı. Üstelik doğru teşhise ulaşmak, uygun tedaviyi seçmek, tedavinin güvenliğini değerlendirmek ve hastayı uzun süre takip etmekle aynı şey değil. Çalışma bu sonuçları ölçmüyor.
SIRADAKİ AŞAMA HASTANE ORTAMINDA TEST
Microsoft, Boston’daki Beth Israel Deaconess Medical Center ile gerçek klinik ortamlarda değerlendirme yapılacağını açıkladı. Planlanan ileriye dönük çalışmada hastalar sistemle doğrudan iletişim kuracak; sonuçlar hekimlerin bağımsız değerlendirmeleriyle karşılaştırılacak.
