/resim ittifakı, CFOTO, CFOTO
San Francisco – Metin robotu ChatGPT, Amerika Birleşik Devletleri’ndeki tıp öğrencilerine yönelik bir sınavda oldukça başarılı olacaktır. Yapay zeka (AI) yazılımı, belirli koşullar altında Amerika Birleşik Devletleri Tıbbi Lisanslama Sınavı’nın (USMLE) üç teorik bölümünden gerekli minimum puanı almayı başardı. Bu, uzman dergide ABD’li uzmanlar tarafından rapor edilmiştir. PLOS Dijital Sağlık (DOI: 10.1371/journal.pdig.0000198).
Ancak Kaliforniya merkezli AnsibleHealth şirketinden Victor Tseng liderliğindeki ekip birkaç soruyu atladı. USMLE, tıp öğrencilerinin Amerika Birleşik Devletleri’nde tıp pratiği yapabilmek için geçmeleri gereken standartlaştırılmış üç bölümden oluşan bir sınavdır. Biyokimyadan tanısal düşünceye ve biyoetiğe kadar çoğu tıbbi disiplinden gelen bilgiler değerlendirilir.
Ancak, ChatGPT ile test yaparken, çalışmanın yazarlarının OpenAI AI yazılımının yalnızca metin girişini kabul edebileceğini hesaba katması gerekiyordu. Yazarlar, görüntüye dayalı soruları kaldırdıktan sonra, yazılımı geçen yaz USMLE sınavının bir parçası olan halka açık 350 soru üzerinde test ettiler.
Belirsiz cevaplar da kaldırıldıktan sonra ChatGPT, sınavın üç USMLE bölümünde hala alınabilecek puanların yüzde 52,4 ila 75’ini elde etti. Sonuçlar, testin bölümüne ve görev türüne (örneğin, tik testleri veya açık uçlu sorular) bağlı olarak değişiklik gösteriyordu.
Geçme eşiği yüzde 60 civarındadır ve yıla göre biraz değişir. Belirsiz cevaplar sonuca dahil edilirse, ChatGPT olası puanların yüzde 36,1 ila 61,5’ini elde etti. Yazarlara göre ChatGPT, yalnızca biyomedikal literatür üzerine eğitilmiş bir karşı model olan PubMedGPT’den daha iyi performans gösterdi.
Ekip, ChatGPT’nin tıp eğitimini ve dolayısıyla klinik uygulamayı iyileştirme potansiyeline sahip olduğu sonucuna vardı. Yazarlar, “Zorluğuyla ünlü bu uzman sınavında geçme notunu elde etmek ve bunu herhangi bir insan yardımı olmadan yapmak, klinik yapay zekanın geliştirilmesinde dikkate değer bir kilometre taşıdır” diye yazdı.
AI sürekli olarak daha iyi hale geliyor
Barselona Ulusal Süper Bilgi İşlem Merkezi’nde yaşam bilimleri direktörü Alfonso Valencia, ChatGPT’nin sonuçlarının iki deneyimli doktor tarafından değerlendirildiğini ve tutarsızlıkların üçüncü bir uzman tarafından değerlendirildiğini belirtti. “Özet olarak, cevapların o yılı geçen insan öğrenenlerin minimum seviyesine karşılık gelen bir dereceye kadar doğru olduğunu söyleyebiliriz” dedi.
Madrid Özerk Üniversitesi Siyaset Bilimi ve Uluslararası İlişkiler Bölümü’nde yapay zekanın etik ve yönetişimi alanında doktora öncesi öğrencisi olan Lucía Ortiz, ChatGPT’nin sonuçlarının önceki modellerden önemli ölçüde daha iyi olduğunu açıkça belirtti. Bununla birlikte, çalışmanın dikkat gerektiren önemli sınırlamaları da vardır. Daha fazla sayıda soru ve daha fazla sayıda nitelikli puanlayıcı içeren ileri çalışmalar beklenmelidir.
Bununla birlikte, bu tür bir çalışma, AI’nın tıbbi uygulamalar için potansiyelini de göstermektedir. Tıbbi uygulamada, AI teknolojilerinin doktorlara ilaçları teşhis etme veya reçete yazma konusunda çok yardımcı olabileceğini söyledi.
Yönetici Peter Bannister, “ChatGPT, çok çeşitli durumlarda mantıksal içerik oluşturma konusundaki etkileyici yeteneğini göstermeye devam ederken, bu sonuçlar, tıp gibi karmaşık ve çok disiplinli mesleklerde performansı değerlendirmenin tek yolu olarak yazılı sınavların sınırlamalarını vurgulamaktadır” dedi. Mühendislik ve Teknoloji Enstitüsü (IET) başkanı.
Konuyla ilgili
Alman tıp dergisi baskısı
Haberler
Kasım 2022’de Kaliforniyalı start-up şirketi OpenAI tarafından ChatGPT’nin halka arz edilmesinin ardından, teknoloji endüstrisindeki bazı oyuncular, kullanıcıların lehine olmak için gerçek bir yarış içinde. OpenAI, Microsoft tarafından milyarlarca dolarla desteklenmektedir. Buna karşılık Microsoft, teknolojiyi Bing arama motoruna ve diğer ürünlerine entegre edebilir.
OpenAI ve Microsoft’un en büyük rakibi Google’dır. Şirket, halihazırda genel veri setinin yanı sıra tıbbi içeriklerle beslenen bir chatbot yetiştirmiş durumda. Özel tıbbi eğitimden sonra, AI modeli MedPalm, doğruluğu doktorlarınkinden biraz daha düşük olan cevaplar verir: yüzde 92,6’ya karşı yüzde 92,9.
Gruba göre bu, bir klinisyenler panelinin değerlendirmesiydi. Bir önceki Flan-Palm modeli ise sadece yüzde 61,9 oranında doğru cevap verebiliyordu. Öte yandan Flan-Palm, Amerika eyalet sınavının çoktan seçmeli sorularını yüzde 67,6 doğruluk oranıyla doğru yanıtlayabildi.
Wellington Victoria Üniversitesi Te Herenga Waka Yazılım Mühendisliği Kıdemli Öğretim Üyesi Simon McCallum, ChatGPT testi geçebilir, ancak MedPalm hastalara ve profesyonel bir pratisyen hekime tavsiyelerde bulunabilir. “Ve bu sistemlerin her ikisi de daha iyiye gitmeye devam ediyor.”
Metin robotu ChatGPT, sınavlarda en yüksek notları alamasa da diğer üniversite derslerinde de kendine yer edinmiştir. Minnesota Üniversitesi’ndeki profesörlere göre AI chatbot aracı, Pennsylvania Üniversitesi’ndeki Wharton School of Business’ta dört ders ve bir derste hukuk sınavlarını geçti. © dpa/mim/may/Haberler