Asuu

Bilgisinin nerede bittiğini bilen bir makine.

Bir modelin söyleyebileceği en yararlı şey bazen bilmediğidir.

Araştırma yönü. Henüz sınanmadı.

Bu sayfada

Ne biliyoruz.

İyi bir genç hekimin her şeyden önce gelen bir alışkanlığı vardır. Bir vaka onu aştığında bunu söyler ve birini çağırır. Modern modellerde bu çoğunlukla yoktur. Deneyimlerinin dışında bir şey sorulduğunda, her şey için kullandıkları aynı akıcı ve kendinden emin sesle yanıt verirler.

Bunun bir ölçüsü var. Bir model, yüzde doksan güvenle verdiği bütün yanıtların onda dokuzu doğruysa iyi kalibre edilmiştir. Araştırmacılar 2017'de, o sırada kullanıma giren büyük sinir ağlarının doğru olduklarından belirgin biçimde daha emin olduklarını gösterdi.

Açık soru.

Doğruluk, bir modeli değerlendirmenin yalnızca bir parçasıdır. Kalibrasyon, belirsizlik ve yanıt vermekten kaçınma kararı da araştırılıyor. Asuu, bu özelliklerin tanımlı bir tıbbi kullanım için nasıl ölçülebileceğini ve bir karardan sorumlu kişiye nasıl açıkça sunulabileceğini soruyor.

Asuu ne yapabilir.

Çekirdek protokol bunu şimdiden bir güvenlik meselesi olarak ele alıyor: güveni doğruluğundan uzaklaşan bir model askıya alınır. Bağımsız bir sınayıcı daha ileri gidebilir ve her modeli doğruluğunun yanı sıra kendi sınırları konusundaki dürüstlüğüne göre de puanlayabilir.

Kayıt, bir modelin geri çekildiği her durumu saklayabilir. Asistan da hasta başındaki yaklaşımının ilk kuralına bağlı tutulur: bilmediğini açıkça söylemek.

Modelleri ne sıklıkla haklı olduklarına göre sıralıyoruz. Ne zaman yanıldıklarını ne kadar iyi bildiklerini de sormalıyız.

İlk deney.

Herkesin erişebildiği modelleri alın ve aynı tıbbi sorularda iki kez puanlayın: bir kez haklı oldukları için, bir kez de büyük olasılıkla yanıldıklarını bildikleri için. İki tabloyu yan yana yayımlayın. İki sıralama aynı çıkarsa ölçülecek yeni bir şey yoktur. Aynı çıkmayacağını düşünüyoruz.

Neler ters gidebilir.

Çok sık geri çeviren bir model işe yaramaz ve her geri çevirme işi yorgun bir klinisyene geri verir. Bir üretici zor vakalardan kaçmayı öğrenip bu sayede daha iyi de görünebilir. Puan, gereksiz bir geri çevirmeyi kendinden emin bir hata kadar sert cezalandırmalıdır.

Kaynaklar ve kapsam

Burada sıralanan çalışmalar bir araştırma sorusuna dayanak oluşturuyor. Asuu’nun önerdiği yöntemin işe yaradığını göstermiyorlar. Burada anlatılan deney henüz yapılmadı.

Kaynaklar İngilizce olabilir.

Nerelere bağlanıyor.

Sizin ufkunuz hangisi?

Bu alanlardan birinde çalışıyorsanız, neye ihtiyaç duyduğunu anlamak isteriz.