एक मशीन जो जानती है कि उसका ज्ञान कहाँ खत्म होता है।
कभी-कभी मॉडल की कही सबसे काम की बात यही होती है कि उसे नहीं पता।
शोध की दिशा। अभी परीक्षण नहीं हुआ है।
इस पृष्ठ पर
हम क्या जानते हैं।
अच्छे जूनियर डॉक्टर में एक आदत सबसे ऊपर होती है। जब कोई मामला उसके बस से बाहर हो, तो वह यही कहता है और किसी को बुला लाता है। आज के मॉडलों में यह अक्सर नहीं होती। अपने अनुभव से बाहर की कोई बात पूछी जाए, तो वे उसी धाराप्रवाह, पक्के लहज़े में जवाब देते हैं जिसमें हर बात का देते हैं।
इसका एक पैमाना है। कोई मॉडल अच्छी तरह कैलिब्रेटेड तब है जब उसके नब्बे प्रतिशत भरोसे से दिए गए सारे जवाबों में दस में से नौ सही हों। शोधकर्ताओं ने 2017 में दिखाया कि जो बड़े न्यूरल नेटवर्क तब इस्तेमाल में आ रहे थे, वे जितने सही थे उससे साफ़ तौर पर ज़्यादा आश्वस्त थे।
खुला प्रश्न।
मॉडल के मूल्यांकन में सटीकता केवल एक पहलू है। कैलिब्रेशन, अनिश्चितता और उत्तर न देने के चुनाव का भी अध्ययन होता है। Asuu पूछता है कि किसी तय चिकित्सा उपयोग के लिए इन गुणों को कैसे मापा जाए और निर्णय के लिए ज़िम्मेदार व्यक्ति को कैसे स्पष्ट किया जाए।
Asuu क्या कर सकता है।
कोर प्रोटोकॉल पहले से इसे सुरक्षा का मामला मानता है: जिस मॉडल का भरोसा उसकी सटीकता से दूर खिसक जाए, उसे रोका जाना है। एक स्वतंत्र परीक्षक और आगे जा सकता है और हर मॉडल को, उसकी सटीकता के साथ-साथ, अपनी सीमाओं के बारे में उसकी ईमानदारी पर अंक दे सकता है।
रिकॉर्ड वह हर मौका रख सकेगा जब कोई मॉडल पीछे हटा। और सहायक को अपने बर्ताव के पहले नियम पर परखा जाएगा, यानी साफ़ कहना कि उसे क्या नहीं पता।
हम मॉडलों को इस पर आँकते हैं कि वे कितनी बार सही हैं। हमें यह भी पूछना चाहिए कि वे कितनी अच्छी तरह जानते हैं कि वे कब गलत हैं।
पहला प्रयोग।
खुले तौर पर उपलब्ध मॉडल लीजिए और उन्हें एक ही चिकित्सा सवालों पर दो बार अंक दीजिए: एक बार सही होने के लिए, और एक बार यह जानने के लिए कि वे कब शायद गलत हैं। दोनों तालिकाएँ अगल-बगल छापिए। अगर दोनों रैंकिंग एक जैसी निकलें, तो नापने को कुछ नया नहीं है। हमें शक है कि वे एक जैसी नहीं हैं।
क्या गलत हो सकता है।
जो मॉडल बहुत बार मना करे, वह बेकार है, और हर इनकार काम को एक थके हुए चिकित्सक के पास लौटा देता है। कोई बनाने वाला कठिन मामलों से बचना भी सीख सकता है और उसी से बेहतर दिख सकता है। अंक को बेवजह के इनकार को उतनी ही सख्ती से दंडित करना होगा जितनी सख्ती से आत्मविश्वास भरी गलती को।
स्रोत और दायरा
यहाँ दिए गए अध्ययन एक शोध प्रश्न का आधार बनती है। वह यह साबित नहीं करती कि Asuu की प्रस्तावित विधि कारगर है। यहाँ बताया गया प्रयोग अभी किया नहीं गया है।
संदर्भ अंग्रेज़ी में हो सकते हैं।
यह कहाँ जुड़ता है।
कौन सा क्षितिज है आपका?
यदि आप इनमें से किसी एक क्षेत्र में काम करते हैं, तो हम यह समझना चाहेंगे कि इसकी क्या आवश्यकता है।