आप हर महीने बदलने वाले मॉडल की जांच कैसे करते हैं?
जाँच मॉडल को उस दिन जैसा था वैसा बताती है। चिकित्सा को अभी इस्तेमाल हो रहे मॉडल के बारे में आश्वासन चाहिए।
खुला प्रश्न। अभी परीक्षण नहीं हुआ है।
इस पृष्ठ पर
यह कठिन क्यों है।
जाँच मॉडल को उस दिन जैसा बताती है जिस दिन उसे जाँचा गया। छह महीने बाद इस्तेमाल हो रहा मॉडल कोई और हो सकता है, जिसे बनाने वाले ने दर्जन भर बार बदला हो। जो मॉडल नहीं बदला, वह भी पुराना पड़ता है, क्योंकि अस्पताल अपने उपकरण, अपने मरीज़ और अपनी आदतें बदलते हैं, और मॉडल ने पुरानों से सीखा था।
यह फ़र्क किताबी नहीं है। सैकड़ों अस्पतालों में इस्तेमाल हो रहे सेप्सिस की चेतावनी देने वाले एक औज़ार को 2021 में स्वतंत्र शोधकर्ताओं ने परखा। वह सेप्सिस वाले ज़्यादातर मरीज़ों को चूक गया और ऐसे बहुत से मरीज़ों पर अलार्म बजाता रहा जिन्हें सेप्सिस नहीं था। वह सालों से रोज़ इस्तेमाल में था।
अब तक क्या आज़माया गया है।
नियामकों ने बनाने वाले को यह छूट देनी शुरू की है कि वह अनुमत बदलावों की योजना पहले से तय कर ले, ताकि मॉडल को हर बार नई मंज़ूरी के बिना सीमाओं के भीतर बदला जा सके। कोर प्रोटोकॉल इसी विचार पर खड़ा है: तय गलियारे से बाहर का बदलाव ठुकरा दिया जाता है, और जिस मॉडल का भरोसा उसकी सटीकता से दूर खिसकने लगे, उसे तय समय के भीतर रोक दिया जाता है। दोनों में से कुछ भी अभी किसी अस्पताल में नहीं आज़माया गया।
एक दिशा जिसे हम परखना चाहेंगे।
हम जाँच को चार हिस्सों वाला निरंतर दायित्व मानेंगे। मामलों का सीलबंद समूह स्वतंत्र परीक्षक के पास रहेगा, जिससे निर्माता कभी नहीं मिलेगा; हर नया संस्करण वही परीक्षा दोबारा देगा। नया संस्करण सक्रिय उपयोग की अनुमति से पहले वास्तविक काम पर पुराने के साथ चुपचाप चलेगा। हर अस्पताल अपने मामलों का छोटा समूह रखेगा, क्योंकि बोस्टन में सफल मॉडल अंकारा में सफल हो, यह ज़रूरी नहीं।
चौथा हिस्सा नतीजा है। वह एक रिपोर्ट कार्ड होना चाहिए जो समय के साथ प्रदर्शन दिखाए, और कभी ऐसा प्रमाणपत्र नहीं जो एक बार मिले और फ़्रेम में टँग जाए।
हमें कैसे पता चलेगा कि हम गलत थे।
सीलबंद सवाल बाहर आ जाते हैं, और मॉडल को चिकित्सा में बेहतर हुए बिना परीक्षा पास करने के लिए ढाला जा सकता है। अगर परीक्षक अपने मामलों को ताज़ा और गोपनीय नहीं रख पाता, या उन्हें बनाए रखने का खर्च अस्पतालों की देने की क्षमता से ज़्यादा है, तो स्थायी जाँच नाटक बन जाती है।
इसे कौन हल कर सकता है।
वे लोग जो अस्पताल के भीतर क्लिनिकल एआई चलाते हैं और जिन्होंने किसी मॉडल को बिना किसी घोषणा के बिगड़ते देखा है। सांख्यिकीविद जो ऐसी परीक्षाएँ बनाते हैं जिनमें चालाकी नहीं चलती। नियामक जो बदलते मॉडलों के लिए नियम लिख रहे हैं। और मॉडल बनाने वाले जो ऐसे परीक्षक का स्वागत करेंगे जो उनके बस में न हो।
यह कहाँ जुड़ता है।
हमारे साथ एक समस्या का समाधान करें।
हमें बताएं कि आप किस समस्या पर काम करते हैं, और इसमें हमारी क्या गलतियां हैं।