Asuu

كيف تفحص نموذجًا يتغير كل شهر؟

يصف الفحص النموذج كما كان في ذلك اليوم. ويحتاج الطب إلى ضمان بشأن النموذج المستخدم الآن.

سؤال مفتوح. لم يُختبر بعد.

في هذه الصفحة

لماذا هي صعبة.

الفحص يصف النموذج في اليوم الذي فُحص فيه. والنموذج المستعمل بعد ستة أشهر قد يكون نموذجا آخر، حدّثه صانعه اثنتي عشرة مرة. وحتى النموذج الذي لم يتغير يشيخ، لأن المستشفيات تغير أجهزتها ومرضاها وعاداتها، والنموذج تعلّم من القديمة.

وهذه الفجوة ليست نظرية. أداة للتنبيه إلى تعفن الدم مستعملة في مئات المستشفيات اختبرها باحثون مستقلون عام 2021. فاتها أغلب المرضى المصابين بتعفن الدم، وأطلقت إنذارات على كثيرين غير مصابين. وكانت قيد الاستعمال اليومي منذ سنوات.

ما الذي جُرّب.

بدأت الجهات التنظيمية تسمح للصانع بأن يتفق مسبقا على خطة للتغييرات المسموح بها، فيُحدّث النموذج ضمن حدود من دون موافقة جديدة في كل مرة. والبروتوكول الأساسي يبني على هذه الفكرة: التغيير خارج الممر المتفق عليه يُرفض، والنموذج الذي تنحرف ثقته عن دقته يُعلّق خلال مدة محدودة. ولم يُجرّب أي من الأمرين في مستشفى بعد.

اتجاه نود اختباره.

سنعامل الفحص على أنه واجب دائم من أربعة أجزاء. مجموعة حالات مختومة يحتفظ بها فاحص لا يلتقيه الصانع أبدا، وكل نسخة جديدة تؤدي الامتحان من جديد. والنسخة الجديدة تعمل صامتة إلى جانب القديمة على عمل حقيقي قبل أن يُسمح لها بالكلام. وكل مستشفى يحتفظ بمجموعة صغيرة من حالاته، لأن النموذج الذي ينجح في بوسطن قد لا ينجح في أنقرة.

والجزء الرابع هو النتيجة. ينبغي أن تكون كشف درجات يعرض الأداء عبر الزمن، لا شهادة تُمنح مرة وتُعلّق في إطار.

كيف نعرف أننا كنا على خطأ.

الأسئلة المختومة تتسرب، والنموذج يمكن ضبطه لينجح في الامتحان من دون أن يتحسن في الطب. فإن لم يستطع الفاحص إبقاء حالاته جديدة وسرية، أو كانت صيانتها تكلف أكثر مما تدفعه المستشفيات، صار الفحص الدائم مسرحية.

من يستطيع حلها.

من يديرون الذكاء الاصطناعي السريري داخل مستشفى ورأوا نموذجًا يتراجع من دون إعلان ذلك. إحصائيون يصممون اختبارات لا يمكن التحايل عليها. جهات تنظيمية تكتب قواعد النماذج المتغيرة. وصانعو نماذج يرحبون بفاحص لا سلطان لهم عليه.

صفحات مرتبطة.

حل واحدة معنا.

أخبرنا أيّ مشكلة تعمل عليها، وما الذي أخطأنا في فهمه.