Comment examiner un modèle qui change chaque mois ?
Une évaluation décrit le modèle tel qu’il était ce jour-là. La médecine a besoin de garanties sur celui qui est utilisé maintenant.
Question ouverte. Pas encore testée.
Sur cette page
Pourquoi c’est difficile.
Un examen décrit un modèle le jour où il a été examiné. Le modèle utilisé six mois plus tard peut être un autre, mis à jour une douzaine de fois par son fabricant. Même un modèle inchangé vieillit, parce que les hôpitaux changent d’équipements, de patients et d’habitudes, et qu’il a appris sur les anciens.
L’écart n’a rien de théorique. Un outil d’alerte au sepsis utilisé dans des centaines d’hôpitaux a été testé par des chercheurs indépendants en 2021. Il a manqué la plupart des patients qui avaient un sepsis et donné l’alerte pour beaucoup qui n’en avaient pas. Il était utilisé chaque jour depuis des années.
Ce qui a été tenté.
Les régulateurs ont commencé à permettre à un fabricant de convenir à l’avance d’un plan de modifications autorisées, afin qu’un modèle puisse être mis à jour dans certaines limites sans nouvelle approbation à chaque fois. Le protocole central s’appuie sur cette idée : une modification hors du corridor convenu est rejetée, et un modèle dont le degré de confiance s’écarte de son exactitude est suspendu dans un délai borné. Ni l’un ni l’autre n’a encore été essayé dans un hôpital.
Une piste que nous mettrions à l’épreuve.
Nous ferions de l’examen un devoir permanent, en quatre parties. Un jeu de cas scellé est détenu par un examinateur que le fabricant ne rencontre jamais, et chaque nouvelle version est évaluée sur ce même jeu de cas. Une nouvelle version fonctionne en silence à côté de l’ancienne, sur du travail réel, avant d’être autorisée à parler. Chaque hôpital garde un petit jeu de ses propres cas, parce qu’un modèle qui fonctionne à Boston peut ne pas fonctionner à Ankara.
La quatrième partie est le résultat. Ce devrait être un bulletin qui montre les performances dans le temps, et jamais un certificat décerné une fois puis encadré.
Comment nous saurions que nous avons tort.
Les questions gardées sous scellés peuvent fuiter, et un modèle peut être réglé pour réussir un examen sans devenir meilleur en médecine. Si l’examinateur ne peut pas renouveler ses cas tout en les gardant secrets, ou si les entretenir coûte plus cher que les hôpitaux ne paieront, l’examen permanent devient du théâtre.
Qui pourrait la résoudre.
Des personnes qui gèrent l’IA clinique dans un hôpital et ont vu un modèle se dégrader sans que personne l’annonce. Des statisticiens qui conçoivent des tests impossibles à contourner. Des régulateurs qui écrivent les règles pour les modèles qui changent. Et des fabricants de modèles qui accueilleraient volontiers un examinateur qu’ils ne contrôlent pas.
À quoi cela se rattache.
Résolvez-en une avec nous.
Dites-nous sur quelle question vous travaillez et ce que nous avons mal compris.