Asuu

La prochaine étape

La première évaluation.

Une seule procédure, des patients inventés, et une comparaison que nous pourrions perdre.

Plan d’évaluation. Pas encore réalisé.

Sur cette page
Gravure bleu cobalt d’une main tenant un compas à pointes sèches

La question.

Tout ce qui figure sur ce site repose sur une affirmation qui n’a pas encore été mise à l’épreuve. Quelqu’un d’extérieur à un hôpital peut-il reconstituer, à partir d’un registre seul, ce qu’un modèle a fait, dans quelle version, et qui l’a autorisé ? Et un registre partagé y parvient-il mieux qu’une solution bien plus simple ?

Tant que cette question reste sans réponse, le reste est un plan. Cette page expose comment nous comptons y répondre. Nous publions la méthode avant de l’appliquer, afin que le résultat ne puisse pas être arrangé après coup à notre avantage.

Le cadre.

Un seul établissement et une seule petite procédure. Un modèle signale un cas. Un clinicien examine le signalement et autorise une action, ou la refuse. En cours de route, le modèle est mis à jour vers une nouvelle version, et cette nouvelle version exige une nouvelle autorisation.

Tous les patients y sont inventés. Aucun dossier réel n’est utilisé. Le modèle sert à la démonstration, et son exactitude médicale n’est pas testée. La seule chose examinée est de savoir si l’histoire de ce qui s’est passé peut être retrouvée et si l’on peut s’y fier.

La comparaison.

Les mêmes événements sont introduits dans deux systèmes. Le premier est un prototype du registre du Network. Le second est la chose la plus simple qu’un hôpital compétent pourrait construire en un mois : un journal ordinaire que l’hôpital signe et conserve lui-même.

Un auditeur indépendant, qui n’a pris part à la construction ni de l’un ni de l’autre, est ensuite chargé de reconstituer ce qui s’est passé à partir de chacun. Nous intervenons aussi. Après les événements, nous modifions discrètement l’histoire dans les deux systèmes et nous regardons quelle modification l’auditeur repère.

Si le journal simple fait aussi bien le travail, nous le dirons et nous construirons autre chose.

Ce que nous mesurerions.

Cinq choses. Si l’histoire complète peut être reconstituée. Combien d’heures il faut à l’auditeur. Combien de travail demande le raccordement du système à ce que l’établissement fait déjà tourner, et ce que coûte son maintien en service. Combien de minutes il ajoute à la journée de ceux qui s’en servent.

La cinquième est celle pour laquelle le Network existe : ce qu’un registre partagé offre et qu’un registre privé ne peut pas offrir. Cela veut dire la preuve que rien n’a été réécrit après coup, et la possibilité de comparer l’histoire d’un établissement à celle d’un autre.

Ce qui compterait comme un échec.

Si le journal local signé permet à l’auditeur de reconstituer l’histoire aussi complètement, et de repérer la falsification aussi sûrement, alors, pour cet usage, le Network n’est pas nécessaire. Si le prototype coûte aux cliniciens plus de minutes que l’établissement n’est prêt à en dépenser, il ne sera pas utilisé, si élégant soit-il.

Nous publierons le résultat dans les deux cas. Un résultat qui nous dit d’arrêter vaut plus qu’une année passée à construire la mauvaise chose.

Ce qu’elle ne montrerait pas.

Elle ne dirait rien sur la justesse médicale des conseils d’un modèle, ni sur le sort des patients, ni sur la question de savoir si des hôpitaux adopteraient un jour un tel système. C’est un seul établissement, avec des données inventées. Un bon résultat donne droit à l’épreuve suivante, et à rien de plus.

De qui nous avons besoin.

Des personnes qui, dans un établissement, sont responsables de la gouvernance de l’IA clinique, de ses systèmes d’information et de l’audit. Un auditeur qui n’a aucun intérêt dans la réponse. Et de critiques prêts à lire ce plan et à nous dire ce qu’il oublie de tester, avant que nous le lancions.

À quoi cela se rattache.

Aidez-nous à mériter l’étape suivante.

Si vous pouvez nous dire où le travail se trompe ou où il pourrait être mis à l’épreuve, c’est ce que nous avons de plus utile à entendre.