Asuu

El próximo hito

La primera evaluación.

Un flujo de trabajo, pacientes inventados y una comparación que podríamos perder.

Plan de evaluación. Aún no realizado.

En esta página
Grabado en azul cobalto de una mano que sostiene un compás de puntas

La pregunta.

Todo en este sitio descansa sobre una afirmación que aún no se ha puesto a prueba. ¿Puede alguien de fuera de un hospital reconstruir, solo con un registro, qué hizo un modelo, en qué versión y quién lo autorizó? ¿Y un registro compartido hace esto mejor que algo mucho más simple?

Hasta que eso tenga respuesta, lo demás es un plan. Esta página expone cómo pensamos responderlo. Publicamos el método antes de aplicarlo, para que el resultado no pueda moldearse después a nuestra conveniencia.

El escenario.

Una institución y un flujo de trabajo pequeño. Un modelo señala un caso. Una profesional revisa la señal y autoriza una acción, o se niega a hacerlo. A mitad de camino el modelo se actualiza a una versión nueva, y la versión nueva necesita una autorización nueva.

Todos los pacientes que aparecen son inventados. No se usa ningún registro real. El modelo es una demostración y su exactitud médica no se pone a prueba. Lo único que se examina es si la historia de lo ocurrido puede recuperarse y si es de fiar.

La comparación.

Los mismos hechos se introducen en dos sistemas. El primero es un prototipo del registro de la Network. El segundo es lo más sencillo que un hospital competente podría construir en un mes: un diario corriente que el hospital firma y guarda por su cuenta.

A continuación se pide a una auditora independiente, que no tuvo parte en la construcción de ninguno, que reconstruya lo ocurrido a partir de cada uno. Nosotros también intervenimos. Después de los hechos alteramos en silencio la historia en los dos sistemas y vemos qué alteración descubre la auditora.

Si el diario sencillo cumple igual de bien, lo diremos y construiremos otra cosa.

Qué mediríamos.

Cinco cosas. Si puede reconstruirse la historia completa. Cuántas horas necesita la auditora. Cuánto trabajo cuesta conectar el sistema con lo que la institución ya utiliza, y cuánto cuesta mantenerlo en marcha. Cuántos minutos añade a la jornada de quienes lo usan.

La quinta es aquella para la que existe la Network: lo que ofrece un registro compartido que uno privado no puede ofrecer. Es decir, la prueba de que nada se reescribió después de los hechos y la capacidad de comparar la historia de una institución con la de otra.

Qué contaría como fracaso.

Si el diario local firmado permite a la auditora reconstruir la historia con la misma integridad y detectar la manipulación con la misma fiabilidad, entonces para este fin la Network no hace falta. Si el prototipo les cuesta a los profesionales más minutos de los que la institución está dispuesta a gastar, no se usará por muy elegante que sea.

Publicaremos el resultado en cualquiera de los casos. Un resultado que nos diga que paremos vale más que un año construyendo lo que no era.

Qué no mostraría.

No diría nada sobre si el consejo de un modelo es médicamente correcto, si a los pacientes les va mejor o si los hospitales llegarían a adoptar un sistema así. Es una institución, con datos inventados. Un buen resultado se gana la prueba siguiente y nada más.

A quién necesitamos.

A las personas de una institución que responden de la gobernanza de la IA clínica, de sus sistemas de información y de la auditoría. A una auditora sin interés alguno en la respuesta. Y a críticos dispuestos a leer este plan y decirnos qué deja sin probar, antes de que lo llevemos a cabo.

Con qué se relaciona.

Ayúdanos a pasar a la siguiente etapa.

Si puedes decirnos dónde está mal el trabajo o dónde podría probarse, eso es lo más útil que podríamos escuchar.