¿Cómo se examina un modelo que cambia cada mes?
Un examen describe el modelo tal como estaba ese día. La medicina necesita garantías sobre el que se utiliza ahora.
Pregunta abierta. Aún sin probar.
En esta página
Por qué es difícil.
Un examen describe un modelo el día en que se examinó. El modelo en uso seis meses después puede ser otro, actualizado por su fabricante una docena de veces. Incluso un modelo que no cambia envejece, porque los hospitales cambian de equipos, de pacientes y de costumbres, y al modelo se le enseñó con los antiguos.
La brecha no es teórica. Una herramienta de alerta de sepsis usada en cientos de hospitales fue evaluada por investigadores independientes en 2021. Pasó por alto a la mayoría de los pacientes que tenían sepsis y dio la alarma con muchos que no. Llevaba años en uso diario.
Qué se ha intentado.
Los reguladores han empezado a permitir que el fabricante acuerde de antemano un plan de cambios permitidos, de modo que un modelo pueda actualizarse dentro de unos límites sin una aprobación nueva cada vez. El protocolo central se apoya en esa idea: un cambio fuera del corredor acordado se rechaza, y un modelo cuya confianza se aleja de su exactitud se suspende en un plazo acotado. Ninguna de las dos cosas se ha probado aún en un hospital.
Una dirección que pondríamos a prueba.
Trataríamos el examen como un deber permanente, con cuatro partes. Un examinador al que el fabricante nunca conoce guarda un conjunto de casos sellado, y cada versión nueva vuelve a pasarlo. Una versión nueva funciona en silencio junto a la anterior, con trabajo real, antes de que se le permita hablar. Cada hospital conserva un pequeño conjunto de casos propios, porque un modelo que funciona en Boston puede no funcionar en Ankara.
La cuarta parte es el resultado. Debería ser un boletín que muestre el rendimiento a lo largo del tiempo, y nunca un certificado que se concede una vez y se enmarca.
Cómo sabríamos que nos equivocamos.
Las preguntas selladas se filtran, y un modelo puede ajustarse para aprobar un examen sin mejorar en medicina. Si el examinador no logra mantener sus casos frescos y secretos, o si mantenerlos cuesta más de lo que los hospitales pagarán, el examen permanente se convierte en teatro.
Quién podría resolverlo.
Personas que gestionan la IA clínica dentro de un hospital y han visto empeorar un modelo sin que nadie lo anunciara. Estadísticos que diseñan pruebas a prueba de trampas. Reguladores que están escribiendo las reglas para los modelos que cambian. Y fabricantes de modelos que recibirían con gusto a un examinador que no controlan.
Con qué se relaciona.
Resuelve uno con nosotros.
Cuéntanos en qué problema trabajas y en qué nos hemos equivocado al respecto.