Asuu

Una máquina que sabe dónde termina su conocimiento.

Lo más útil que puede decir un modelo es a veces que no sabe.

Línea de investigación. Aún sin probar.

En esta página

Lo que sabemos.

Un buen médico joven tiene una costumbre por encima de todas. Cuando un caso lo supera, lo dice y va a buscar a alguien. Los modelos modernos suelen carecer de ella. Cuando se les pregunta algo fuera de su experiencia, responden con la misma voz fluida y segura que usan para todo.

Hay una medida para esto. Un modelo está bien calibrado si, de todas las respuestas que da con un noventa por ciento de confianza, nueve de cada diez son correctas. En 2017 unos investigadores mostraron que las grandes redes neuronales que entonces empezaban a usarse estaban claramente más seguras de lo que acertaban.

La pregunta abierta.

La exactitud es solo una parte de la evaluación de un modelo. También se estudian la calibración, la incertidumbre y la decisión de abstenerse de responder. Asuu pregunta cómo podrían medirse estas propiedades para un uso médico definido y explicarse con claridad a la persona responsable de una decisión.

Lo que Asuu podría hacer.

El protocolo central ya trata esto como una cuestión de seguridad: un modelo cuya confianza se aleja de su exactitud debe suspenderse. Un examinador independiente podría ir más allá y puntuar a cada modelo por su honestidad sobre sus propios límites, además de por su exactitud.

El registro podría guardar cada ocasión en que un modelo dio un paso atrás. Y al asistente se le exigiría la primera regla de su trato junto al paciente, que es decir con claridad lo que no sabe.

Clasificamos los modelos por la frecuencia con que aciertan. También deberíamos preguntar lo bien que saben cuándo se equivocan.

El primer experimento.

Tómense modelos de libre acceso y puntúense dos veces con las mismas preguntas médicas: una por acertar y otra por saber cuándo probablemente se equivocan. Publíquense las dos tablas una al lado de la otra. Si las dos clasificaciones resultan ser la misma, no hay nada nuevo que medir. Sospechamos que no lo son.

Qué podría salir mal.

Un modelo que declina demasiado es inútil, y cada negativa le devuelve el trabajo a un profesional cansado. Un fabricante también podría aprender a esquivar los casos difíciles y salir mejor parado por ello. La puntuación tendría que castigar una negativa innecesaria con la misma firmeza que un error dicho con seguridad.

Fuentes y alcance

Los estudios citados aquí motivan una pregunta de investigación. No demuestran que el método propuesto por Asuu funcione. El experimento descrito aún no se ha realizado.

Las referencias pueden estar en inglés.

Con qué se relaciona.

¿Qué horizonte es el tuyo?

Si trabajas en uno de estos campos, nos gustaría entender qué necesitas.