Asuu

Машина, которая знает, где кончается её знание.

Самое полезное, что может сказать модель, иногда состоит в том, что она не знает.

Направление исследований. Пока не проверено.

На этой странице

Что известно.

У хорошего молодого врача есть одна привычка, которая важнее всех прочих. Когда случай ему не по силам, он так и говорит и зовёт кого-то ещё. У современных моделей её обычно нет. Когда их спрашивают о чём-то за пределами их опыта, они отвечают тем же гладким уверенным голосом, что и на всё остальное.

Для этого есть мера. Модель хорошо откалибрована, если из всех ответов, которые она даёт с уверенностью в девяносто процентов, девять из десяти верны. В 2017 году исследователи показали, что большие нейронные сети, которые тогда входили в обиход, были заметно увереннее, чем позволяла их точность.

Открытый вопрос.

Точность составляет лишь одну часть оценки модели. Калибровка, неопределённость и выбор отказаться от ответа также изучаются. Asuu спрашивает, как измерять эти свойства для определённой медицинской задачи и понятно объяснять их человеку, ответственному за решение.

Что мог бы сделать Asuu.

Основной протокол уже считает это вопросом безопасности: модель, чья уверенность расходится с точностью, должна быть отстранена. Независимый экзаменатор мог бы пойти дальше и оценивать каждую модель за честное признание собственных ограничений, наряду с точностью.

Запись могла бы хранить каждый случай, когда модель отступила. А с ассистента спрашивали бы по первому правилу его поведения у постели больного: прямо говорить, чего он не знает.

Мы ранжируем модели по тому, как часто они правы. Стоит спросить и о том, насколько хорошо они знают, когда ошибаются.

Первый эксперимент.

Возьмите модели в свободном доступе и оцените их дважды на одних и тех же медицинских вопросах: один раз за правоту и один раз за знание того, когда они, вероятно, ошибаются. Опубликуйте обе таблицы рядом. Если два рейтинга совпадут, измерять нечего. Мы подозреваем, что не совпадут.

Что может пойти не так.

Модель, которая отказывается слишком часто, бесполезна, и каждый отказ возвращает работу уставшему врачу. Производитель мог бы также научиться уклоняться от трудных случаев и выглядеть за счёт этого лучше. Оценка должна наказывать ненужный отказ так же строго, как уверенную ошибку.

Источники и границы

Перечисленные исследования помогают сформулировать исследовательский вопрос. Они не доказывают, что предложенный Asuu метод работает. Описанный эксперимент ещё не проводился.

Источники могут быть на английском языке.

С чем это связано.

Какой горизонт вам ближе?

Если вы работаете в одной из этих сфер, нам бы хотелось понять, что ей нужно.