Группа исследователей из Центра искусственного интеллекта Сколтеха и Института проблем передачи информации РАН разработала технологию, позволяющую нейросетям становиться более «самокритичными» и точнее оценивать свои прогнозы.
Зачастую современные нейросетевые модели чересчур «уверены» в собственных предсказаниях. При этом, иногда их ответы содержат дезинформацию или шум — что критично при внедрении нейросетей в промышленность, медицину и другие сферы, где ошибки могут привести к серьёзным последствиям.
При классическое обучение нейросети опираются на бинарные метки (0 и 1). Например, рассматривая фото с попугаем и котом, модели нужно выбрать либо «0»(птицу), либо «1»(кот).
Российские учёные создали метод на основе нового набора тренировочных задач. Они дополнили традиционную модель обучения «мягкими» метками: диапазоном значений от 0 до 1 — это отражает степень уверенности в правильности ответа. Так, модель учится формировать более «осторожную» стратегию принятия решений.
Исследователи оценили метод на практике. Как итог, технология показала значительный рост точности в задачах по медицинской диагностике.
«Наш метод помогает нейросети понять, где стоит проявить осторожность. На практике это позволяет снизить риск излишней уверенности модели при обработке сложных или пограничных случаев. Мы протестировали метод на реальных данных и подтвердили его эффективность в оценке неопределенности», — уточнил Александр Югай, младший инженер-исследователь Центра искусственного интеллекта Сколтеха.
Нескучно о культуре
