Часто о правильности рассуждений нейросети судят по ее готовому ответу на вопрос. Команда российских и французских ученых придумала, как проверять «навыки» логического мышления больших языковых моделей (LLM). Исследователи как бы заглянули внутрь «нейронных связей» ИИ.
Большие языковые модели успешно генерируют тексты и работают с идеями пользователей. Тем не менее пока что они с трудом находят сложные причинно-следственные связи и плохо справляются с многоуровневыми рассуждениями. Проще говоря, им порой недостает логики.
Поиском причин, вызывающих эту проблему, занялись специалисты из Сколковского института науки и технологий, МФТИ, Института исследований искусственного интеллекта (AIRI) и Университета Париж-Сите.
Метод, предложенный учеными, основан на анализе внутреннего механизма внимания LLM. Обычно модель анализирует текст, используя несколько «голов внимания» — узкоспециализированных «экспертов», умеющих решать свой набор задач. Новый подход под названием QK-score позволяет определять, следует ли LLM законам логики, «прислушиваясь» к «головам» на каждом шаге своих рассуждений.
Ученые провели серию экспериментов с «участием» ряда моделей. Они обнаружили, что в каждой из нейросетей действительно существуют особые «головы внимания», которые лучше других справляются с логическими выводами.
Как итог, метод QK-score показал более высокую точность в оценке логического мышления LLM, чем классический анализ вероятностей конечного ответа модели.
«Для чистоты сравнения мы провели тест, выключив случайно выбранные «головы» в том же количестве. Так вот, когда мы отключали «топовые» «головы» с высоким QK-score, качество падало заметно сильнее, чем при отключении случайных. Так мы подтвердили, что без «топовых» «голов внимания» модели становится намного тяжелее рассуждать логически, то есть они действительно важны для таких задач», — пояснила Лаида Кушнарева, соавтор исследования.
Читайте больше актуальных новостей тут.
