Нейросеть забраковала научную статью о самой себе

В США разработали нейросеть-рецензента — программу, которая оценивает качество научных работ по их внешнему виду. Об этом пишет N+1 со ссылкой на препринт исследования.

Классификатор на базе сверточной нейросети правильно определяет 50 % плохих научных работ и лишь в 0,4 % случаев может по ошибке «забраковать» качественное исследование. Любопытно, что статью о самой себе нейросеть-рецензент оценила как плохую с вероятностью в 97 %.

Цзя-Бинь Хуан из Политехнического университета Виргинии придумал эту программу, заметив, как много заявок подают на конференции по компьютерному зрению — и как трудно выбрать достойные. В таких работах обычно много иллюстраций, поэтому программу обучили обращать на них внимание.

Пример хорошей работы
Пример плохой работы

В нейросеть загрузили 5618 принятых и 1503 отвергнутых статей по компьютерному зрению. Затем обученной системе дали оценить реальные статьи, заявленные на конференцию. Программе удалось правильно отсеять половину работ.