Исследование: в коллективах ИИ-агентов процветают конформизм и бюрократия
Компании все активнее продают «команды ИИ-агентов» как следующий этап автоматизации. Но свежие исследования показывают, что на практике они вопроизводят худшие черты человеческого коллектива — долго совещаются, соглашаются с мнением большинства и проявляют меньше экспертности. Результаты тестов приводятся в препринте статьи на сайте ArXiv.
Авторы пишут, что самоорганизующиеся команды LLM-агентов систематически не дотягивают до уровня своего лучшего участника, даже если группе прямо сообщают, кто в ней эксперт. Потери производительности доходят до 37,6%.
Проблема, как утверждают исследователи, не в том, что агенты не могут распознать более сильного участника, а в том, что они плохо умеют на него опираться. Вместо этого они склонны к тому, что авторы называют «интегративным компромисом»: группа не следует за экспертом, а просто усредняет мнение всего коллектива. Чем больше команда, тем сильнее этот эффект — и тем хуже итоговый результат.
Есть и еще один неприятный вывод: многоагентные системы не только чаще ошибаются, но и размножают свои ошибки.
Независимые команды агентов без общего координатора усиливали частотность упоминания ошибки одного участника в 17 раз. То есть, проблема не только в том, что боты спорят слишком долго, но и в том, что без внятной иерархии они начинают разносить сбой по всей системе.
В эксперименте, проведенном коллективом подкаста Shell Game, группа ИИ-агентов должна была управлять вымышленной технокомпанией, но вместо эффективной работы быстро скатилась в дорогую имитацию офисной жизни.
Ранее исследотели показали, что использование ИИ в повседневных рабочих задачах может повысить креативность.