Исследование: чат-боты с ИИ — сексисты, которые пишут менее внятные деловые письма для пользователей-женщин
Учёные из Университета Джонса Хопкинса (США) протестировали популярные ИИ-модели на предвзятость. Оказалось, GPT-4, Llama, Gemma и Mistral работают хуже, когда запрос составлен женщинами.
Авторы взяли реальные рабочие запросы от пользователей из открытой базы данных WildChat. Далее специалисты создали на их основе пары стереотипно женских и мужских формулировок. Например, согласно статистике, женщины чаще мужчин употребляют в письмах и речи вводные слова вроде «наверное» и «мне кажется», местоимения во множественном числе («мы», «наша команда»), а также экспрессивные эпитеты («прекрасно», «чудесно»).
Команда использовали гендерно окрашенные формулировки и попросила чат-ботов составить три типа документов: деловое письмо, сопроводительное письмо и заявление об увольнении.
Результаты показали, что все тексты, сгенерированные по «женским» промптам, были структурно проще, звучали менее формально и сравнительно неубедительно. Разница сохранялась даже тогда, когда учёные сравняли сложность исходных промптов. Проще говоря, модель не просто копировала манеру пользователя, а реагировала именно на речевые маркеры. Упоминание имени не влияло на итоги эксперимента.
«Я была очень удивлена тем, насколько разными были ответы, — призналась Кэтрин Ван Кёверинг, первый автор исследования. — Некоторые ответы были настолько плохими, что я не сперва не поверила, что модель могла их предложить. В некоторых случаях я подумала: “Ого, надо быть осторожнее в электронных письмах!”».
По мнению авторов работы, ИИ-инструменты незаметно влияют на отношение руководства к подчинённым разного пола. При этом учёные осознают, что асимметрия не возникла из-за чьей-то обозлённости: алгоритмы просто копируют речевые паттерны и другие стереотипы из реальной жизни.
Ранее другие учёные выяснили, действительно ли ИИ отупляет людей и отучает их мыслить самостоятельно.