Исследование: люди не отличили стихотворения, сгенерированные ИИ, от настоящей поэзии

Учёные из Питтсбургского университета (США) захотели выяснить, могут ли люди отличить поэтическое «творчество» ChatGPT от стихотворений англоязычных поэтов. Если верить результатам их исследования, ИИ умеет сбивать с толку.

Исследователи Брайан Портер и Эдуард Мачери провели два эксперимента. Первый — чтобы определить, смогут ли добровольцы распознать «искусственную» поэзию, второй — чтобы понять, отличается ли оценка качества «творений» ИИ и авторских стихотворений.

В первом эксперименте участвовало 1634 человека, чей средний возраст составил 37 лет (49% — женщины). Каждому добровольцу предлагали прочитать 10 стихотворений: 5 — за авторством одного конкретного поэта, ещё 5 — сгенерированных ChatGPT и имитирующих стиль автора. Участников просили не только определить «подлинники», но и оценить свою уверенность в выборе.

Во втором эксперименте приняли участие 696 людей: средний возраст — 40 лет, 47% — женщины. Участники оценивали общее впечатление от стихотворения, его образность, ритм, звучание, а также уровень отдельных эмоций от прочтения.

Согласно результатам исследований, людям не удалось выявить стихи, написанные человеком. Кроме того, испытуемые чаще ошибочно принимали стихи от ИИ за произведения, созданные человеком, чем наоборот: 5 стихотворений, которые реже всего называли «человеческими», были написаны настоящими творцами.

Участники эксперимента высоко оценивали ритм и субъективную красоту поэзии авторства ChatGPT. По мнению Портера и Мачери, эти факторы и могли запутать людей.

«Наши результаты показывают, что участники использовали общую, но ошибочную эвристику, чтобы отличить стихи, написанные ИИ, от стихов, написанных людьми: неспециалистам может быть проще понять простоту стихов, написанных ИИ, из-за чего они предпочитают стихи, написанные ИИ, и ошибочно воспринимают сложность стихов, написанных людьми, как бессвязность, созданную ИИ», — предположили авторы исследования.