Эта ненадежная «быстрая наука»: почему не всем исследованиям ученых стоит доверять

Наука — это не стопроцентно объективный инструмент для поиска истины, как считают многие; в ней также есть место субъективным суждениям. Предположим, вы психолог. Вы выдвигаете гипотезу: люди понимают, что у них есть бессознательные предубеждения по отношению к стигматизированным группам; по крайней мере, если спросить их, они это признают. Кажется, всё предельно ясно, но найти лучший способ проверить эту гипотезу не так-то просто.

Что вы подразумеваете под негативными стереотипами? О каких именно стигматизированных группах идет речь? Как измерить степень осознанности собственных предрассудков и как оценить готовность их признать? На эти вопросы можно дать множество разных ответов, которые, в свою очередь, могут привести к совершенно разным выводам. Недавний краудсорсинговый эксперимент, в котором приняли участие 15 тысяч испытуемых и 200 исследователей из более чем 20 стран, — лишнее тому подтверждение.

Когда разные группы исследователей разработали собственные методы проверки одного и того же набора гипотез, они получили существенно отличающиеся, а в некоторых случаях и диаметрально противоположные результаты.

Этот краудсорсинговый эксперимент доказывает широко обсуждаемое в свете кризиса воспроизводимости утверждение, что субъективные решения, которые исследователи принимают в ходе подготовки к эксперименту, могут сильно влиять на его результаты.

Ведущий автор этого исследования, психолог из Европейского института управления бизнесом в Сингапуре Эрик Ульман ранее возглавлял эксперимент, в ходе которого 29 исследовательских групп, имея в своем распоряжении один и тот же набор данных, должны были ответить на простой вопрос: «Показывают ли футбольные судьи больше красных карточек темнокожим игрокам, чем светлокожим?» Несмотря на то, что все группы работали с одним и тем же массивом данных, они не получили в точности одинаковые ответы, хотя их выводы и указывали в одном направлении.

Исследование с красными карточками показало, как разные подходы к анализу данных могут повлиять на результаты. Но Ульмана также интересовали другие решения, принимаемые в процессе подготовки к эксперименту. Поэтому он инициировал новое, еще более масштабное и амбициозное исследование, результаты которого будут опубликованы в «Психологическом бюллетене». Проект начался с пяти гипотез, которые уже были ранее проверены, но результаты этих экспериментов еще не были обнародованы.

Помимо вышеупомянутой гипотезы о бессознательных ассоциациях, рассматривались гипотезы о том, как люди реагируют на агрессивную тактику ведения переговоров и доводы, которые могли бы убедить их одобрить использование допинга профессиональными атлетами.

Ульман и его коллеги поставили одни и те же вопросы перед более чем десятью исследовательскими группами, ничего не сообщив им о результатах предыдущего исследования. Затем группы независимо друг от друга разработали собственные эксперименты для проверки гипотез.

Эксперименты проводились онлайн, а участники выбирались случайным образом из общего списка. Каждый эксперимент проводился дважды: сначала с участием пользователей Mechanical Turk, а затем с новой группой испытуемых, выбранных компанией Pure Profile.

Опубликованные материалы исследования показывают, насколько сильно различались экспериментальные подходы. Например, для проверки гипотезы о том, что люди знают о своих подсознательных предрассудках, одна группа просила участников оценить, насколько они согласны со следующим утверждением: «Несмотря на мои сознательные убеждения насчет социального равенства, я считаю, что у меня есть подсознательные негативные ассоциации, связанные с представителями стигматизированных социальных групп». На основании полученных ответов они пришли к выводу, что гипотеза ложна, так как люди не признавали наличие у себя скрытых негативных стереотипов.

Другая группа решила проверить ту же гипотезу, попросив участников определить, какой политической партии они больше всего симпатизируют, а затем оценить свое отношение к гипотетическому члену оппозиционной партии. Используя такой подход, исследователи обнаружили, что люди охотно сообщают о своих негативных стереотипах.

Третья группа показывала участникам фотографии белых, темнокожих и страдающих избыточным весом мужчин и женщин (а также котят и щенков) и просила их оценить свою «первую инстинктивную реакцию» на каждого человека. Эта группа также пришла к выводу, что люди с готовностью признают, что у них есть негативные ассоциации в отношении представителей стигматизированных групп.

В итоге семь групп исследователей получили данные, подтверждающие гипотезу, и шесть групп — данные, опровергающие ее. Взятые вместе эти данные не подтверждают предположение, что люди знают о своих подсознательных ассоциациях. Однако, имея перед глазами результаты только от одной из групп, можно было бы прийти к противоположному выводу.

Результаты распределились схожим образом для четырех из пяти гипотез: разные группы исследователей получили статистически значимые эффекты в противоположных направлениях. И даже когда полученные ответы указывали в одном и том же направлении, величина эффекта сильно отличалась.

Например, 11 из 13 групп получили данные, которые однозначно подтверждали гипотезу о том, что нереалистичные предложения подрывают доверие к участникам переговоров; результаты двух других групп в целом указывали в том же направлении. Однако некоторые группы обнаружили, что нереалистичные предложения сильно влияют на то, будут ли люди доверять друг другу или нет, тогда как остальные пришли к выводу, что это влияние незначительно.

Мораль истории заключается в том, что одно-единственное исследование само по себе значит мало.

Анна Дребер, экономист из Стокгольмской школы экономики, говорит: «Нам, исследователям, нужно избегать заявлений вроде „Я проверил гипотезу“. Вместо этого нам следует говорить: „Я проверил гипотезу таким-то конкретным способом“. Соотносятся ли полученные выводы с другими условиями, покажут дальнейшие исследования».

Эта проблема актуальна не только для социальной психологии. В рамках другого недавнего проекта 70 группам было предложено проверить девять гипотез, используя одни и те же данные функциональной МРТ. Каждая группа применила свой собственный подход, а полученные результаты, как вы можете догадаться, были разными.

Исходя из результатов этих проектов, можно подумать, что в научной литературе полно противоречивых выводов. Однако на самом деле верно обратное: в журналах публикуют много исследований, подтверждающих исходную гипотезу, тогда как противоречащие ей результаты замалчиваются.

В случае с гипотезой о подсознательных предрассудках одна половина групп получила данные, подтверждающие гипотезу, а другая — данные, опровергающие ее. Если бы это исследование публиковалось в научном журнале, представлены были бы выводы первой половины групп, другими результатами бы просто пренебрегли.

Работа, проделанная Ульманом и его коллегами, показывает, что гипотезы следует проверять разными способами. «Мы должны проводить больше экспериментов и рассматривать какое-то утверждение, используя разные методы», — говорит психолог из Оксфордского университета Дороти Бишоп. Только так можно «достоверно выяснить, насколько надежны полученные результаты, прежде чем публиковать их».

«Полученные результаты говорят о том, что не стоит делать поспешных выводов, — вторит ей Ульман. — Мы должны быть осторожны со своими заявлениями в научных статьях, пресс-релизах и интервью». Всем хочется сделать громкое заявление, но наука требует неспешности и осторожности.

Не спешить призывает в своей статье и психолог Ута Фрит из Лондонского университетского колледжа. Фрит пишет, что «нынешний подход а-ля „опубликуй или умри“ оказывает пагубное влияние как на ученых, так и на саму науку».

По ее словам, необходимость публиковать большое количество статей вместо того, чтобы публиковать качественные материалы, увеличивает нагрузку на ученых и вредит науке. «Быстрая наука в конечном счете ведет к кризису вопроизводимости», — пишет она.

Какую альтернативу она предлагает? «Медленную науку», ориентированную на достижение «более значительных научных целей». Она советует исследователям брать пример с производителей вина «гран крю», которые выпускают свое вино в небольших количествах, чтобы сохранить его высокое качество.

Бишоп также предлагает ученым сократить количество своих публикаций. «Чтобы разработать теорию, необходим огромный объем данных, а их в большинстве случаев оказывается слишком мало, — говорит она. — Мы зачастую делаем преждевременные выводы, не принимая во внимание условия, в которых были получены результаты».

Урок, который следует вынести из исследования с пятью гипотезами, ясен: наука — это медленный процесс.