Большинство научных публикаций — ложь (доказано учеными)

Иоаннидис, который также имел диплом по статистике, математически доказал, что большинство научных статей, которые публикуются в профильных журналах, не являются достоверными. В следующей статье того же года он пояснил это более наглядно, обратившись к воспроизводимости открытий в области медицины.

Научный метод предполагает, что истина — это то, что можно воспроизвести, то есть повторить те же действия и получить тот же эффект.

Если вы открыли губительное воздействие плесневого гриба на стафилококк, то коллега, который через неделю тоже захочет убить пару миллионов этих бактерий, должен получить аналогичный результат, причем на такой же или большей выборке. Тогда ваше исследование (если оно еще и важно для человечества) назовут «значимым».

Иоаннидис взял 49 медицинских работ, которые в течение последних 13 лет научное сообщество сочло наиболее значимыми, и отделил 45 из них, которые стали основой для дальнейших исследований коллег-медиков. Проанализировав результаты последних, он обнаружил, что для 16% значимых исследований попытка воспроизвести их провалилась (результаты противоречили первоначальным), еще 16% выдающихся открытий оказались раздутыми — описанные в первоначальной статье эффекты были выражены сильнее, чем зафиксировали последующие эксперименты. В 11% случаях попыток воспроизведения вообще не было, результаты коллег просто принимались на веру и вносились в дальнейшие опыты как константы. И лишь 44%, меньше половины значимых работ оказались воспроизводимыми.

Иоаннидис стал родоначальником полезного тренда. В последующие годы специалисты в нескольких различных областях науки проводили исследования, которые были нацелены на воспроизведение результатов значимых работ в своей сфере. По разным оценкам, от 51% до 89% научных публикаций не смогли пройти этот тест.

Самым ярким примером невоспроизводимости, то есть ненаучности, стала психология.

Преподаватель этой дисциплины, профессор из Университета Вирджинии Брайан Носек, собрал коллег и повторил с ними 100 известных психологических экспериментов — лишь в 36% результаты первоначального эксперимента были подтверждены.

Мартин Хаггер из австралийского университета Кертин, организовал сотрудников 24 лабораторий, чтобы проверить один из ключевых концептов психологии — «истощение эго», то есть конечность силы воли и отключение механизма самоконтроля при перегрузке мозга. Как сообщает один из членов команды, ничего не нашли, и скоро вполне научная публикация об этом появится в рецензируемом журнале Perspectives on Psychological Science.

Ученые — сдержанные люди и не обвиняют старших коллег в сознательной подтасовке результатов (хотя все прекрасно знают, насколько западная наука финансово зависима от громких открытий и их освещении в массовой прессе, все также в курсе суровых наказаний за фальсификацию данных, которые приняты в научном сообществе).

Если бы оказалось, что ученые жертвуют собственно наукой ради имиджа первооткрывателей и жирных грантов, это бы серьезно подкосило убеждения всей современной цивилизации, которая уповает на науку как на двигатель социального прогресса. Поэтому логично, что «проверяющие» облекают ошибки экспериментаторов в одежды научных же терминов и возлагают вину на редакторов рецензируемых научных журналов — чай не ученые, какой с них спрос.

«Журналы отдают предпочтение новизне, оригинальности и верификациям гипотез над точностью, строгостью методологии и воспроизводимостью. Они таже не особо обращают внимание на то, сложно ли подделать это исследование или нет, — говорит Мартин Хаггер, — поэтому немудрено, что ученые начинают склоняться в сторону тех исследований, которые обещают открыть нечто новое и могут быть проверены на маленькой выборке в незатратных экспериментах».

Редактор журнала с большей вероятностью публикует более «крутое» открытие c эмоционально впечатляющими результатами, предпочитая его более мелким и, возможно, более достоверным. Это называется publication bias.

Иными словами, громкое «открытие», проверенное на небольшой группе образцов, попадает на передовицу журнала. Более поздние исследования, которые подтверждают его, публикуются где-то на последних страницах.

А вот те работы, авторы которых пытаются повторить первоначальный эксперимент и не получают ожидаемых результатов, не интересуют издателей и обречены пылиться в столе ученого-неудачника.

Сотрудники крупных исследовательских центров подвергаются еще одной опасности — обладая дорогостоящим доступом к большим массивам данных, они охотятся за новыми причинно-следственными связями, о которых можно торжественно объявить в новостях. Просмотреть данные долгосрочного масштабного исследования здоровья нации и обнаружить, к примеру, что рыжеволосые девушки более подвержены герпесу — это большой соблазн. Некоторые так и делают, закрывая глаза на то, что есть разница между причинно-следственной связью, корреляцией и простым совпадением.

Впрочем, не все потеряно, считает Иван Орански — научный журналист и контрибьютор Retraction Watch — блога, который отслеживает опровержения в научной прессе. Раз ученые способны и готовы поправлять друг друга, значит, сам научный метод не скомпрометирован. «Конечно, многим сейчас обидно, но это как в психотерапии — если ты однажды не начинаешь злиться и орать на психолога, это признак, что твое лечение стоит на месте», — говорит он.

Кстати, о переживающих самую сильную обиду — психологах. Иоаннидис солидарен с Орански: «Психология — очень сильная методологически наука, ее специалисты идут в авангарде, когда речь идет об описании всевозможных искажений. Теперь у психологов есть шанс возглавить кампанию по улучшению качества научных знаний — пускай начнут с воспроизводимости собственных исследований».

Позитивное влияние на процесс «очищения» науки от искажений может оказать практика pre-registering trials — запрет менять метод в процессе эксперимента.

Когда ученый меняет методики по своему желанию, это можно описать как схему «ввяжемся в драку, а там посмотрим по ситуации»: наблюдая очевидные вещи, автор эксперимента интуитивно подставляет те методы, которые могут превратить его в нечто осмысленное, а потом делает вид, что у него была гипотеза и она блестяще подтвердилась.

Pre-registering trials вынудят ученых использовать более широкую и репрезентативную выборку, а также делиться данными с коллегами, рассчитывая на взаимную помощь. Профессор нейропсихологии Дороти Бишоп из Оксфорда говорит, что несколько организаций уже прислушались к доводам сторонников pre-registering trials, и как только несколько рецензируемых журналов введут их в свои требования к публикациям, остальные последуют их примеру.

Очевидно, что сегодня каждая из наук должна разработать свои дополнительные механизмы проверки достоверности исследований. Хорошо, когда есть математик Иоаннидис с его объективным взглядом сверху, но вообще-то именно размышления ученых над собственными результатами, их корректировка и интерпретация являются ключевой частью научного процесса.

Носек, перепроверявший злополучные 100 исследований психологов, также рассматривает свою деятельность как нормальную составляющую научного процесса. «Наука — это не про правду и ложь, она про уменьшение неопределенности, — говорит он, — весь наш проект — это наука над наукой. От науки ждут, что она всегда будет выступать скептиком относительно своих собственных методов, ведь только так она может их улучшать».