Открытие или чепуха? 5 принципов критического анализа для журналистов и читателей научных новостей
Как отличить убедительные научные данные от псевдонаучной чепухи, которой сейчас наводнены даже авторитетные СМИ? В этом вам поможет книга «Полевое руководство для научных журналистов», признанная официальным руководством американской Национальной ассоциации научных журналистов и изданная на русском издательством «Альпина нон-фикшн». Публикуем фрагмент «Руководства» о том, как читать и интерпретировать научные данные в СМИ.
1. Определенность некоторой неопределенности
Эксперты постоянно меняют взгляды не только на то, что нужно есть, чтобы оставаться здоровым, но и на то, что нужно делать, если человек заболел. Все больше лекарственных препаратов и методов лечения оказываются дискредитированными после того, как новые исследования поднимают вопросы об их эффективности или безопасности. Даже форма Вселенной (точнее, форма Вселенной, по мнению ученых) меняется от статьи к статье.
Некоторые считают, что такие резкие перемены позорят науку. Но это просто часть нормального научного процесса, идущего как и положено.
Наука изучает статистическую вероятность истины. Выводы делаются на основе убедительных свидетельств, никто не дожидается недостижимых неопровержимых доказательств.
Сложности окружающего мира и научного процесса только усиливают неопределенность.
Однако наука может двигаться вперед именно потому, что это всегда развивающаяся история, продолжающийся путь, в котором возможны корректировки. Везде — от медицины до астрономии, от геологии до психологии — прежние выводы постоянно перепроверяются и, если нужно, уточняются (а иногда и отбрасываются в сторону).
Некоторая неопределенность не должна мешать важным действиям, если общество понимает, почему в лучшем случае ученый может сказать так: «Вот убедительные свидетельства в пользу того, что это, скорее всего, правда. Пожалуйста, оставайтесь с нами, пока мы пытаемся узнать больше».
2. Вероятность, мощность и большие числа
Вы слышали о новом лекарстве, прошедшем испытание на мышах? 33 % удалось вылечить, 33 % умерло, а третья мышь убежала. Эта старая шутка показывает, насколько важны численные показатели в оценке качества исследования.
Чем больше пациентов участвовало в исследовании, тем лучше. Чем значительнее доля успешного результата в испытаниях лекарства, тем лучше. Чем больше наблюдений за погодой сделают метеорологи, тем лучше они смогут предсказать, пойдет ли на следующей неделе дождь. Вот как числа влияют на статистическую вероятность того, что что-то является истиной.
Общепринятое численное выражение этого — значение P, которое определяется формулой, учитывающей количество анализируемых пациентов или событий. Значение P, равное или меньшее 0,05, обычно считается показателем статистически значимого результата. Это означает, что результаты могут быть простой случайностью в пяти или менее случаях из 100. Чем меньше значение P, тем ниже вероятность, что все это дело случая.
Есть два связанных с этим понятия. Первое носит название мощность. Это вероятность обнаружить что-то, если оно на самом деле существует: например, рост числа заболеваний раком у людей, работающих с подозрительным химикатом. Чем больше число наблюдений или охваченных людей, тем выше мощность. Риск редкого, но опасного побочного эффекта у нового лекарства может не проявиться, пока оно не попало на рынок и им не воспользовались десятки тысяч или даже миллионы человек.
Второе — статистическая значимость. Если кажется, что загрязнитель вызывает прирост числа случаев заболевания по сравнению с фоновым уровнем на 10 %, это может действительно означать взаимосвязь, а может, и нет. Если показатель увеличивается в десять раз (как, например, риск рака легких у курильщиков по сравнению с теми, кто не курит), шанс, что такая взаимосвязь на самом деле существует, очень велик.
Ключевые вопросы, которые нужно задать: все ли ваши выводы основываются на статистически значимых результатах?
(Насторожитесь, если не все, и предупредите своих читателей или зрителей.) Каково значение P — вероятности того, что ключевые результаты случайны? Было ли исследование достаточно обширным, чтобы обнаружить эффект, если он действительно существует? Есть ли другие статистические причины сомневаться в ваших выводах? Планируются ли более масштабные исследования?
3. Существует ли другое объяснение?
То, что явления как-то связаны, еще не означает, что одно является причиной другого. Не крик петуха заставляет солнце вставать по утрам, а вирус в организме пациента может быть невинным прохожим, а не причиной болезни. Химическое вещество в городском водопроводе может не оказаться причиной болезней в этом городе. Чтобы выявить причинно-следственную связь, нужно проводить детальные исследования в лабораториях.
Вот пример: несколько ученых (и гораздо больше журналистов) полагают, что детская вакцинация могла послужить триггером для многих случаев аутизма. Но большинство экспертов считают, что это совпадение, а не причинно-следственная связь.
«Связь» здесь только в том, что аутизм обычно проявляется в том же возрасте, когда детям делают многие прививки, утверждают эти эксперты. Но теперь проблема в том, что немало обеспокоенных родителей откладывают прививки от кори и других опасных заболеваний из ложного страха перед аутизмом. А во множестве материалов СМИ на эту тему не хватает статистики по смертности от этих детских заболеваний в те времена, когда вакцин еще не было.
Огромную роль может играть и временной охват исследования. Климатические исследования должны анализировать данные за многие годы, чтобы их не искажали обычные погодные циклы. Лекарство или метод лечения может вызвать ремиссию у онкобольного, но лишь время покажет, действительно ли это приводит к излечению или хотя бы просто увеличивает продолжительность жизни. Многие пациенты могут «выпасть» из долгосрочного исследования, и если это произошло потому, что их дела идут не очень хорошо, это повлияет на результаты.
Кроме того, существует эффект здорового работника. Ученый изучает рабочих, которые подверглись воздействию какого-то вещества, и выясняет, что в среднем они здоровее, чем население в целом. Но рано оправдывать это вещество: рабочие вообще, как правило, довольно здоровые люди — они должны быть здоровыми, чтобы получать и сохранять работу.
Некоторые колебания ожидаемы — это нормально: люди — сложные существа. Ежедневные биологические изменения возможны и у одного и того же человека и уж тем более между разными группами людей. Из-за такой изменчивости или иных экспериментальных ограничений в похожих исследованиях результаты могут незначительно, а иногда и значительно отличаться.
Список можно продолжать, но общие вопросы помогут вам не сбиться с курса.
Спросите ученого (да и себя самого): «Можно ли предложить альтернативные объяснения полученных данных и результатов исследования? Достаточно ли долго длилось исследование, чтобы можно было сделать такие выводы?»
Чтобы обозначить широкий спектр причин, почему альтернативные объяснения могли быть проигнорированы, в науке обычно используется термин «предубеждение» или «искажение». Но научным журналистам стоит иметь в виду возможность влияния и других факторов и поинтересоваться у ученых: «Кто финансировал исследование?» Многие добросовестные ученые получают деньги от компаний, заинтересованных в объекте исследования. О таких вещах следует спросить и затем рассказать читателям или зрителям.
4. Иерархия исследований
По экономическим и иным причинам не все исследования равнозначны. В итоге некоторым можно доверять больше, чем другим.
В биомедицине особенно осторожно следует относиться к лабораторным исследованиям и исследованиям на животных (даже к тем, в которых было задействовано больше трех мышей), хотя они могут давать крайне важную информацию для исследований на людях. Многие эпидемиологические и медицинские исследования ретроспективны, то есть изучают старые данные, статистику или воспоминания. Нередко это необходимо, но при этом слишком ненадежно: воспоминания меркнут, а исторические данные часто неполные. Гораздо лучше перспективные исследования, длительное время изучающие конкретную группу людей, иногда десятилетиями.
«Золотой стандарт» клинических исследований — двойное слепое исследование, когда пациентов методом случайного отбора определяют в экспериментальную или контрольную (сравнительную) группу. В контрольной группе пациенты обычно получают плацебо.
«Слепота» в данном случае означает, что ни ученые, ни пациенты до самого конца исследования не знают, кто в какую группу попал. Так ни ожидания, ни надежды не могут исказить результаты исследования. Пациентов распределяют в группы случайным образом, чтобы ученый не мог подсознательно поместить в экспериментальную группу тех, кому, скорее всего, станет лучше.
Менее строгие исследования все же могут быть важны, а иногда даже необходимы. Но доверяйте строгим исследованиям. Спрашивайте ученых во всех областях: «Почему вы разработали именно такой план исследования? К каким из ваших выводов стоило бы отнестись с осторожностью?» И как можно чаще: «Требуется ли теперь более точное исследование?»
5. Сила рецензирования
Вы можете поставить большой плюс исследованиям, опубликованным в рецензируемых журналах, что означает, что перед публикацией они прошли оценку другими экспертами. Но это не гарантия: рецензенты — тоже люди. Кроме того, хорошие научные сюжеты могут обнаружиться на научных конференциях еще до того, как они появятся в рецензируемых журналах, и даже у ученых, которые только начинают исследования. Но такие истории требуют более осторожной работы и более серьезной проверки другими экспертами.
Спросите ученых: «Кто с вами не согласен? Почему? Как ваши результаты и выводы соотносятся с другими исследованиями и тем, что мы уже знаем?»
Бремя доказательств всегда лежит на ученых, которые идут против научной догмы. И в науке всегда любят подтверждающие исследования. Научные журналисты должны искать консенсус лучших исследований.