Возьмем аспирин

На рис. 4.2 показаны результаты мета-анализа двадцати пяти медицинских исследований, исследующих вопрос, может ли аспирин помочь при сердечных приступах. Анализ был вначале опубликован в British Medical Journal за 1988 г. Результат анализа был широко описан в средствах массовой информации как крупное медицинское достижение, а в 1990 журнал Science заявил, что это пример того, как надо применять мета-анализ.

Рис. 4.2. Влияние аспирина на сердечные приступы (по данным 25 исследований). Только пять из двадцати пяти исследований были «удачны» (см. доверительный интервалы), но общая оценка, показанная в самом правом углу и имеющая небольшой доверительный интервал, несомненно свидетельствует в пользу того, что аспирин действительно имеет терапевтическое значение (помогает при сердечных приступах).

На рис. 4.2. точечная оценка показывает итоги каждого исследования как отношение опытов, в которых лечение помогло, против опытов, в которых никакого эффекта не наблюдалось, вместе с доверительным 99% интервалом для каждого исследования. Таким образом значение 1.0 на этом рисунке означает, что применение аспирина не было эффективным при сердечных приступах. Значение меньше чем 1.0 означает, что лечение аспирином имело эффект в сравнении с контрольной группой. Главный момент для нашего обсуждения - это факт, что только пять исследований из двадцати пяти были удачны, так как они имеют 99% доверительные интервалы, расположенные выше «единичной» линии. Однако, большинство исследований (80%) были как бы неудачны, так как имеют доверительные интервалы, включающие «единичную» линию. Рецензент, сомневающийся в эффективности применения аспирина, мог бы ограничиться этими необработанными при помощи мета-анализа данными и получить уверенность в том, что нет никаких свидетельств, доказывающих эффективность применения аспирина.

Но надо заметить, что если все имеющиеся данные объединить, то общий результат, равный примерно 0.75 и показанный вблизи правого окончания рисунка, выше «единичной» линии, а крошечный доверительный интервал в этой точке ясно исключает появление этой величины за счет случайных факторов. Таким образом, даже при том, что реальность эффекта была сомнительна при рассмотрении отдельных экспериментов, на самом деле применение аспирина было эффективным, что вполне справедливо рекламировалось в печати. Примерно то же самое мета-анализ делает с экспериментами psi. Если рассматривать отдельные опыты по эффектам psi, то некоторые из них были удачными, но нелегко воспроизводимы. Имеющаяся неопределенность — наряду со слабостью теории, предсказывающей эффекты psi, поддерживали сомнение скептиков в течении длительного времени. Но если результаты исследований psi объединить, то нет сомнений в реальности эффектов psi.