Исследования, результаты которых сгруппированы странным способом

Иногда использование неверного способа компоновки данных для получения итогового эффекта от лечения может привести к искажению результатов. Например, просто сдвинув пороговые отметки вправо, можно превратить незначительный положительный эффект от лекарства в значимый, завышая его эффективность. А при группировке нескольких положительных свойств препарата, воздействующих на разные параметры организма, в одно для получения «совокупного результата» можно разбавить данные по вредным эффектам или сделать так, чтобы ненужные свойства лекарства, воздействующие на параметры организма, не представляющие интереса, создали впечатление, будто наблюдается улучшение по целому ряду точек клинической эффективности.

Даже если вы собираете абсолютно истинные итоговые данные по основной точке клинической эффективности лекарства, то неправильно выбранный способ, при помощи которого вы сводите эти данные в течение исследования, может исказить общую картину. Приведу сначала несколько простых примеров, как это делается, а затем несколько более сложных.

Самый грубый пример: авторы многих статей (слава богу, все это уже в прошлом) использовали метод фиксации худшего зарегистрированного значения побочных эффектов.19 Это может привести к большим искажениям данных, так как при таком методе принимается во внимание только один лишь худший побочный эффект, который наблюдался когда-либо у пациента на протяжении всего исследования, а не сумма всех значений побочных эффектов, зарегистрированных в течение всего процесса. На графиках ниже вы можете увидеть, почему это так важно. Лекарство, представленное верхним графиком, выглядит таким же хорошим, как и лекарство внизу, благодаря использованному методу учета наихудшего значения из всех побочных эффектов, хотя лекарство внизу гораздо лучше, с точки зрения тяжести побочных эффектов.

Другой способ сведения результатов, который искажает общую картину, состоит в следующем: исследователь назначает пороговый критерий эффективности, после чего можно сделать вид, будто незначительное улучшение свидетельствует о значительной пользе от применения данного лекарства, в то время как в реальности ее может не быть вообще. Например, 10 %-е уменьшение интенсивности симптомов у больных может быть расценено как отличный результат, хотя пациенты все так же остаются немощными.20 Это в особенности искажает истинную картину, когда при лечении одним лекарством достигается значительное улучшение в состоянии пациента, при условии если средство вообще работает, а при применении другого лекарства наблюдается лишь скромный эффект, если оно работает вообще, но оба преодолевают произвольно установленный и скромный порог в 10 % в группах с одинаковым количеством пациентов: неожиданно более скромный препарат начинает казаться таким же действенным, как и лучшее лекарство в данном классе.

Также можно сводить вместе сразу несколько различных эффектов лекарства, чтобы получить один «суммарный эффект».21 Часто такое допускается, однако иногда данный подход может завышать положительные свойства лекарства. Например, в целом сердечные приступы происходят сравнительно редко, что справедливо и в том случае, если речь идет о большинстве исследований, при которых тестируются лекарства для лечения сердечно-сосудистых заболеваний. По этой причине такие исследования часто проводятся с большим количеством участников, чтобы иметь возможность определить разницу в частоте случаев сердечных приступов у пациентов двух групп. Из-за этого обычно все важные результаты воздействия лекарства «от сердечно-сосудистых заболеваний» группируются друг с другом. В этой «суммарной группе» объединяются смертельные случаи, сердечные приступы и грудная жаба (грудная жаба, или стенокардия, если вы не знаете, это боль в груди из-за проблем с сердцем. Она вызывает беспокойство, но не настолько сильное, как сердечный приступ и смерть). Значительное улучшение параметров по всем этим трем пунктам вместе может создать впечатление, что лекарство – прорыв и панацея от сердечных приступов и смерти, пока вы не взглянете на необработанные данные и не увидите, что на протяжении исследования сердечных приступов и летальных исходов почти не регистрировалось, а значит, на самом деле все улучшения параметров касаются лишь стенокардии.

Один из наиболее значимых суммарных эффектов был взят из знаменитого британского исследования UKPDS, во время которого изучалось, влияет ли как-нибудь интенсивный контроль уровня сахара в крови у диабетиков на реальные показатели организма. Сообщалось о трех ожидаемых результатах лечения: положительного эффекта от лекарства на первые два (смерть и смерть от диабета) зафиксировано не было, однако отмечалось 12 %-е увеличение суммарной эффективности препарата. Его совокупный эффект складывался из множества различных факторов:

• Неожиданная смерть;

• Смерть от высокого или низкого уровня сахара в крови;

• Сердечный приступ без смерти;

• Стенокардия;

• Сердечная недостаточность;

• Инсульт;

• Почечная недостаточность;

• Ампутация;

• Кровоизлияние в среднюю камеру глаза;

• Поражение глазных артерий вследствие диабета, требующее лечения лазером;

• Слепота на один глаз;

• Катаракты, требующие удаления.

Как видим, перед нами довольно длинный список, и 12 %-е снижение по всем его пунктам, конечно, выглядит как «результаты, производящие впечатление на пациента», как мы говорим в бизнесе (РПВП, если вам так больше нравится). Однако большинство улучшений в этом совокупном эффекте относится к людям, которым было проведено успешное лечение лазером в связи с повреждением глазных артерий. Это прекрасно, но едва ли эту болезнь можно назвать самой важной из всего списка. Такой результат возник, главным образом, благодаря своеобразной обработке данных, но его нельзя назвать конкретным реальным результатом. Если вас интересует действительный эффект, то можно сказать следующее: в количестве людей, жалующихся на потерю зрения, не было никаких изменений, но в любом случае понятно, что сокращение числа поражений глаз – менее важный результат, чем понижение числа сердечных приступов, смертей, инсультов или ампутаций. Сходным образом исследование обнаружило, что лекарство оказывает полезное воздействие на некоторые маркеры крови, предполагающие наличие проблем с почками, но фактического влияния на динамику развития самих почечных болезней в конечной стадии зафиксировано не было.

Все это интересно только потому, что исследование UKPDS имело немного легендарную репутацию среди врачей, поскольку выявило положительное воздействие препарата на многие точки клинической эффективности, начиная с интенсивного контроля уровня сахара в крови у диабетиков. Как возникло это широко распространившееся суеверие? Одна из групп предприимчивых исследователей решила найти все 35 обзорных работ по диабету, в которых цитировалось исследование UKPDS, и посмотреть, что было написано в них.22 В 28 работах говорилось, что исследование подтвердило наличие полезного совокупного эффекта, но только в одном упоминалось, что большинство отдельных эффектов относилось к улучшениям, касающимся наиболее обычных параметров, и только в шести было упомянуто об обнаружении отсутствия влияния на количество смертей, то есть на конечную точку клинической эффективности, которая имеет наибольшее значение при лечении больного. В ходе исследования выяснилось, что мы живем в мрачной реальности: слухи, упрощенные данные и выдаваемые за действительные желаемые результаты – все это с легкостью кочует из одной научной работы в другую, как и непроверенная и несоответствующая действительности информация со скоростью эпидемии распространяется по интернет-форумам, где обсуждаются вопросы по самым разным темам.