Хитрый анализ подгрупп

Если лекарство не проявило себя с положительной стороны на протяжении всего исследования, можно сгруппировать данные по какому-либо признаку различными способами, чтобы посмотреть, оказалось ли оно эффективным в какой-либо подгруппе. Возможно, препарат идеально работает при приеме пациентами мужского пола китайского происхождения, которые принадлежат к возрастной группе между 56 и 71 годами. Это так же глупо, как играть в «орел – решка» по правилу «два из трех и три из пяти». Однако такие способы применяются исследователями повсюду.

Снова и снова нам приходится возвращаться к одному и тому же принципу этой главы: если вы увеличиваете свои шансы нахождения положительного результата, но используете статистические тесты, которые предполагают получение лишь одного параметра, тогда вы сильно повышаете вероятность нахождения нужных вам данных. Ведь если бросать монетку достаточно долго, то можно в конечном счете выбросить орел или решку четыре раза подряд.

Новый способ увеличить вероятность получения нужного результата – провести анализ подгрупп данных. Уловка заключается в следующем: вы закончили ваше исследование и получили отрицательный результат. Разницы между двумя группами не было никакой: пациенты, принимавшие плацебо, чувствовали себя точно так же, как и те, кто принимал ваш препарат. Ваше лекарство не работает. Это плохая новость. Но затем вы копнули поглубже, провели ряд анализов и обнаружили, что лекарство отлично сработало на группе некурящих мужчин испанского происхождения возрастом от 55 до 70 лет. Если вам непонятно, почему нельзя использовать такой способ при анализе, нужно вернуться к уже прочитанному и подумать о случайной вариации данных, имеющихся в любом исследовании. Предположим, ваше лекарство должно предотвращать летальные исходы у всех участников на протяжении всего исследования. Мы знаем, что смерть может наступить по ряду причин и часто довольно неожиданно, и ее, к сожалению, можно предсказать лишь частично на основе имеющейся в наличии информации о здоровье человека. Вы надеетесь, что после проведения исследования ваше лекарство будет способно предотвратить некоторые из этих случайных, непредвиденных смертей (хотя, конечно, не все, потому что ни одно лекарство не может уберечь от смерти по всем причинам!) и что вы сможете заметить это изменение в частоте смертей, если в исследовании принимает участие достаточно большое количество людей.

Но если посмотреть на результаты после завершения исследования и составить группу из умерших пациентов или из тех, кто выжил, вы не сможете сделать вид, что и та и другая не были сформированы произвольно.

Если вы до сих пор не поняли, почему этот способ нечестный, представьте себе рождественский пудинг с монетами, распределенными в его толще в произвольном порядке. Если вы хотите узнать, сколько в нем всего монет, то отрезаете наугад любой кусочек (одну десятую пудинга), считаете монеты, умножаете на десять и получаете общее число монет. Это исследование, в котором вы выбрали образец, не зная точно, где и сколько монет находилось. Если бы вы просветили пудинг рентгеновскими лучами, то увидели бы, что в нем есть такие места, где монет больше просто из-за их случайного скопления. И при умении хорошо управляться ножом можно было бы вырезать нужный кусок пудинга с наибольшим количеством монет, чем было в первоначальном образце. Если вы помножите количество монет в этом куске на десять, то получится, будто бы в пудинге намного больше монет, чем на самом деле. Однако это типичное мошенничество. Монеты все равно распределены в пудинге по случайному принципу. Кусок с наибольшим количеством монет, который вы вырезали после просвечивания пудинга рентгеном, не является репрезентативным и не дает достоверной информации о том, что на самом деле находится внутри него.

И несмотря на это такой способ оптимистичного анализа кочует из одной бизнес-презентации в другую, из одной компании в другую, и так день ото дня, год от года. «Вы видите, что в целом не наблюдается положительной динамики, – может сказать некий исследователь. – Но интересно, что благодаря нашей рекламной компании объемы продаж дешевых ноутбуков в регионе Богнора значительно возросли». Если раньше нельзя было сказать, что центр продаж в Богноре как-то отличается от других магазинов компании и нет причины полагать, что и компьютеры там отличаются от остальных ваших продуктов, тогда это самый сомнительный и неверный аргумент, выбранный из всех.

В более общих терминах можно было бы сказать: если вы уже видели ваши результаты, вы не можете искать в них вашу гипотезу. Гипотеза должна появляться до того, как вы увидели результаты, которые ее проверяют. Так что анализ данных по подгруппам – довольно толковый метод, но при условии, если его проведение было предусмотрено до начала исследования (или при условии, что вы учли в вашем анализе количество выполненных подгрупповых анализов). Иначе это просто еще один способ увеличить ваши шансы на нахождение спорных, ложнопозитивных результатов. Однако такие увертки очень популярны у исследователей, и редко кто из них устоит перед соблазном прибегнуть к подгрупповому анализу, так как результаты получаются исключительно привлекательными.

Корни этой проблемы находятся так глубоко, что она стала предметом целого ряда нарочито издевательских работ, проведенных исследователями-методологами, стремящимися ткнуть носом слишком оптимистичных исследователей, которые не видят изъянов в том, что они делают, в их собственные ошибки. Тридцать лет назад, Ли и его коллеги опубликовали классическую поучительную работу на эту тему в журнале «Circulation».27 Они набрали 1 073 пациента с коронарной болезнью сердца и назначили им в произвольном порядке препарат 1 и препарат 2. Оба лекарства были фикцией, так как ученые не проводили настоящее исследование, а всего лишь делали вид. Однако исследователи собирали действительные данные по этим пациентам, чтобы посмотреть, что можно обнаружить в случайном, беспорядочном наборе параметров.

Они не были разочарованы. В целом, как и можно было ожидать, не было никакой разницы в динамике сердечно-сосудистых болезней у пациентов обеих групп, так как всем им давали одинаковые таблетки. Однако в выделенной подгруппе, состоящей из 397 пациентов (для них было характерно трехсосудистое поражение или ненормальное сокращение левого желудочка), показатель выживаемость среди тех, кого «лечили» препаратом 1, значительно отличался от того же показателя тех, кто принимал препарат 2, просто по случайному совпадению. Так что, оказывается, можно продемонстрировать эффективность препарата при помощи подгруппного анализа данных даже при ненастоящем лечении, так как и для первой, и для второй группы пациентов не делалось абсолютно ничего.

Можно найти ложные эффекты от лекарства в подгруппах в настоящих исследованиях, если сделать достаточно большое число хитрых анализов.28 Исследователи, занимавшиеся оценкой эффективности хирургической процедуры под названием эндартерэктомия, решили шутки ради проверить, до каких пределов можно дойти, разделяя пациентов по разным возможным подгруппам и анализируя результаты в пределах каждой из них. Сначала они обнаружили, что успешное проведение хирургического вмешательства зависело от того, в какой день недели родился пациент (см. таблицу ниже).29 Разумеется, если врач при принятии клинических решений основывается на этой информации, то его можно смело назвать дураком. Была заметна также прекрасная, почти линейная зависимость между месяцем рождения пациента и клиническим результатом: у пациентов, родившихся в мае и июне, наблюдался огромный положительный эффект, а затем, по мере смены месяцев, положительное воздействие все больше снижалось до марта, после чего операция становилась просто опасной. Если бы данные относились к такой биологически правдоподобной переменной, как возраст, этот результат в данной подгруппе было бы очень трудно игнорировать.

Наконец, при проведении исследования ISIS-2 сравнивался полезный эффект, оказываемый аспирином или плацебо на пациентов, которые предположительно недавно пережили сердечный приступ. Обнаружилось, что аспирин улучшал ряд показателей, однако исследователи смеха ради решили сделать подгруппный анализ. В ходе его выяснилось, что, хоть в целом аспирин и был эффективным, он не оказывал влияния на пациентов, родившихся под знаками Весов и Девы. Еще раз повторимся: если группировать данные различными способами, можно просто произвольно формировать какие угодно подгруппы с любыми, даже самыми нелепыми показателями.

Так значит ли это, что родившимся под знаками Весов и Девы пациентам не нужно давать лекарств? Вы конечно скажете «нет» и будете правы. Вы окажетесь гораздо мудрее всех тех медиков, кто прибегал к подгруппному анализу. Исследование CCGS обнаружило, что аспирин был эффективен при предотвращении инсультов и смертельных случаев у мужчин, но не у женщин,30 в результате женщин в течение почти 10 лет лишали необходимого лечения, пока дальнейшие исследования и обзоры не показали, что аспирин положительно действует и на их организм.

Эффект от каротидной эндартерэктомии у пациентов с ≤70 % симптоматическим стенозом при европейском исследовании операции 126 в зависимости от дня недели, в который родился пациент

Это один из множества подгруппных анализов. По их вине в медицинскую литературу попадают неверные данные и часто некорректно выявляются подгруппы людей, которым не становится лучше от лечения, считающегося эффективным. Так, например, мы думали, что тамоксифен, лекарство для блокирования гормонов, не подходил для лечения рака груди у женщин, если они были моложе 50 лет (мы были не правы). Мы думали, что тромболитики были неэффективными и даже вредными при лечении сердечных приступов у людей, которые уже имели его в анамнезе (мы ошибались). Мы думали, что лекарство под названием АКФ-ингибиторы прекращало понижать количество смертельных случаев у пациентов с сердечной недостаточностью, если они также принимали аспирин (мы заблуждались). Интересно и необычно то, что ни один из этих результатов не был получен в результате жадности до денег исследователей. Людьми двигали амбиции, возможно, стремление получить новые результаты. Сыграло свою роль и незнание рисков при проведении подгруппного анализа, и игнорирование фактора случайности.