Почему исчезают плохие результаты исследований?

Немного позже мы рассмотрим более очевидные случаи сокрытия фармацевтическими компаниями важных данных, которые иногда происходят при содействии госорганов. В изложенных ниже историях можно будет даже установить личности людей, участвующих в процессе. Когда мы дойдем до них, я надеюсь, вы рассердитесь еще больше от того, что прочитаете. Но сначала имеет смысл сделать короткую передышку и признать, что пристрастный подход к публикации статей имеет место и за пределами разработки коммерческих лекарств, в том числе в совершенно неродственной ей отрасли научных исследований, где людей волнует лишь собственная репутация и преследуются только личные интересы.

По большому счету во многих отношениях пристрастный подход к публикации данных – явление, объяснимое человеческой природой. Если вы провели исследование и не получили блестящих положительных результатов, вы можете сделать неверный вывод, что ваш эксперимент не заинтересует других исследователей. Имеет также значение и наличие стимула к публикации: вес ученого в научных кругах часто измеряется, хоть это и абсолютно неправильно, при помощи сухих цифр, таких как количество ссылок на статьи и число «влиятельных» исследований, упоминаемых в глянцевых журналах, которые читают широкие слои населения. Если отрицательные результаты труднее опубликовать в крупных журналах и на них реже будут ссылаться другие ученые, тогда автор исследования в меньшей степени мотивирован распространять информацию о неудавшейся работе. А вот при получении положительного результата у вас возникает чувство, что вы открыли что-то новое. Друзья и коллеги в восторге, так как ваши достижения неоспоримы.

Один из случаев, который хорошо иллюстрирует эту проблему, имел место в 2010 году. Известный американский исследователь-психолог Дэрил Бем опубликовал в журнале с хорошей репутацией авторитетную научную работу об исследовании возможности человека предвидеть будущее, сообщив о доказанных фактах предвидения событий его испытуемыми[1]. Исследование было грамотно спланировано и проведено, а результаты были статистически значимыми, однако для большинства людей они выглядели неубедительно по тем же самым причинам, что и для вас. Если бы люди действительно могли предвидеть будущее, мы бы, вероятно, уже давно знали об этом. Громкие заявления требуют весомых подтверждающих фактов, а не единичных результатов.

В действительности же исследование было повторено, но с другими результатами, отличными от тех, что получил Бем. По крайней мере две группы ученых повторили несколько экспериментов Бема, используя те же самые методы, и в обоих случаях фактов предсказания будущего подопытными зафиксировано не было. Одна из групп предоставила результаты в «Журнал исследования личности и социальной психологии», в то самое издание, которое опубликовало работу Бема в 2010 году, но на этот раз журнал сходу отверг статью исследователей.

К авторам даже вышел сам редактор и заявил, что они никогда не публикуют исследования, которые дублируют другие работы. Тут мы наблюдаем ту же самую проблему, что и в медицине: положительные результаты публикуются чаще, чем отрицательные. То и дело положительный результат какого-нибудь глупого эксперимента тут же публикуется в статье, где доказывается, например, что люди могут предвидеть будущее. Кто знает, сколько психологов на протяжении многих лет пыталось найти доказательства существования экстрасенсорных способностей, проводя долгие, сложные эксперименты на десятках, может быть, даже сотнях испытуемых, и не находило подтверждения своим догадкам. Любой ученый, пытающийся опубликовать результаты исследования, основной вопрос которого «А что если?», должен будет постараться, чтобы в лучшем случае его не подняли на смех прямо в редакции журнала. Даже несмотря на наличие ясной цели в исследовании Бема, которое широко освещалось в серьезных газетах по всей Европе и США, научные журналы, подтвердившие интерес к вопросу предвидения будущего, просто отказались публиковать статью о работе с отрицательными результатами. Однако воспроизведение этих результатов крайне важно, как сказал сам Бем в своей работе, поэтому отслеживание неудач при попытках получить такой же результат также имеет значение.

Люди, работающие в научных лабораториях, скажут вам, что порой эксперименты много раз заканчиваются неудачей и только после ряда попыток вдруг появляется результат, который исследователь и хотел получить. Что это означает? Иногда неудачи вызваны юридическими или техническими проблемами, но иногда они формируют ряд важных статистических данных, которые даже могут ставить под сомнение правильность основных результатов исследования. Помните, что результаты многих исследований не всегда свидетельствуют строго в пользу того или иного предположения. Большинство из них представляют собой хрупкие статистические корреляции. В рамках существующей системы большинство вспомогательной статистической информации о количестве неудач просто заметается под ковер, что очень отражается на стоимости исследования, во время которого пытаются воспроизвести результаты первого эксперимента. Зависимость может быть неявной и не сразу проявиться. Например, исследователи, которым не удалось воспроизвести результаты первоначального опыта, могут и не знать, с чем связана такая неудача. Возможно, при первом опыте им просто повезло, а может быть, они допустили методическую ошибку.

В действительности на поиск доказательств ошибочности результатов тратится гораздо больше времени, средств и усилий, чем на их воспроизведение. Ведь исследователю нужно провести эксперимент много раз, чтобы доказать отсутствие результатов: так работает статистика обнаружения слабых эффектов. И вам нужно быть абсолютно уверенным в том, что вы исключили все технические неполадки, чтобы не попасть впросак, если данные окажутся воспроизведены неправильно. Эти препятствия при поиске опровергающей информации частично объясняют, почему проще уклониться от публикации данных, которые в конечном счете окажутся неправильными.31

Пристрастный отбор результатов для публикации – проблема, возникающая не только при проведении далеких от жизни психологических экспериментов. В 2012 году группа ученых сообщила в журнал Nature, как они попытались воспроизвести результаты 53 ранних лабораторных исследований, направленных на изучение возможностей разработки перспективных препаратов для лечения рака. В итоге 47 из 53 результатов не были воспроизведены.32 Это исследование имело серьезные последствия для разработки новых лекарств в медицине, так как невоспроизводимость данных не просто абстрактный научный вопрос: исследователи строят теории на их основе, верят в их правильность и исследуют тот же самый феномен, используя другие методы. Если же их просто водили за нос, заставляли воспроизвести случайно полученные неверные данные, то получается, что весомая часть выделенных на проведение исследований денег и усилия ученых были потрачены зря, а прогресс в открытии новых медикаментов в значительной мере замедлился.

Авторы исследования ясно подчеркивали и причину, и решение проблемы. По их мнению, случайно полученные положительные данные чаще высылаются для публикации в журналах и чаще издаются, чем скучные цифры отрицательных исследований. Нужно больше стимулировать ученых к публикации отрицательных результатов, но мы должны предоставлять им также и больше возможностей. Другими словами нам нужно изменить манеру поведения сотрудников научных журналов, и здесь мы сталкиваемся с еще одним затруднением. Несмотря на то что работающие в таких изданиях люди часто сами являются учеными, редакторы журналов ориентируются на свои интересы и приоритеты при публикации статей. В этом отношении они больше похожи на обычных журналистов и редакторов простых газет, что многие из них вряд ли согласятся признать, и пример с экспериментом по предвидению будущего, приведенный выше, хорошо доказывает это. Могут ли журналы, подобные такому, служить примером идеальной площадки для обнародования результатов исследований в принципе – жарко обсуждаемый вопрос в научных кругах, но такова текущая ситуация. Редколлегия журналов – это фильтраторы. Редакторы выносят суждения о том, что существенно и интересно для их аудитории. Они борются за читателей. Это может заставить их действовать в ущерб интересам науки, потому что личное желание редактора журнала наполнить издание привлекательным содержанием может войти в конфликт с объективной необходимостью предоставить исчерпывающую и полную картину исследования. В журналистике распространен хорошо известный афоризм: «Если собака укусила человека, это не новость. Но если человек укусил собаку…» Критерии, определяющие, что стоит публиковать в колонке новостей популярных изданий, даже были выражены количественно. Одно исследование, проведенное в 2003 году, например, на протяжении нескольких месяцев отслеживало способ подачи новостей о здоровье на канале ВВС. Было подсчитано, скольким людям нужно умереть от какой-либо болезни, чтобы сообщение об этом появилось в новостях. Так, в каждом сюжете о курении сообщалось о не менее чем 8 571 умершем в среднем, но появилось по одному сообщению о каждом смертельном случае от новой разновидности коровьего бешенства (всего их было три).33 В другой работе от 1992 года исследователи изучили способ подачи печатными изданиями сообщений о смерти от лекарственных препаратов. Они обнаружили, что для появления сообщения в газете об отравлении парацетамолом нужно было зафиксировать 265 случаев смерти, но на каждый случай смерти от экстези в среднем появлялось по одному сообщению в новостях.34

Если такая оценка событий оказывает влияние на содержание научных журналов, тогда мы столкнулись с еще одной проблемой. Могло ли произойти так, что научные журналы превратились в крепость, а охраняющие ее часовые не дают врачам и ученым получить доступ к информации об исследованиях с отрицательными данными, о безопасности и эффективности лекарств, которые ежедневно прописывают медики? Этот аргумент часто используется представителями фармакологической индустрии в качестве оправдания, да и сами исследователи тоже склонны обвинять журналы в массовом отказе печатать их статьи с отрицательными результатами. К счастью, эта проблема уже была изучена, и на сегодня можно сказать, что в целом журналы пока невиновны в том грехе, в котором их обвиняют. Нельзя утверждать, что именно они являются источником серьезных проблем в сфере медицинских услуг и общественного здоровья. Это утверждение звучит особенно правдиво, если вспомнить, что есть специализированные научные журналы, занимающиеся публикацией данных клинических исследований, а обязательство публиковать отрицательные результаты прописано в уставе таких СМИ.

Но справедливости ради, для обеспечения полноты и еще потому, что фармацевтические компании и исследователи так любят сваливать вину на научные СМИ, мы можем проверить правдивость их заявлений.

Во время проведения одного из исследований авторов неопубликованных работ спросили, высылали ли они материалы своих работ для публикации. Было выявлено 124 исследования с необнародованными результатами, проведение каждого из которых было согласовано и контролировалось группой представителей комитета по этике США. Когда исследователи связались с авторами неопубликованных работ, оказалось, что только шесть из них подавались на публикацию и были отвергнуты.35 Возможно, скажете вы, это странный результат. Другой подход – отследить все работы, поданные в один журнал, и проверить, действительно ли статьи об исследованиях с отрицательными результатами отвергались чаще. И даже после этого те журналы, которые были проверены, похоже, трудно было обвинить в этом грехе: были отслежены 745 работ, присланных в редакцию журнала Американской медицинской ассоциации (JAMA). Оказалось, что не было разницы в частоте принятия в публикацию статей об исследованиях со значимыми или незначимыми данными.36 Такую же проверку работ провели в журналах «Британский медицинский журнал» (BMJ), «Ланцет» (Lancet), «Анналы внутренней медицины» и «Журнал костной и суставной хирургии».37 И снова не было выявлено никакой разницы. Некоторые могут возразить, что это все равно может являться свидетельством пристрастного отношения редакторов, если ученые знают, что плохие результаты исследований должны предоставляться в более качественном виде, чтобы можно было победить предвзятое отношение редакторов. Возможно, журналы вели честную игру, так как знали, что за ними следят? Однако быстро перестроить всю систему ради публикации нескольких статей было бы сложно. В ходе этих исследований авторы наблюдали за тем, что происходило в редакциях журналов ежедневно. Осталось только провести эксперимент и выслать идентичные работы в различные журналы, указав в статьях различные результаты, как отрицательные, так и положительные, и посмотреть, будет ли наблюдаться разница в частоте принятий к публикации в зависимости от исхода исследования. На самом деле подобного рода опыты проводятся нечасто, так как это приводит к потере времени многих людей, но коль уж пристрастный подход к публикации научный статей имеет значение, данный эксперимент расценили как оправданное вторжение в жизнь редакций. В 1990 году исследователь по фамилии Эпштейн скомпилировал ряд поддельных работ со сходными методами и презентациями, которые отличались друг от друга лишь тем, что в одних сообщалось о положительных результатах, а в других – об отрицательных. Работы были высланы в 146 выбранных наугад журналов, пишущих о социальных проблемах: работы с положительными результатами принимались в 35 % случаев, а с отрицательными – в 26 %. Разница была совсем небольшой, чтобы считаться статистически значимой.38

Авторы других исследований попытались сделать нечто подобное в меньших масштабах. Они не предлагали статей для публикации в журнал, а с его помощью высылали поддельные научные работы различным ученым для экспертной оценки. Эти люди не принимали окончательного решения по публикации, но давали советы редакторам, поэтому учитывать значимость их мнения было бы тоже полезно. Такие исследования принесли более смешанные результаты. В одном из них, проведенном в 1977 году, поддельные статьи с одинаковыми методами, но разными результатами были высланы 75 экспертам на рассмотрение. Было отмечено пристрастное отношение рецензентов к результатам, которые не совпадали с их собственным взглядом на рассматриваемый вопрос.39

В рамках другого исследования, проведенного в 1994 году, были изучены мнения экспертов об устройстве для чрескожной электростимуляции нервов – довольно-таки сомнительные приспособления для облегчения боли. Было найдено 33 эксперта, имевших твердое мнение относительно полезности либо бесполезности данных устройств. И снова было обнаружено, что отношение к научной работе сильно зависело от уже сформировавшихся убеждений авторов, несмотря на то что исследование было небольшим.40 В другой статье подобным образом поступили с работами по изучению гомеопатических средств. Исследование выяснило, что качество результатов не оказало никакого эффекта на решение экспертов из ведущих медицинских журналов принять их к публикации или нет.41

Одно из последних исследований методом случайной выборки было проведено в 2010 году в больших масштабах для проверки, действительно ли рецензенты отвергают идеи, исходя из своих убеждений (хороший показатель пристрастного отношения журналов к результатам, в то время как они должны просто следить за тем, правильно ли спланировано исследование и грамотно ли оно проведено). Поддельные работы были высланы более чем 200 экспертам. Все работы были похожи, за исключением результатов, о которых они сообщали. Половина из экспертов получила статьи с результатами, которые не должны были им понравиться, а половина – те, что должны были быть приняты ими благосклонно. Рецензенты чаще рекомендовали статью к публикации, если получали ту версию отчета, где были нравившиеся им результаты (80 % против 70 %), чаще выявляли ошибки в работе, результаты которой им не нравились, и оценивали методы более высоко, если им нравились результаты исследования.42

В целом же, даже если были заметны явные перекосы в некоторых случаях, полученные результаты не свидетельствовали о том, что журналы – основная причина проблемы исчезновения материалов исследований с неудовлетворительными результатами. В экспериментах, изолирующих экспертов, эти независимые рецензенты относились пристрастно к некоторым работам, но их слово не было последним при решении вопроса о публикации. И во всех исследованиях, изучавших путь работ с отрицательными результатами, факты говорят о том, что они проходили в печать без всяких проблем. Возможно, журналы иногда и склонны отказывать авторам в публикации. В статье «Проблемы медицинских журналов» Ричард Смит, в прошлом редактор «Британского медицинского журнала» (BMJ), приводит прекрасный обзор недостатков, которыми грешат разные издания43; и позднее мы увидим, что они закрывают глаза даже на важные и очевидные изъяны в методике исследования. Однако было бы несправедливо обвинять в ограничении доступа к информации только их одних.

В свете всего вышесказанного данные о том, что говорят исследователи о своих собственных поступках, являются весьма красноречивыми. При проведении различных исследований во время опросов они признавались, что думали, будто не было никакого смысла предоставлять к публикации работы с отрицательными результатами, потому что статьи якобы были бы все равно отвергнуты журналами. Так заявили 20 % исследователей в области медицины в 1998 году44, 1 % исследователей в области психологии и образования в 1991 году45, и так далее46. Если бы их спросили, почему они не послали данные исследований для публикации, наиболее распространенными причинами, которые назвали бы авторы, стали бы неудовлетворительные результаты, отсутствие интереса или недостаток времени.

Это более абстрактные задачи академической науки, в высшей степени далекой от мира клинических исследований, но кажется, ученые ошибаются относительно причин, почему отрицательные результаты пропадают. Журналы могут чинить препятствия и не публиковать материалы исследований с отрицательными результатами, но их едва ли можно назвать главными виновниками сокрытия информации от публики. Большая часть вины за это лежит на плечах ученых, а причина кроется в неправильном восприятии реалий окружающего мира и в отсутствии у них мотивации.

Более того, в последние годы наступает эра научных журналов с открытым доступом. Теперь их несколько, и один из них Trials, к которому легко получить доступ, а политика редакции этого издания такова, что обязывает принять любой отчет о клиническом исследовании независимо от результата, поэтому работники издания будут даже активно просить предоставить им отрицательные данные исследований для публикации. В онлайн-журналах регистрации исследований, таких как clinicaltrials.gov, также будут публиковать результаты. При наличии такого привлекательного предложения сложно будет поверить, что кому-нибудь действительно придется сражаться за обнародование данных с отрицательными результатами. И все же, несмотря на это, отрицательные результаты продолжают пропадать, так как большие транснациональные компании просто продолжают утаивать информацию о тестировании их лекарств, даже если ученые и врачи горят желанием получить их.

Можно задаться вопросом, есть ли такие люди, в обязанность которых входит следить за тем, чтобы компании предоставляли всю имеющуюся у них информацию. Например, сотрудники университетов, где проводятся исследования, служащие госорганов или члены комитетов по этике, которые наделены полномочиями защищать пациентов, участвующих в клинических исследованиях. К сожалению, мы начинаем рассказ о темных сторонах мира медицины. Мы увидим, что ряд людей и организаций, от которых мы ожидаем защиты пациентов от вреда, проистекающего от сокрытия данных, вместо этого манкируют своими обязанностями. Хуже того – многие из них активно участвуют в заговоре, помогая компаниям скрывать данные от пациентов. Мы скоро вскроем ряд больших проблем, изобличим несколько «плохих парней» и предложим несколько простых решений.

Date: 2015-08-07; view: 362; Нарушение авторских прав