Докзательная медицина

         С наличием проблемы крайне  низкого качества использования  статистики в диссертациях по  биомедицине согласилась и ВАК  РФ, опубликовав ещё в 1997 г . нашу статью «Об использовании прикладной статистики при подготовке диссертационных работ по медицинским и биологическим специальностям». (Бюллетень ВАК, 1997, №5.   http://www.biometrica.tomsk.ru/leonov_vak.htm ) Эта публикация, и последующая переписка с ВАК СССР, инициировала в дальнейшем создание сайта БИОМЕТРИКА.

     Наши  критические публикации о низком качестве использования статистики в биомедицинской науке не были пионерскими. Первым, кто скрупулёзно и убедительно показал, что некорректное использование статистики приводит исследователя к противоположному от истины выводу, был великий советский математик, академик Андрей Николаевич Колмогоров. Широко известен случай, когда в 1939 г . в журнале «Яровизация» была опубликована статья Н.И. Ермолаевой – аспирантки Лысенко, под названием «Ещё раз о «гороховых законах». Используя свои экспериментальные данные, Н.И. Ермолаева пыталась с помощью некорректных статистических манипуляций опровергнуть законы Менделя. Её уверенность в своей правоте была столь сильна, что она даже привела в статье всю таблицу экспериментальных данных. Проанализировав эти данные, академик А.Н. Колмогоров опубликовал статью «Об одном новом подтверждении законов Менделя». В ней он  показал, что корректный анализ данных Н.И. Ермолаевой, даёт вывод, диаметрально противоположный выводу Н.И.Ермолаевой, который как раз подтверждает законы Менделя. Именно этот пример и послужил нам эталоном при создании специального раздела КУНСТКАМЕРА (http://www.biometrica.tomsk.ru/kk.htm), содержащего примеры анализа статистических ошибок, нелепостей и абсурдных утверждений современных ермолаевых.  

     В отечественной медицине одним из первых крупных исследований, содержащим  большой и нелицеприятный обзор таких ошибок, является книга А.Я. Боярского «Статистические методы в экспериментальных медицинских исследованиях», 1955, – Медгиз. Автор детально проанализировал большое количество статей, опубликованных в течение нескольких лет в известных советских медицинских журналах. По сути дела это было первое отечественное исследование, в котором автор на значительном конкретном материале констатировал крайне неблагополучную ситуацию с применением статистики в экспериментальной медицине и биологии тех лет.   

     «Уже  беглое ознакомление с состоянием дела показывает, что статистическая обработка  экспериментальных данных является наиболее слабым местом во многих исследованиях. … Трудно требовать от медика, чтобы он, наряду со знаниями в своей собственной области, был в то же время достаточно вооруженным, скажем, в радиотехнике для конструирования аппаратуры, улавливающей биотоки, или в статистике для нахождения наиболее правильных методов статистической обработки своих экспериментальных данных. И подобно тому, как медику, несомненно, приходится обращаться за содействием к радиотехнику, для правильной статистической обработки экспериментальных данных нередко приходится обращаться к специалисту-статистику … Так или иначе, но бесспорным фактом являются и недостаточная вооруженность медиков статистическими знаниями, и недостаточно высокий научный уровень статистической методики в большинстве их экспериментальных работ». Напомним, что эти слова были сказаны еще в 1955 г ., т.е. уже более полувека назад констатировалось, что медицинские исследования по своей сути являются междисциплинарными, и уже потому требуют обязательного участия биостатистика.  

     Представляет  интерес точка зрения  на эту  проблему  профессионального медика.  Вот как описывает её в «Международном журнале медицинской практики» С.Е. Бащинский.  «Почему же статистика столь сложна для понимания врачами? Тому немало причин. Во-первых, многие статистические термины вводят в заблуждение, создают ощущение ложного узнавания, поскольку заимствованы из обыденного языка, например "значимый", "ошибка", "нормальный". Многие авторы статей не осознают различий между терминологическим и обыденным смыслом этих слов. Во-вторых, понимание статистических принципов требует развитого абстрактного мышления, занятие же медициной не располагает к увлечению абстракциями, будучи, по сути, делом практическим. Врачам непривычно мыслить такими категориями, как популяция, вероятность распределения, нулевая гипотеза. В-третьих, врачи испытывают почти мистический трепет перед математическим аппаратом, лежащим в основе статистических расчетов, полагая, что точная наука не может ошибаться. Это приводит к наивной вере во всемогущество статистических методов, без понимания их роли и особенностей применения. В-четвертых, статистика – наука прикладная. С одной стороны, все статистические тесты основаны на сложном математическом аппарате, с другой стороны, использование её методов невозможно рассматривать в отрыве от методологии клинических исследований. Ведь статистика – это только часть исследования, которую следует рассматривать в контексте всех проблем, определяющих качество научной работы. Формулировка основного вопроса исследования, выбор соответствующего вопросу метода и способа организации исследования, особенности отбора больных и характер полученных данных - всё это определяет выбор адекватного метода статистического анализа и, в конечном счете, влияет на достоверность полученных результатов.

         Все эти факты говорят об особой мифологической роли статистики в сознании многих медиков и биологов. По сути, используемые во многих работах клише представляют собой магические заклинания, служащие, по мысли авторов, «пропуском в науку». Такой подход ничем не отличается от действий первобытного человека, верившего, что выполнение определенного ритуала поможет ему убить мамонта. Наверное, многие читатели знакомы с карточным фокусом, в основе которого лежит мнемоническое правило: «Наука умеет много гитик». Никто не знает, что такое «гитик», да это и не важно, поскольку достигается главная цель - благодаря звучной и легко запоминающейся фразе удается фокус или раскладывается пасьянс. Статистике во  многих биомедицинских исследованиях отводится роль «гитик», звучные и непонятные авторам термины нужны для достижения основной цели - придания работе научного «веса», достаточного для опубликования в журнале или для защиты диссертации. Редакторы  научных журналов, публикующие подобные статьи, вольно или невольно становятся соучастниками игры в научный «фокус»: в надёжность результатов исследования изначально никто не верит, а важнейшим условием прохождения диссертации или статьи становится лишь сам факт упоминания о статистических «гитиках».(Статистика умеет много гитик. Международный журнал медицинской практики. 1998; №4, с.13-15.  http://www.biometrica.tomsk.ru/gitiki.htm )  

     Подобными соучастниками игры в научный  «фокус» становятся и члены локальных  этических комитетов по этике и доказательности медицинских исследований, создаваемые при медицинских вузах. Например, в Приложении к Уставу ГОУ ВПО КемГМА Росздрава (Кемерово – 2007), читаем: «С целью повышения эффективности научной деятельности, наиболее полного использования научного потенциала и материально-технической базы научных исследований ГОУ ВПО КемГМА Росздрава, подготовки научно-педагогических кадров высшей квалификации организованы … Комитет по биоэтике и доказательности медицинских исследований. Текущий контроль над деятельностью вышеназванных подразделений осуществляют руководители подразделений и проректор по НИР». Упоминание об этом комитете находим и в п. 2.4. «Положения о подготовке научно-педагогических  и научных  кадров в системе послевузовского образования» (утверждено ректором КемГМА проф. А.Я.Евтушенко): «Для утверждения темы на Ученом совете необходимо: … решение комитета по этике и доказательности медицинских научных исследований КемГМА». Аналогичное упоминание о данном комитете имеется и в п. 3.4 этого же Положения. Однако никакие решения никаких комитетов не умаляют основной роли научного руководителя. В п.2.14 этого же Положения об этом сказано так: «Ответственность за результаты подготовки аспиранта и его научной работы возлагается на научного руководителя».  

     А теперь в качестве примера публикации, одобренной решением такого комитета, обратимся к статье «Гормональная  адаптация фетоплацентарного комплекса  в родах», авторы А.Г. Тришкин, Н.В. Артымук, Л.Б. Николаева. Бюллетень ВСНЦ СО РАМН, 2006, №1 (47) с. 98-102. ГУЗ КОКБ Областная клиническая больница (Кемерово), ГОУ ВПО Кемеровская государственная медицинская академия РОСЗДРАВА (Кемерово). Цитируем: «Проводимые исследования были признаны допустимыми и доказательными решением локального этического комитета по этике и доказательности медицинских научных исследований КемГМА».

     Познакомившись  со статьёй, читатель обнаружит, что  примерно половина раздела  «РЕЗУЛЬТАТЫ  ИССЛЕДОВАНИЯ И ИХ ОБСУЖДЕНИЕ» содержит многочисленные результаты использования  методов статистики. Соответственно, и выводы исследования сформулированы на основе этих результатов. Однако читатель не найдёт в ней никакого упоминания ни об использованных авторами статистических методах, ни о проверке корректности использования этих методов, ни о том, в чём отличие выражений «статистически значимые отличия» и «статистически достоверные отличия», ни о том, что означают выражения вида 7,98 ± 3,7, учитывалась ли авторами проблема множественных сравнений при сопоставлении трёх групп пациентов и т.д. Однако члены комиссии по этике и доказательности медицинских научных исследований КемГМА не сочли неэтичным отсутствие в статье этой информации, зато сочли все выводы авторов, полученные ими с помощью статистических манипуляций, вполне доказательными. В этой связи возникает вопрос: А судьи кто? Обладают ли члены локального этического комитета по этике и доказательности медицинских научных исследований КемГМА достаточными компетенциями в области статистики, чтобы выносить такие вердикты по работам, выводы которых базируются на результатах использования методов статистики?  

     Увы, как показал проведённый нами анализ медицинских публикаций Кузбасса, статистические дефекты, и, соответственно, некорректные выводы, сделанные на их основе, носят массовый характер. А ведь большинство этих работ, по-видимому, тоже проходило этап одобрения этическими комитетами.

     В международном кодексе медицинской  этики (Венеция –1983) записано: «врач  должен быть честным во взаимоотношениях с пациентами и коллегами и  бороться с теми из своих коллег, которые проявляют некомпетентность или замечены в обмане». Но чтобы обнаружить такую некомпетентность, к примеру, в использовании автором публикации или диссертантом методов статистики, члены этического комитета должны быть сами достаточно компетентными в этой области знания.  

     В статье «О недобросовестной практике научных исследований», (НПНИ)  Р. Смита (перевод на русский язык с английского оригинала, опубликованного в BMJ, опубликован в «Международном журнале медицинской практики» № 2, 2001, с. 11-16. http://www.mediasphera.ru/mjmp/2001/2/r2-01-3.htm ) приводятся определения НПНИ, которые сформулированы различными национальными органами, в частности, английским, датским, норвежским, американским, шведским и финским. В этой же статье есть раздел «Сходство между недобросовестной практикой научных исследований и недобросовестной медицинской практикой». Обсуждая сходство этих двух практик, автор говорит о том, как в различных странах решается эта проблема. В числе мер, позволяющих уменьшить НПНИ, автор предлагает следующее:

     — систематический поиск материалов по НПНИ;

     — публикация систематических обзоров  с примерами НПНИ.

Эти рекомендации вполне разумны и актуальны, поскольку их реализация позволяет читателям учиться на чужих ошибках, дабы не повторять их самим.  

     Более подробно проблему НПНИ в медицине обсуждает К.П. Воробьев в своей  статье «Формат современной журнальной публикации по результатам клинического исследования. Часть 6. Недобросовестная практика научных исследований», опубликованной в Украинском медицинском журнале, №3(71), 2009. (http://www.biometrica.tomsk.ru/format_6.pdf )  Данная статья является заключительной в серии статей, с которыми желающие могут познакомиться на сайте БИОМЕТРИКА (http://www.biometrica.tomsk.ru/ ). В частности, в статье «Формат современной журнальной публикации по результатам клинического исследования. Часть 4: Биостатистика» (http://www.biometrica.tomsk.ru/format_4.html ) автор приводит классификацию типичных ошибок и заблуждений при использовании и описании статистических аспектов медицинских исследований. В числе этих ошибок и заблуждений есть и такие, которые рассмотрены нами в других разделах данной публикации.

       Большую роль играет подготовка  в области статистики на этапе аспирантуры и докторантуры. «Не стоит забывать, что аспирантура «является основной формой подготовки научно-педагогических и научных кадров. Если врач не чувствует в себе способности заниматься наукой, ему надо заниматься чем-то другим в рамках медицинской специальности. Хочу напомнить, что в нашей стране установлено шестилетнее образование в медицинском вузе, за которым следует послевузовское образование в виде ординатуры или интернатуры. Если человек хочет быть хорошим клиницистом, он идет в ординатуру. В аспирантуре, на протяжении трёх лет он проходит подготовку в качестве преподавателя и учёного. Обратите внимание – за шесть лет из школьника готовят врача, а потом за три года нельзя объяснить ему, как организуется научное исследование?! [С. Л. Плавинский. Кто должен анализировать данные в медицинских исследованиях? Международный журнал медицинской практики, № 1, 2007.]