Как оценить качество научной публикации о медицинской технологии: практический чек-лист

Статья в рецензируемом журнале — еще не доказательство сама по себе. Эксперту важно понять, насколько корректно поставлен исследовательский вопрос, соответствует ли дизайн этому вопросу, как сформирована выборка, насколько надежны методы и статистика, каков риск систематической ошибки и можно ли вообще переносить полученный результат на конкретную медицинскую технологию и условия ее применения.

При оценке публикации полезно разделять два вопроса: насколько полно исследование описано и насколько надежно оно проведено. Международные руководства CONSORT, STROBE, STARD, PRISMA, TRIPOD+AI и другие помогают проверить прозрачность отчета, но соблюдение чек-листа само по себе не гарантирует низкий риск систематической ошибки или высокое качество методологии.

Короткий ответ

Что проверитьГлавный вопросПочему это важно
1. РелевантностьОтвечает ли статья именно на ваш клинический или экспертный вопрос?Даже очень качественное исследование может быть неприменимо к конкретному изделию.
2. ДизайнСоответствует ли тип исследования поставленному вопросу?Дизайн определяет, какие выводы допустимо делать.
3. Риск систематической ошибкиМогли ли отбор пациентов, измерения, сравнение, анализ или потери наблюдений исказить результат?Низкая p-value не устраняет методологический дефект.
4. Точность результатаЕсть ли размер эффекта, доверительный интервал, клинически значимый порог?Нужно понимать не только «есть эффект», но и его величину и неопределенность.
5. ПрименимостьСовпадают ли пациенты, технология, версия изделия, условия и специалисты с вашей задачей?Внешняя валидность определяет возможность переноса результата.

Главное правило: не начинайте с вывода авторов

Аннотация и раздел «Выводы» удобны для ориентации, но при экспертной оценке их нельзя принимать как готовый результат. Сначала необходимо понять, что авторы планировали проверить, как они это сделали и какие данные фактически получили. Только после этого имеет смысл сопоставлять собственную оценку с выводами публикации.

1. Сформулируйте свой вопрос до чтения статьи

Одна и та же публикация может быть сильным доказательством для одного вопроса и почти бесполезной для другого. Поэтому до критического чтения сформулируйте, какое решение должна поддержать статья.

  • какая медицинская технология или медицинское изделие оценивается;
  • какое назначение и клиническая задача вас интересуют;
  • какая популяция пациентов является целевой;
  • какой результат нужно подтвердить: диагностическую точность, клинический исход, безопасность, удобство, экономический эффект или другое;
  • с чем должна сравниваться технология;
  • в каких условиях планируется применение.

Для терапевтического или интервенционного вопроса удобно использовать логику PICO: Population — Intervention — Comparator — Outcome. Для диагностической технологии дополнительно важны индекс-тест, референсный стандарт и клинический контекст.

2. Определите дизайн исследования

Нельзя оценивать все публикации одинаково. Разные дизайны отвечают на разные вопросы и имеют разные типичные источники смещения.

ДизайнДля чего подходитЧто особенно проверять
Рандомизированное исследованиеЭффект вмешательства по сравнению с контролемРандомизация, скрытие распределения, ослепление, потери, анализ по группам, заранее заданные исходы
Когортное исследованиеПрогноз, ассоциации, реальная практика, безопасностьОтбор участников, смешивающие факторы, полнота наблюдения, измерение экспозиции и исходов
Исследование «случай–контроль»Связь факторов с редким исходомВыбор случаев и контроля, ретроспективность, систематические различия групп
Поперечное исследованиеСостояние и ассоциации в конкретный моментРепрезентативность выборки, одновременность измерений, ограниченность причинных выводов
Исследование диагностической точностиЧувствительность, специфичность и иные характеристики тестаСпектр пациентов, референсный стандарт, ослепление, порог, последовательность тестирования
Исследование модели прогнозирования / ИИРазработка или валидация моделиРазделение данных, переобучение, внешняя валидация, обработка пропусков, калибровка
Систематический обзор / метаанализСинтез совокупности исследованийПолнота поиска, критерии отбора, риск систематической ошибки, неоднородность, публикационное смещение

3. Проверьте, соответствует ли дизайн поставленному вопросу

Если авторы хотят показать причинный эффект новой технологии, но используют только ретроспективное наблюдение без адекватного контроля смешивающих факторов, сила причинного вывода ограничена. Если оценивается диагностическая точность, но в исследование включены очевидно больные пациенты и отдельная группа здоровых добровольцев, результаты могут переоценивать реальную диагностическую эффективность.

Эксперт должен оценивать не «высокий» или «низкий» дизайн вообще, а соответствие дизайна конкретному вопросу и качество его реализации.

4. Отделяйте качество публикации от качества исследования

Хорошо написанная статья может описывать исследование с высоким риском систематической ошибки, а слабо оформленная публикация иногда содержит ценные данные, которые просто трудно проверить. Поэтому полезно использовать два последовательных фильтра.

УровеньВопросИнструменты
Фильтр 1. Полнота и прозрачность отчетаДостаточно ли информации, чтобы понять, что было сделано?CONSORT, STROBE, STARD, PRISMA, TRIPOD+AI, CLAIM и другие reporting guidelines
Фильтр 2. Методологическая надежностьМогли ли дизайн, проведение или анализ систематически исказить результат?Специализированные инструменты риска систематической ошибки и предметная экспертная оценка

5. Оцените выборку и способ включения участников

Размер выборки важен, но сам по себе мало что говорит о качестве исследования. Необходимо понять, кого включили, кого исключили и насколько эта группа похожа на реальных пользователей медицинской технологии.

  • где и когда набирались участники;
  • были ли это последовательные пациенты, случайная выборка или удобная выборка;
  • каковы критерии включения и исключения;
  • есть ли клинически значимые подгруппы;
  • соответствует ли тяжесть заболевания реальной практике;
  • есть ли существенные различия между группами на исходном уровне;
  • обоснован ли размер выборки;
  • сколько участников или наблюдений выбыло и почему.

Красный флаг — выборка, искусственно упрощающая задачу: например, только изображения высокого качества, только типичные случаи заболевания или исключение пациентов с сопутствующей патологией без клинического обоснования.

6. Проверьте сравнение и референсный стандарт

Новая технология оценивается не в вакууме. Необходимо понять, с чем сравнивается ее результат и является ли выбранное сравнение клинически адекватным.

Тип задачиЧто может быть сравнениемЧто спросить
Лечение / вмешательствоСтандарт лечения, плацебо или обоснованная альтернативная технологияСоответствует ли контроль современной практике?
ДиагностикаКлинически приемлемый референсный стандартНезависим ли он от исследуемого теста и одинаково ли применен ко всем?
ПО / ИИВрач без ИИ, врач с ИИ, независимый экспертный эталон или другой валидный comparatorПоказано ли влияние алгоритма на конечное клиническое решение, а не только offline-метрика?

7. Проверьте исходы и метрики

Авторы могут получить статистически значимый результат по показателю, который мало значит для пациента или пользователя технологии. Поэтому необходимо различать технические, промежуточные и клинически значимые исходы.

  • был ли основной исход определен заранее;
  • соответствует ли он цели исследования;
  • валидирован ли метод его измерения;
  • есть ли клинически значимый порог;
  • не заменен ли важный клинический исход удобным суррогатным показателем;
  • для диагностики — приведены ли чувствительность, специфичность и доверительные интервалы, а не только accuracy;
  • для прогнозной модели — оценены ли дискриминация и калибровка;
  • для ИИ — есть ли анализ ошибок и результаты в значимых подгруппах.

8. Не оценивайте результат только по p-value

Статистическая значимость не равна клинической значимости. Очень большое исследование может обнаружить минимальное различие, не имеющее практической ценности, а небольшое исследование — не достичь формального порога значимости при потенциально важном эффекте.

Что смотретьВопросЗачем
Размер эффектаНасколько велико различие или связь?Позволяет оценить практическую значимость.
Доверительный интервалНасколько неопределен полученный результат?Широкий интервал может означать недостаточную точность оценки.
p-valueНасколько данные совместимы с нулевой гипотезой при заданных предпосылках?Не показывает размер эффекта, вероятность истинности гипотезы или клиническую важность.
Множественные сравненияСколько гипотез проверяли одновременно?Без корректировки возрастает вероятность случайных «значимых» результатов.
Предварительный план анализаБыли ли методы определены до получения результатов?Снижает риск выбора анализа под полученные данные.

9. Ищите риск систематической ошибки, а не только случайную погрешность

Случайная погрешность отражается в статистической неопределенности. Систематическая ошибка опаснее: она способна стабильно сместить результат в одну сторону, и увеличение выборки не исправляет проблему.

Источник смещенияКак возникаетЧем опасен
Отбор участниковГруппы или выборка формировались так, что отличаются от целевой популяцииРезультат может быть завышен или неприменим к реальной практике.
ИзмерениеИсследуемый тест или исход оценивались с разным качеством либо с информацией о другой оценкеВозникает информационное смещение.
СмешиваниеНа результат влияет третий фактор, различающийся между группамиНаблюдаемая связь может ошибочно приписываться технологии.
Потери наблюденийВыбывшие участники систематически отличаются от оставшихсяИтоговая выборка перестает отражать исходную.
Выборочное представлениеОпубликованы только удобные исходы или анализыПоложительный эффект может быть переоценен.

10. Сверьте протокол, регистрацию исследования и публикацию

Если исследование было зарегистрировано или опубликован протокол, сравните заранее заявленные цели, исходы и методы с тем, что появилось в итоговой статье. Изменение основного исхода после получения данных, исчезновение неблагоприятного результата или появление незапланированного анализа требуют объяснения.

  • номер регистрации исследования;
  • дата регистрации относительно начала набора участников;
  • наличие протокола и статистического плана;
  • совпадение первичных и вторичных исходов;
  • совпадение размера выборки и критериев включения;
  • объяснение отклонений от первоначального плана.

11. Оцените полноту и качество описания безопасности

Для медицинской технологии публикация, подробно сообщающая эффективность и одной строкой — «серьезных нежелательных явлений не наблюдалось», может быть недостаточной. Важно понять, как определялись события, как долго велось наблюдение, кто их классифицировал и были ли одинаковыми методы сбора информации в сравниваемых группах.

12. Проверьте применимость к конкретному медицинскому изделию

Даже методологически сильная публикация не всегда может использоваться как прямое доказательство для конкретного изделия. Эксперт должен проверить идентичность или достаточную сопоставимость технологии.

Что сопоставитьКонтрольный вопрос
НазначениеСовпадает ли медицинская цель и клиническая задача?
ПопуляцияСоответствуют ли возраст, заболевание, тяжесть и условия применения?
Версия изделияИсследовалась ли именно та модель/версия, на которую распространяется вывод?
Аппаратная частьСовпадают ли сенсоры, компоненты, режимы, расходные материалы и конфигурация?
ПО / алгоритмСовпадает ли версия программного обеспечения и модель алгоритма?
ПользовательСоответствует ли квалификация исследователей реальным пользователям?
СредаСовпадают ли клинический маршрут, инфраструктура и условия эксплуатации?

Если ключевые элементы различаются, публикация может оставаться полезной как косвенное или поддерживающее доказательство, но ее нельзя автоматически считать прямым подтверждением характеристик другого изделия.

13. Для диагностических публикаций используйте отдельную логику

Для исследований диагностической точности международное руководство STARD 2015 помогает проверить полноту описания. При критической оценке дополнительно необходимо анализировать риск систематической ошибки и применимость исследования.

  • как отбирались пациенты: последовательная или случайная выборка предпочтительнее искусственного набора очевидных случаев;
  • был ли порог положительного результата определен заранее;
  • применялся ли один и тот же референсный стандарт ко всем участникам;
  • были ли интерпретаторы исследуемого теста и референсного стандарта ослеплены относительно результатов друг друга;
  • какой интервал времени был между тестами;
  • включены ли в анализ все участники;
  • приведены ли доверительные интервалы для диагностических метрик.

14. Для публикаций о ПО и ИИ задавайте дополнительные вопросы

Исследования ИИ требуют проверки не только классических клинических методов, но и жизненного цикла данных и модели. Высокая точность на одном наборе данных может не воспроизводиться в другой медицинской организации, на другом оборудовании или после изменения распространенности заболевания.

ОбластьЧто проверитьПочему это важно
Разделение данныхСтрого ли разделены обучение, настройка и независимая оценка?Утечка данных приводит к завышенной оценке модели.
Независимая валидацияЕсть ли внешняя выборка из другой организации, периода или источника?Показывает переносимость результата.
Версия алгоритмаОднозначно ли определена версия, которую исследовали?Результаты старой версии нельзя автоматически переносить на новую.
РепрезентативностьЕсть ли разные аппараты, протоколы, центры, подгруппы пациентов?Узкая выборка скрывает доменные сдвиги.
ЭталонКак сформирована разметка и кто определял правильный ответ?Слабый эталон ограничивает достоверность оценки.
ПодгруппыПоказана ли производительность в клинически значимых группах?Средняя метрика может скрывать систематические провалы.
ОшибкиЕсть ли анализ ложноположительных/ложноотрицательных и иных failure cases?Ошибки нужно оценивать по клиническому ущербу, а не только количеству.
Взаимодействие с пользователемИсследован ли сценарий «врач + ИИ», если таково назначение?Offline-метрика модели не равна клинической эффективности системы.

Для разных типов исследований ИИ полезны специализированные руководства: TRIPOD+AI — для моделей прогнозирования, CLAIM 2024 — для ИИ в медицинской визуализации, DECIDE-AI — для ранней оценки систем поддержки принятия решений в реальной клинической среде, CONSORT-AI — для клинических испытаний AI-вмешательств.

15. Проверьте финансирование и конфликт интересов

Финансирование производителем не делает исследование недостоверным автоматически. Но эксперт должен понимать роль спонсора: участвовал ли он в дизайне, сборе данных, статистическом анализе, интерпретации результатов и решении о публикации.

  • кто финансировал исследование;
  • указаны ли конфликты интересов авторов;
  • кто владел данными;
  • кто выполнял статистический анализ;
  • имел ли спонсор право блокировать публикацию;
  • были ли независимые авторы или исследовательские центры.

16. Не путайте престиж журнала с надежностью конкретной статьи

Индексирование, высокий импакт-фактор, известный журнал и большое число цитирований полезны как контекст, но не заменяют критическую оценку конкретного исследования. Ошибки дизайна, смещения или слабая применимость возможны и в высокорейтинговых изданиях.

Аналогично, отсутствие публикации в топ-журнале само по себе не является основанием отвергнуть исследование. Проверяется методология, прозрачность и применимость, а не бренд издания.

17. Особенности систематических обзоров и метаанализов

Систематический обзор находится «выше» отдельной публикации только тогда, когда сам выполнен качественно и объединяет сопоставимые исследования. Большое количество включенных статей не компенсирует высокий риск систематической ошибки первичных исследований.

  • четко ли сформулирован вопрос обзора;
  • описана ли воспроизводимая стратегия поиска;
  • искали ли в нескольких источниках;
  • заранее ли определены критерии включения;
  • оценен ли риск систематической ошибки включенных исследований;
  • обосновано ли статистическое объединение результатов;
  • оценена ли клиническая и статистическая неоднородность;
  • рассматривалось ли публикационное смещение;
  • не сделан ли более сильный вывод, чем позволяют первичные данные.

Для прозрачности отчетности систематических обзоров используется PRISMA 2020. Это руководство помогает проверить, насколько полно описаны поиск, отбор, оценка и синтез исследований.

18. Красные флаги: когда публикацию нельзя использовать без существенных оговорок

  • цель сформулирована после описания результатов либо явно не соответствует методам;
  • нет понятных критериев включения и исключения;
  • неясно, откуда взялась выборка;
  • сравниваемые группы изначально существенно различаются, но это не учтено;
  • основной исход или порог выбран после анализа данных без объяснения;
  • сообщается только p-value без размера эффекта и оценки неопределенности;
  • значительная доля участников исключена из итогового анализа;
  • нет информации о неблагоприятных событиях при оценке клинического применения;
  • выводы распространяются на группы, которые в исследовании почти не представлены;
  • для диагностики нет независимого или приемлемого референсного стандарта;
  • для ИИ тестовая выборка пересекается с данными обучения или настройки;
  • для ИИ нет внешней валидации, но авторы заявляют готовность к широкому клиническому применению;
  • не идентифицирована версия медицинского изделия или алгоритма;
  • публикация делает причинный вывод из дизайна, который позволяет говорить только об ассоциации;
  • результаты и выводы противоречат таблицам или дополнительным материалам.

19. Экспресс-оценка публикации за 15 минут

ШагЧто смотретьКонтрольный вопрос
1ВопросСовпадает ли исследовательский вопрос с вашей задачей?
2ДизайнПодходит ли дизайн для этого вопроса?
3ПопуляцияПохожа ли выборка на целевых пациентов?
4ТехнологияСовпадает ли изделие/версия/условия применения?
5СравнениеАдекватен ли comparator или референсный стандарт?
6ИсходКлинически значим ли основной показатель?
7МетодыЕсть ли явные источники систематической ошибки?
8РезультатЕсть ли размер эффекта и доверительный интервал?
9ПолнотаЕсть ли потери, пропуски, выборочное представление?
10ВыводНе сильнее ли вывод авторов, чем фактические данные?

20. Итоговая классификация доказательной ценности публикации

Для внутренней работы удобно завершать оценку не абстрактным «хорошая/плохая статья», а выводом о ее роли в доказательной базе.

Рабочая категорияКритерииКак использовать
Высокая применимостьМетодология приемлема, ключевые данные прозрачны, риск критических смещений невысок, технология и популяция соответствуют задаче.Может использоваться как существенное прямое доказательство наряду с другими материалами.
Умеренная применимостьЕсть ограничения, но они понятны и не обесценивают полностью результат.Использовать с оговорками и в совокупности с дополнительными данными.
Низкая применимостьСущественно отличается изделие, версия, популяция, клинический сценарий или методы.Только поддерживающий контекст; не использовать как прямое подтверждение заявленных характеристик.
Недостаточная надежностьКритические методологические проблемы или недостаток информации не позволяют оценить достоверность.Не использовать как ключевое доказательство без дополнительных первичных данных.

Важно: эта классификация — практический инструмент для экспертной работы и не является официальной нормативной шкалой качества научных публикаций.

Практический чек-лист критической оценки публикации

Контрольный вопросДа / Нет / Неясно
Исследовательский вопрос сформулирован ясно и релевантен моей задаче
Дизайн исследования соответствует поставленному вопросу
Критерии включения и исключения описаны и обоснованы
Способ формирования выборки понятен
Размер выборки обоснован или достаточность можно оценить
Исследуемая популяция соответствует целевой
Технология/изделие/версия идентифицированы
Comparator или референсный стандарт клинически адекватен
Основной исход определен заранее и клинически значим
Методы измерения валидны и одинаковы для сравниваемых групп
Ключевые источники систематической ошибки контролировались
Потери участников и пропуски данных описаны
Статистические методы соответствуют дизайну и типу данных
Приведен размер эффекта, а не только p-value
Приведена оценка неопределенности (например, доверительный интервал)
Множественные сравнения и дополнительные анализы учтены
Неблагоприятные события и безопасность описаны достаточно
Выводы авторов соответствуют фактическим результатам
Ограничения исследования обсуждены адекватно
Финансирование и конфликты интересов раскрыты
Есть регистрация/протокол, если это применимо
Нет существенных расхождений между протоколом и публикацией
Результаты применимы к моей клинической среде
Для ПО/ИИ исключена очевидная утечка данных
Для ПО/ИИ есть независимая или внешняя валидация, если заявляется переносимость
Для ПО/ИИ представлены анализ ошибок и значимые подгруппы

Рабочая карточка оценки публикации

ПолеЗаполнение
Полная ссылка / DOI
Тип исследования
Медицинская технология / изделие
Версия изделия / ПО
Целевая популяция
Основной вопрос
Comparator / референсный стандарт
Основной исход
Размер выборки
Ключевой результат и доверительный интервал
Основные риски систематической ошибки
Ограничения применимости
Финансирование / конфликт интересов
Итоговая доказательная ценностьВысокая / умеренная / низкая / недостаточная надежность
Роль в доказательной базеПрямое / поддерживающее / справочное / не использовать

Методическая база

EQUATOR Network — Reporting Guidelines
Международная библиотека руководств по прозрачному и полному представлению результатов исследований. EQUATOR рекомендует подбирать reporting guideline в зависимости от дизайна исследования.

https://www.equator-network.org/reporting-guidelines/

CONSORT 2025
Актуализированное руководство по отчетности рандомизированных исследований; версия 2025 заменила CONSORT 2010 и содержит 30 основных пунктов.

https://www.bmj.com/content/389/bmj-2024-081123

STROBE
Руководство по отчетности когортных, исследований «случай–контроль» и поперечных наблюдательных исследований. Само руководство отдельно указывает, что его чек-лист не является инструментом оценки методологического качества.

https://www.strobe-statement.org/

STARD 2015
Руководство по прозрачной отчетности исследований диагностической точности; содержит 30 основных пунктов.

https://www.bmj.com/content/351/bmj.h5527

PRISMA 2020
Руководство по представлению систематических обзоров и метаанализов; включает 27-пунктный чек-лист и обновленные схемы отбора исследований.

https://www.bmj.com/content/372/bmj.n71

TRIPOD+AI, 2024
Актуальное руководство по отчетности исследований разработки и оценки клинических прогнозных моделей, включая методы машинного обучения. TRIPOD+AI заменило TRIPOD 2015.

https://www.bmj.com/content/385/bmj-2023-078378

CLAIM 2024
Обновленный Checklist for Artificial Intelligence in Medical Imaging для публикаций об ИИ в медицинской визуализации.

https://pubs.rsna.org/page/ai/claim

DECIDE-AI, 2022
Руководство для ранней клинической оценки систем поддержки принятия решений на базе ИИ в реальных клинических условиях; отдельно подчеркивает необходимость оценки клинической полезности, безопасности и человеческого фактора.

https://www.nature.com/articles/s41591-022-01772-9

CONSORT-AI
Расширение CONSORT для клинических испытаний вмешательств с компонентом ИИ; требует, в частности, описания AI-вмешательства, взаимодействия человека и системы и анализа ошибок.

https://www.nature.com/articles/s41591-020-1034-x

Как выбирать методическое руководство

Тип публикацииОсновные ориентиры
Рандомизированное исследованиеCONSORT 2025; для AI-вмешательства дополнительно CONSORT-AI
Наблюдательное исследованиеSTROBE и соответствующие расширения
Диагностическая точностьSTARD 2015; дополнительно специализированная оценка риска систематической ошибки
Систематический обзор / метаанализPRISMA 2020
Прогнозная модель / машинное обучениеTRIPOD+AI
ИИ в медицинской визуализацииCLAIM 2024 + руководство по соответствующему дизайну исследования
Ранняя клиническая оценка AI decision supportDECIDE-AI + руководство по соответствующему дизайну

Связанные материалы

Систематический обзор, метаанализ, РКИ и наблюдательное исследование: как оценивать уровень доказательности

Следующий материал блока. Должен объяснить различия между дизайнами исследований, их возможности и ограничения без упрощенной схемы «один дизайн всегда лучше другого».

Как искать клинические доказательства по медицинскому изделию: стратегия поиска научных публикаций

Практическое руководство по формулировке поискового вопроса, подбору баз данных, ключевых слов и документированию поиска.

Искусственный интеллект в анализе медицинских изображений: возможности, ограничения и требования к доказательствам

Связанный материал блока «Медицинские технологии» — для углубленной оценки исследований алгоритмов анализа медицинских изображений.

Практические документы и чек-листы

К этой статье рекомендуется разместить для скачивания:

  • чек-лист критической оценки научной публикации;
  • карточку разбора одной публикации;
  • матрицу «публикация → подтверждаемая характеристика медицинской технологии → применимость → ограничение»;
  • краткий навигатор по CONSORT / STROBE / STARD / PRISMA / TRIPOD+AI / CLAIM / DECIDE-AI.

Актуальность материала

Дата актуализации: 10 сентября 2026 года.

Материал подготовлен с учетом актуальных международных руководств по отчетности медицинских исследований, включая CONSORT 2025, PRISMA 2020, STARD 2015, STROBE, TRIPOD+AI 2024, CLAIM 2024, DECIDE-AI и CONSORT-AI.

Перед применением конкретного checklist или risk-of-bias tool рекомендуется проверять его текущую редакцию, область применения и наличие специализированного расширения для соответствующего типа исследования и медицинской технологии.

Версия материала: 1.0