«Систематический обзор выше РКИ, а РКИ выше наблюдательного исследования» — удобная учебная схема, но для экспертной работы она слишком груба. Уровень доказательности зависит не только от названия дизайна. Важно, насколько корректно проведено конкретное исследование, насколько согласованы результаты разных работ, применимы ли они к нужной популяции и технологии, насколько точны оценки и нет ли признаков публикационного смещения.
Короткий ответ
| Тип | Что это | Как относиться к доказательности |
|---|---|---|
| Систематический обзор | Метод систематического поиска, отбора, критической оценки и синтеза исследований по заранее заданному вопросу. | Может дать сильную основу для вывода, если сам проведен качественно и включает надежные, сопоставимые исследования. |
| Метаанализ | Статистический метод количественного объединения результатов нескольких исследований. | Повышает точность суммарной оценки, но не исправляет плохой дизайн, высокий риск смещения или несопоставимость исходных исследований. |
| РКИ | Рандомизированное контролируемое исследование. | Обычно является сильным дизайном для оценки причинного эффекта вмешательства, но конкретное РКИ может иметь высокий риск систематической ошибки и низкую определенность результата. |
| Наблюдательное исследование | Исследование без рандомизированного назначения вмешательства. | Особенно важно для безопасности, редких событий, долгосрочных исходов, реальной практики, прогноза и ситуаций, где РКИ невозможно или неэтично. |
Главное правило
Дизайн исследования — это стартовая характеристика доказательства, а не итоговый «балл качества». Сильный экспертный вывод строится по цепочке: исследовательский вопрос → подходящий дизайн → качество выполнения → риск систематической ошибки → согласованность → применимость → точность → возможное публикационное смещение → итоговая определенность совокупности доказательств.
1. Сначала определите, какой вопрос вы задаете
Нельзя выбрать «лучший дизайн вообще». Лучший дизайн определяется вопросом, на который требуется ответить.
| Вопрос | Чаще всего релевантный дизайн |
|---|---|
| Работает ли вмешательство лучше стандартного подхода? | РКИ; при наличии нескольких исследований — качественный систематический обзор и, если данные сопоставимы, метаанализ. |
| Как часто возникает редкое нежелательное событие? | Крупные наблюдательные базы, регистры, когортные исследования, пострегистрационные данные. |
| Каков прогноз заболевания? | Проспективные когортные исследования, валидированные прогностические модели. |
| Насколько точен диагностический тест? | Исследование диагностической точности с корректным референсным стандартом; не обязательно РКИ. |
| Как технология работает в реальной практике? | Прагматические исследования, регистры, когортные и иные исследования реальной клинической практики. |
| Как технология влияет на решение врача или исход пациента? | В зависимости от вопроса — РКИ, квазиэкспериментальный или хорошо спланированный наблюдательный дизайн. |
2. Что дает рандомизированное контролируемое исследование
Рандомизация помогает сделать сравниваемые группы сходными по известным и неизвестным факторам, влияющим на исход. Поэтому РКИ особенно ценно, когда нужно оценить причинный эффект вмешательства: например, улучшает ли новая технология клинический исход по сравнению со стандартным подходом.
Но слово «рандомизированное» не гарантирует надежность. Эксперту необходимо проверить:
- как сформирована последовательность рандомизации;
- было ли скрыто распределение участников по группам;
- возможно ли и было ли ослепление участников, персонала или оценщиков;
- насколько велики потери наблюдений и как они обработаны;
- были ли исходы и план анализа определены заранее;
- анализировались ли участники в соответствии с исходным распределением;
- есть ли расхождения между протоколом и итоговой публикацией.
Для оценки риска систематической ошибки в рандомизированных исследованиях широко используется инструмент RoB 2.
3. Когда наблюдательное исследование необходимо и ценно
Наблюдательные исследования часто ошибочно воспринимают как «слабые по определению». На практике они отвечают на вопросы, для которых рандомизация невозможна, неэтична, слишком дорога или не отражает реальную клиническую эксплуатацию технологии.
- редкие и отсроченные нежелательные события;
- безопасность при длительном применении;
- результаты в большой и разнообразной реальной популяции;
- эффективность после внедрения в обычную практику;
- прогноз и естественное течение состояния;
- влияние факторов риска;
- использование технологии у групп, недостаточно представленных в РКИ.
Главная угроза — смешивание факторов и систематические различия между группами. Поэтому важны корректный дизайн, прозрачный отбор участников, измерение ключевых факторов, статистическая корректировка и анализ остаточного смешивания. Для нерандомизированных исследований вмешательств используется, в частности, семейство инструментов ROBINS-I.
4. Что такое систематический обзор
Систематический обзор — не просто «много статей в одном документе». Он начинается с заранее сформулированного вопроса и воспроизводимого протокола поиска и отбора доказательств.
- четкий исследовательский вопрос;
- заранее определенные критерии включения и исключения;
- поиск в нескольких релевантных источниках;
- прозрачный процесс отбора исследований;
- оценка риска систематической ошибки включенных работ;
- обоснованный способ синтеза результатов;
- оценка различий между исследованиями;
- оценка риска отсутствующих или неопубликованных результатов;
- выводы, соответствующие определенности доказательств.
PRISMA 2020 задает современный стандарт прозрачной отчетности систематических обзоров. Однако соответствие PRISMA само по себе не доказывает методологическую надежность обзора — оно прежде всего показывает, насколько полно авторы описали выполненную работу.
5. Метаанализ — это метод, а не отдельный дизайн исследования
Метаанализ количественно объединяет оценки эффекта из нескольких исследований и рассчитывает суммарный результат с оценкой неопределенности. Он часто входит в систематический обзор, но систематический обзор может быть выполнен без метаанализа, если исследования слишком различаются для корректного объединения.
Ключевой вопрос перед объединением данных: достаточно ли сопоставимы участники, технологии, comparators, исходы и методы исследований, чтобы средняя оценка имела клинический смысл?
Если исходные исследования систематически смещены, объединение их результатов не устраняет проблему. Метаанализ может дать очень узкий доверительный интервал вокруг очень уверенно рассчитанного, но все равно смещенного результата.
6. Почему «систематический обзор с метаанализом» не всегда является самым сильным доказательством
- в обзор включены исследования с высоким риском систематической ошибки;
- вопрос обзора шире, чем вопрос конкретного эксперта;
- объединены клинически несопоставимые технологии или популяции;
- результаты отдельных исследований направлены в разные стороны;
- суммарный эффект определяется несколькими маленькими исследованиями;
- есть признаки публикационного смещения;
- метаанализ объединяет surrogate outcomes вместо клинически важных исходов;
- вывод обзора сильнее, чем позволяют первичные исследования.
7. Как GRADE оценивает определенность совокупности доказательств
Подход GRADE оценивает не «качество статьи вообще», а определенность совокупности доказательств по конкретному исходу. Итоговый уровень может быть высоким, умеренным, низким или очень низким.
| Домен GRADE | Что проверить |
|---|---|
| Риск систематической ошибки | Есть ли ограничения дизайна и проведения исследований, способные сместить результат? |
| Несогласованность | Насколько результаты разных исследований расходятся по величине и направлению эффекта? |
| Косвенность | Насколько исследованные пациенты, технология, сравнение и исходы соответствуют вашему вопросу? |
| Неточность | Насколько широки доверительные интервалы и достаточно ли данных для принятия решения? |
| Публикационное смещение | Есть ли основания подозревать, что часть результатов не опубликована или представлена выборочно? |
Для некоторых совокупностей нерандомизированных исследований уверенность может повышаться, например при очень большом эффекте, наличии дозозависимой связи или ситуации, когда вероятное смешивание скорее уменьшало бы наблюдаемый эффект. Поэтому итог GRADE нельзя восстановить только по названию дизайна.
8. Дизайн — стартовая точка, риск систематической ошибки — обязательная проверка
| Тип материала | Пример инструмента | Что оценивается |
|---|---|---|
| РКИ | RoB 2 | Рандомизация, отклонения от вмешательства, пропущенные данные, измерение исходов, выбор представленного результата. |
| Нерандомизированное исследование вмешательства | ROBINS-I | Смешивание, отбор участников, классификация вмешательства, отклонения, пропуски, измерение исходов, выбор результата. |
| Систематический обзор | AMSTAR 2 и предметная методическая оценка | Протокол, полнота поиска, отбор, оценка риска смещения, методы синтеза, учет риска смещения в выводах. |
| Синтез доказательств | ROB-ME и другие инструменты | Риск смещения из-за отсутствующих исследований или не представленных результатов. |
9. Несогласованность: одинаковый ли эффект показывают разные исследования
Различия между исследованиями ожидаемы. Они могут быть клиническими, методологическими или статистическими. Эксперту важно не просто увидеть показатель I², а понять, почему результаты различаются.
- разные категории пациентов;
- разные версии или конфигурации технологии;
- разные режимы применения;
- разные comparators;
- разные определения исходов;
- разные сроки наблюдения;
- разный риск систематической ошибки.
Cochrane отдельно предупреждает против механического использования порогов I². Значимость неоднородности зависит от величины и направления эффектов, числа исследований и клинического контекста.
10. Косвенность: насколько доказательство относится именно к вашей технологии
Даже сильное исследование может быть косвенным доказательством, если оно изучало другую популяцию, другую версию медицинского изделия, иной клинический сценарий или surrogate outcome.
| Источник косвенности | Пример |
|---|---|
| Популяция | Исследованы взрослые без тяжелых сопутствующих заболеваний, а технология предназначена также для пожилых и мультиморбидных пациентов. |
| Технология | Публикация относится к предыдущей версии программного обеспечения или другой аппаратной конфигурации. |
| Comparator | Сравнение выполнено с подходом, который уже не соответствует современной клинической практике. |
| Исход | Оценен технический surrogate показатель, тогда как требуется доказать влияние на клиническое решение или исход пациента. |
11. Неточность: насколько уверенно оценена величина эффекта
Размер выборки и число событий влияют на ширину доверительного интервала. Если интервал одновременно допускает клинически значимую пользу и отсутствие пользы или возможный вред, уверенность в выводе ограничена, даже если точечная оценка выглядит благоприятно.
При интерпретации полезно заранее определить пороги, которые меняют решение: какой эффект будет считаться клинически значимым, а какой — тривиальным.
12. Публикационное смещение и отсутствующие данные
Положительные и статистически значимые результаты имеют больше шансов быть опубликованными. Кроме того, внутри опубликованной статьи могут отсутствовать отдельные заранее заявленные исходы. Поэтому необходимо сопоставлять публикации с регистрами исследований, протоколами и, если возможно, неопубликованными данными.
- есть ли зарегистрированные, но не опубликованные исследования;
- совпадают ли исходы публикации с протоколом;
- не представлены ли только наиболее благоприятные временные точки;
- не исключены ли из анализа неудобные подгруппы без обоснования;
- есть ли признаки асимметрии малых исследований в метаанализе.
13. Для безопасности наблюдательные данные часто дополняют РКИ
РКИ обычно имеет ограниченный размер выборки и срок наблюдения. Редкие нежелательные события могут просто не возникнуть в исследовании. Поэтому оценка безопасности медицинской технологии часто требует сочетания РКИ с регистрами, пострегистрационными данными, крупными когортами и иными источниками реальной практики.
Это пример ситуации, когда «ниже в иерархии» не означает «не нужно». Разные дизайны отвечают на разные части одного экспертного вопроса.
14. Для диагностических технологий РКИ не всегда является первым необходимым доказательством
Если вопрос звучит «насколько точно тест выявляет заболевание», ключевым может быть качественное исследование диагностической точности: индекс-тест применяется к релевантной клинической выборке и сравнивается с независимым референсным стандартом.
РКИ становится особенно важным, когда требуется доказать, что использование теста меняет тактику ведения или улучшает клинический исход. Поэтому эксперт должен различать техническую/диагностическую эффективность и конечную клиническую полезность.
15. Для ПО и ИИ особенно важно различать уровни доказательств
| Уровень вопроса | Что проверяется | Доказательная роль |
|---|---|---|
| Техническая производительность | Как алгоритм работает на заданном наборе данных? | Внутренняя тестовая выборка; сама по себе ограниченно показывает переносимость. |
| Внешняя валидация | Сохраняется ли производительность на независимых данных другой организации/периода/оборудования? | Сильнее поддерживает обобщаемость. |
| Проспективная клиническая оценка | Как система работает в реальном клиническом процессе? | Позволяет оценить человеческий фактор, workflow и реальные ошибки. |
| Сравнительное исследование | Меняет ли система качество решения, время, безопасность или клинический исход по сравнению со стандартной практикой? | В зависимости от вопроса может потребоваться рандомизированный или другой сравнительный дизайн. |
| Пострегистрационные данные | Сохраняется ли безопасность и эффективность после масштабного внедрения? | Выявляют доменные сдвиги, редкие ошибки и эффект изменений практики. |
Высокая AUC на ретроспективном датасете не равна доказанной клинической эффективности. Эксперт должен понимать, какой именно уровень утверждения поддерживает конкретное исследование.
16. Что сильнее: одно крупное РКИ или метаанализ маленьких исследований?
Универсального ответа нет. Качественное крупное РКИ с низким риском систематической ошибки может быть убедительнее метаанализа нескольких слабых, неоднородных исследований. И наоборот, качественный систематический обзор нескольких согласованных РКИ способен дать более точную и устойчивую оценку, чем одно исследование.
Поэтому сравнивайте не только «уровни пирамиды», но и качество первичных данных и определенность итогового вывода.
17. Практическая карта: какой источник доказательств для чего использовать
| Экспертный вопрос | Основной источник | Комментарий |
|---|---|---|
| Причинный эффект вмешательства | РКИ; затем систематический обзор нескольких РКИ | Наблюдательные исследования — как дополнение и для реальной практики. |
| Редкая безопасность | Крупные наблюдательные данные, регистры, пострегистрационные источники | РКИ часто недостаточно по размеру и длительности. |
| Диагностическая точность | Исследования диагностической точности с референсным стандартом | РКИ отвечает на другой вопрос — влияние применения теста на действия/исходы. |
| Прогноз | Проспективная когорта, внешняя валидация модели | Рандомизация обычно не нужна. |
| Реальная эффективность | Прагматические исследования, регистры, хорошо спланированные наблюдательные исследования | Нужен контроль смешивания и отбора. |
| Совокупная оценка | Систематический обзор; метаанализ при допустимой сопоставимости | Качество синтеза ограничено качеством включенных исследований. |
18. Красные флаги при оценке уровня доказательности
- «Метаанализ» используется как единственный аргумент высокого качества без оценки включенных исследований;
- систематический обзор не описывает воспроизводимую стратегию поиска;
- в метаанализ объединены клинически несопоставимые исследования;
- авторы игнорируют значимую неоднородность результатов;
- одно небольшое РКИ трактуется как окончательное доказательство без оценки риска смещения и точности;
- наблюдательная ассоциация описана как причинный эффект без достаточного контроля смешивания;
- доверительные интервалы допускают как существенную пользу, так и отсутствие эффекта;
- данные относятся к другой версии технологии, но это не учитывается;
- публикационный вывод значительно сильнее фактических данных;
- сила доказательств оценивается только по импакт-фактору журнала или размеру p-value.
19. Алгоритм оценки совокупности доказательств
- Сформулируйте конкретный вопрос и исход, для которого нужна оценка.
- Определите, какие дизайны исследований релевантны этому вопросу.
- Разделите первичные исследования и вторичный синтез доказательств.
- Оцените риск систематической ошибки каждого ключевого исследования.
- Проверьте согласованность результатов.
- Оцените прямоту доказательств для нужной популяции, технологии, сравнения и исхода.
- Оцените точность эффектов и доверительные интервалы.
- Проверьте риск публикационного смещения и отсутствующих результатов.
- Для метаанализа оцените оправданность объединения и неоднородность.
- Сформулируйте итоговую определенность по каждому критически важному исходу.
- Отдельно укажите, какие выводы доказательства поддерживают, а какие выходят за их пределы.
20. Экспресс-чек-лист для эксперта
| Контрольный вопрос | Да / Нет / Неясно |
|---|---|
| Вопрос сформулирован по конкретному исходу | |
| Выбранный дизайн соответствует вопросу | |
| Проверен риск систематической ошибки ключевых исследований | |
| Для РКИ оценены рандомизация, пропуски, измерения и выбор результатов | |
| Для наблюдательных исследований оценены смешивание и отбор | |
| Систематический обзор имеет воспроизводимый поиск и критерии отбора | |
| Метаанализ объединяет клинически и методологически сопоставимые исследования | |
| Оценена неоднородность и ее возможные причины | |
| Доказательства относятся к нужной популяции и версии технологии | |
| Доверительные интервалы достаточно точны для решения | |
| Проверен риск публикационного смещения | |
| Учитываются данные по безопасности и реальной практике | |
| Для ПО/ИИ разделены техническая, внешняя и клиническая валидация | |
| Итоговый вывод не сильнее, чем позволяет совокупность доказательств |
Рабочая карточка оценки уровня доказательности
| Поле | Заполнение |
|---|---|
| Экспертный вопрос / исход | |
| Популяция | |
| Технология / версия | |
| Comparator | |
| Ключевые исследования | |
| Основной дизайн доказательств | |
| Риск систематической ошибки | Низкий / есть опасения / высокий / критический |
| Согласованность | Высокая / умеренная / низкая |
| Прямота | Прямые / частично косвенные / существенно косвенные |
| Точность | Достаточная / ограниченная / недостаточная |
| Публикационное смещение | Маловероятно / возможно / вероятно / неясно |
| Систематический обзор / метаанализ | Есть / нет; качество и применимость |
| Итоговая определенность | Высокая / умеренная / низкая / очень низкая |
| Что можно заключить | |
| Что нельзя заключить |
Методическая база
Cochrane Handbook, Chapter 14 — GRADE
Описывает оценку определенности совокупности доказательств по отдельным исходам. Учитываются риск систематической ошибки, несогласованность, косвенность, неточность и публикационное смещение; итоговые уровни — высокий, умеренный, низкий и очень низкий.
https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-14
Cochrane Handbook, Chapter 10 — Meta-analysis
Разъясняет принципы метаанализа, неоднородности, выбора модели и интерпретации суммарных эффектов. Подчеркивает, что метаанализ следует выполнять только при содержательной сопоставимости исследований.
https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-10
RoB 2
Специализированный инструмент оценки риска систематической ошибки в рандомизированных исследованиях.
https://www.riskofbias.info/welcome/rob-2-0-tool
ROBINS-I
Инструмент оценки риска систематической ошибки в нерандомизированных исследованиях вмешательств.
https://www.riskofbias.info/welcome/home
PRISMA 2020
Международное руководство по прозрачной отчетности систематических обзоров и метаанализов. Включает чек-лист и flow diagram.
https://www.prisma-statement.org/prisma-2020
Cochrane Diagnostic Test Accuracy Handbook
Методическая база для систематических обзоров исследований диагностической точности; показывает, что для диагностических вопросов требуется отдельная логика дизайна и референсного стандарта.
https://training.cochrane.org/handbook-diagnostic-test-accuracy
Связанные материалы
Как оценить качество научной публикации о медицинской технологии: практический чек-лист
Предыдущий материал блока. Помогает оценить качество конкретной публикации: дизайн, выборку, статистику, риск систематической ошибки и применимость.
Как искать клинические доказательства по медицинскому изделию: стратегия поиска научных публикаций
Следующий материал блока. Должен показать, как сформулировать поисковый вопрос, выбрать источники, документировать поиск и сформировать воспроизводимую доказательную выборку.
Когда достаточно анализа клинических данных, а когда необходимо исследование с участием человека
Связанный материал блока «Клинические исследования» — о выборе формы получения клинических доказательств для медицинского изделия.
Практические документы и чек-листы
К этой статье рекомендуется разместить для скачивания:
- таблицу «экспертный вопрос → подходящий дизайн исследования»;
- чек-лист оценки совокупности доказательств по доменам GRADE;
- карточку оценки систематического обзора и метаанализа;
- матрицу «исследование → риск смещения → применимость → роль в доказательной базе».
Актуальность материала
Дата актуализации: 10 сентября 2026 года.
Материал подготовлен с учетом актуальной версии Cochrane Handbook, подхода GRADE, PRISMA 2020 и действующих специализированных инструментов оценки риска систематической ошибки RoB 2 и ROBINS-I.
Перед применением конкретного методического инструмента необходимо проверить его актуальную версию и область применения: отдельные типы вопросов, дизайнов и синтезов доказательств могут требовать специализированных расширений и дополнительных методов.
Версия материала: 1.0