Skip to content

GCRI · Labs

Исследовательские протоколы

A research protocol fixes, before data are collected, what a study asks, how it will answer and what would count as an answer: the hypotheses, the design, the controls, the outcomes, the sample and the analysis. Many failures of credibility trace back to a protocol that was vague, unwritten or changed after the data were seen. This page sets out how protocols are built, registered, reviewed and reported, and what ethics committees, editors and funders rely on when they accept a study’s claims.

01Полотно

Как ведётся работа.

Системная · по этой темеИллюстративно

Доска протоколов и воспроизведения

Research protocols · Labs · Quarter 3

Выполняются две репликацииGCRI · Labs

Протоколы

PR-378 sensor driftПолевой экспериментДаУтвержденоВыполняется
PR-705 AI triageРандомизированноеДаУсловияНастройка
PR-694 message recallОпросный экспериментДаУтвержденоЗавершено
PR-360 heat exposureКогортаНетОжидаетсяПроект

Replication R-25

Исходный эффект
0.4 SD
Эффект воспроизведения
0.2 SD
Вердикт
Меньше, тот же знак
Опубликовано
с данными и кодом

Доступность испытательных стендов

Protocol and replication board: the screen’s structure, terms and states for Research protocols.Примеры названий и иллюстративные значения; макет, а не запись и не действующая система.

Рис.Protocol and replication board: example names and illustrative values, not a record or a live system.

02Вопрос

Research protocols: how the risk develops.

Hypotheses, controls and scientific acceptance. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.

Механизм

Flexibility becomes bias

When outcomes, exclusions, covariates or stopping rules are chosen after the data are seen, many analyses become possible and the most striking one tends to be reported. Each choice looks reasonable alone; together they inflate false positives and effect sizes.

Механизм

Weak controls confound results

A missing control, unblinded assessment or non-random allocation lets something other than the intervention explain the difference. Design flaws cannot be repaired by analysis; they travel into every result and review built on the study.

Механизм

Underpowered designs mislead twice

Small samples miss real effects, and the effects they do detect tend to be overestimated. Underpowered studies that reach significance seed literatures that later, larger replications cannot match.

Механизм

Deviations go unreported

Protocols change for good reasons, such as slow recruitment or a safety signal. When a change is not dated, explained and reported, readers cannot tell a justified amendment from outcome switching, and reviews pool what should not be pooled.

03Методы и доказательная база

How research protocols is modelled, measured and tested.

Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.

Модель, уравнения и допущения

The model structure used for research protocols, the assumptions it makes and how each is tested.

Риск элемента iRi = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагирования
Ожидаемый годовой ущербEAL = ∑k pk · Lkпо событиям k с годовой вероятностью pk
Связанные системыxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
ДопущениеЗачем это создаётсяКак это проверяется
В пределах события опасность и подверженность независимыДелает интеграл убытков вычислимымСравнить с подгонкой копулы по совместным записям
Вблизи рабочей точки связи линейныПозволяет потрясениям распространяться через AВыйдите за пределы линейного диапазона и сравните
Кривые уязвимости переносятся между местамиМестные кривые редко доступныПроверять по наблюдаемым убыткам там, где они есть
Исходные данные
версионированные наборы данных с указанием происхождения
Результаты
распределения, а не отдельные числа
Код
выпускается вместе с карточкой модели и тестами
Воспроизведение
те же данные, код, среда и начальное значение
Стандартные формулировки риска и пространства состояний; перечисленные допущения типичны для метода и приведены для рецензирования, а не как результаты.
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
05Индикаторы

Что измеряется и насколько хорошо.

Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.

ИндикаторЕдиницаПериодичностьТип источникаМетка
Registration before data collectionpercent of studies with a time-stamped registrationежегодноTrial and study registriesОпубликованная статистика
Primary outcome consistencypercent of reports matching the registered primary outcomeежегодноRegistry and publication comparisonНАБЛЮДАЕМО
Sample size justificationpercent of protocols with a power or precision rationaleежегодноProtocol auditНАБЛЮДАЕМО
Reporting guideline adherencepercent of applicable checklist items reportedна каждое исследованиеAssessment against CONSORT, PRISMA, ARRIVE or STROBEОЦЕНЕНО
Protocol amendmentscount per study, each with a stated reasonна каждое исследованиеRegistry history and ethics committee recordsОпубликованная статистика
Registered report availabilitynumber of journals offering the formatежегодноCenter for Open Science journal listСООБЩЕНО
Results posting timelinessmonths from primary completion to posted resultsна каждое исследованиеTrial registriesОпубликованная статистика
Randomisation and blinding reportedpercent of eligible studiesежегодноRisk-of-bias assessmentsОЦЕНЕНО
06Источники

Откуда берётся доказательная база.

Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.

ИсточникЧто он даётКласс лицензии
OSF Registries (Center for Open Science)Time-stamped preregistrations and registered report protocols across disciplinesOpen, licence per registration
ClinicalTrials.gov (US National Library of Medicine)Registered trials, protocol change history and posted resultsОбщественное достояние
WHO International Clinical Trials Registry PlatformSearch across primary national trial registriesFree, WHO terms of use
PROSPERO (NIHR)Registered protocols for systematic reviewsFree access, terms of use
protocols.ioVersioned, citable step-by-step laboratory and field methodsOpen, CC BY for public protocols
EQUATOR Network libraryReporting guidelines by study design, with extensionsFree access, licence per guideline
Crossref metadataLinks between registrations, articles, corrections and fundersOpen metadata, no restrictions
07Решения

Кто принимает решения и чему служит доказательная база.

Лаборатории prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.

Кто принимает решениеВопросДоказательная база, которую обслуживает эта страница
Research ethics committees and institutional review boardsWhether a protocol’s risks, consent and design justify approval, and whether an amendment needs fresh reviewComplete protocol, sample size rationale, amendment history with reasons
Journal editorsWhether to accept a registered report in principle, or whether a submitted analysis matches its planTime-stamped registration compared line by line with the manuscript
Организации, финансирующие исследованияWhether a proposal’s design can answer its question before money is committedPower or precision rationale, control conditions, data management plan
Medicines and device regulatorsWhether trial evidence was generated under the protocol submitted to themRegistry history, deviation logs, results posting record

Результаты, которые даёт эта тема

  • Protocol templates stating hypotheses, controls, outcomes and analysis plans before data collection
  • Registration records with time stamps and version history
  • Deviation logs that date and explain every amendment
  • Reporting checklists completed against the relevant EQUATOR guideline
08Ключевые вопросы

What experts ask of any protocol.

  • What exactly is the hypothesis, and what result would count against it?
  • What is the comparison: a control group, a baseline period, a counterfactual model or a randomised arm?
  • Which outcomes are primary, which are secondary, and how will each be measured?
  • What sample, duration or number of runs is needed to detect an effect of the size that matters?
  • What would make the team stop early, for safety or for futility, and who decides?
  • What will be published if the result is null or the experiment fails?
09Механизмы и движущие факторы

Why experiments drift without a protocol.

Every experiment involves choices: which observations to exclude, which covariates to adjust for, which time window to use. Each choice may be reasonable alone, but when they are made after seeing the data, the number of possible analyses grows quickly and one of them will usually show something. This is the problem methodologists call analytic flexibility, and it is a central reason why published effects often shrink or vanish when repeated.

Interdisciplinary work adds its own drivers. Disciplines differ in what they treat as a control, how they handle missing data and what level of evidence they expect. A hydrologist, an economist and an epidemiologist may each consider a design rigorous by their own standard while disagreeing about what it shows. A protocol forces those differences into the open before work starts.

Incentives matter too. Positive, novel findings are easier to publish and fund, which rewards flexibility and penalises null results. Pre-registration and registered reports are the main structural responses.

10Методы и данные

Tools protocols draw on, and where they stop.

  1. 01

    Pre-registration

    A time-stamped record of hypotheses and analysis plans. It limits post hoc changes but cannot stop a poorly chosen question.

  2. 02

    Power and design analysis

    Estimates how much data is needed to detect a meaningful effect, using теорию вероятностей и статистику. It depends on assumed effect sizes that are often uncertain.

  3. 03

    Causal designs

    Randomisation, difference-in-differences, regression discontinuity and instrumental variables from причинно-следственный вывод. Each rests on assumptions that must be stated and, where possible, tested.

  4. 04

    Acceptance criteria

    Pre-agreed thresholds for when a method, model or prototype is considered to work. They make success testable but can be gamed if set too loosely.

A protocol cannot make a bad measurement good or fix a biased sample. Deviations from protocol are permitted when justified, but are reported with their reasons.

11Методы

Как это изучается и чего методы не могут сказать.

  1. Теория вероятностей и статистикаПланирование объёма выборки и мощности · Метаанализ с оценкой смещенияПрименяется здесь
  2. Причинно-следственный вывод и оценка воздействияРандомизированные пилотные проекты и поэтапное внедрение · Квазиэкспериментальная оценка программПрименяется здесь
  3. Количественная оценка неопределённости и валидация моделейБюджеты неопределённости измерений · Анализ чувствительности имитационных моделейПрименяется здесь
  4. Системная инженерияПрослеживаемость от требований к верификации · Поэтапные проверки готовностиПрименяется здесь
12Where this page’s references

Where this page’s references lead.

Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.

13Вопросы

Вопросы и ответы.

What is the difference between a preregistration and a registered report?
A preregistration is a time-stamped plan deposited before analysis. A registered report is a journal format in which the plan is peer reviewed and accepted in principle before results exist, so publication does not depend on the outcome.
Does preregistration forbid exploratory analysis?
No. It separates the two. Planned analyses are reported as confirmatory; analyses suggested by the data are reported as exploratory, with that label, so readers can weigh them accordingly.
Which reporting guideline applies to my study?
It depends on the design: CONSORT for randomised trials, SPIRIT for trial protocols, PRISMA for systematic reviews, ARRIVE for animal research, STROBE for observational studies. The EQUATOR Network keeps the current list and extensions.
Can a protocol be changed after registration?
Yes, with a dated amendment and a stated reason, and with fresh ethics review where the change affects participants. What damages credibility is undisclosed change, not change itself.
Is pre-registration required for every Labs study?
It is designed to be the default for confirmatory work. Exploratory work is welcome but is labelled as exploratory, so that its findings are treated as hypotheses rather than conclusions.
Can a protocol change during a study?
Yes, for good reasons such as safety or an unforeseen data problem. Each change is dated, justified and reported alongside the result.
Who writes the protocol?
The research team writes it; a subject reviewer independent of the team is designed to check it before work begins.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIЛабораторииДоказательная база LabsМетоды и технические материалы

Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.

Лаборатории

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.