GCRI · Labs
قابلية إعادة الإنتاج والنتائج السلبية
Science corrects itself only when failures are recorded: replications that did not reproduce, experiments that found nothing, errors found after publication. Many of these records never appear, so the published literature overstates effects and certainty. This page sets out how irreproducibility arises, how replication and correction work, which records exist, and what editors, integrity offices and funders rely on when they correct or retract.
Reproducibility and negative results on the record.
Reproducibility and negative results: how the risk develops.
Failure records and corrections. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Publication bias filters the record
Significant, novel results are more likely to be written up, accepted and cited than null ones. The literature then shows a biased sample of what was studied, and meta-analyses inherit the bias.
Errors propagate through citation
A flawed or retracted paper keeps being cited, often without mention of its status. Reviews, guidelines and later studies that build on it carry the error forward, sometimes long after the notice.
Reproduction fails for ordinary reasons
Missing code, undocumented software versions, unshared reagents, unclear methods and lost raw data stop others from repeating an analysis or experiment, even when the original work was honest.
Correction is slow and uneven
Investigations take time, journals differ in how they flag problems, and retraction notices can be vague. Readers may not learn that a paper was corrected, and databases may not carry the notice forward.
لوحة البروتوكولات والتكرار.
الشاشة التي قد يستخدمها فريق لمتابعة هذا الموضوع: مقاييسه وحالاته وقراراته. والأسماء أمثلة والقيم توضيحية.
لوحة البروتوكولات والتكرار
Reproducibility and negative results · Labs · Quarter 1
البروتوكولات
| PR-594 sensor drift | تجربة ميدانية | نعم | معتمد | قيد التشغيل |
| PR-714 AI triage | عشوائي | نعم | الشروط | الإعداد |
| PR-551 message recall | تجربة مسحية | نعم | معتمد | مكتمل |
| PR-896 heat exposure | الفوج | لا | قيد الانتظار | مسودة |
Replication R-20
- الأثر الأصلي
- 0.3 SD
- أثر التكرار
- 0.3 SD
- الحكم
- أصغر، بالإشارة نفسها
- منشور
- مع البيانات والشيفرة
توافر منصات الاختبار
Negative results matter in every domain.
Negative results are published in the سلسلة أدلة Labs. The National Academies’ report (2019) distinguishes reproducibility from replicability; DORA (2012) supports assessing research on its merits.
- Negative results.
- Replication attempts.
How reproducibility and negative results is modelled, measured and tested.
النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.
النموذج والمعادلات والافتراضات
The model structure used for reproducibility and negative results, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)الخطر والتعرّض وقابلية التأثر والقدرة على المواجهةEAL = ∑k pk · Lkعلى الأحداث k ذات الاحتمال السنوي pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| افتراض | لماذا أُعدّ | كيف يُختبر |
|---|---|---|
| الخطر والتعرّض مستقلان داخل الحدث الواحد | يُبقي تكامل الخسارة قابلًا للحساب | قارن بمطابقة دالة ربط (copula) على السجلات المشتركة |
| تكون الروابط خطية قرب نقطة التشغيل | يسمح بانتشار الصدمات عبر A | ادفع خارج النطاق الخطي وقارن |
| منحنيات الهشاشة قابلة للنقل بين الأماكن | نادرًا ما تتوافر المنحنيات المحلية | التحقق مقابل الخسائر المرصودة حيثما وُجدت |
- المدخلات
- مجموعات بيانات ذات إصدارات ومزودة ببيان المصدر
- المخرجات
- توزيعات، لا أرقام منفردة أبدا
- الرمز
- يُصدر مع بطاقة النموذج والاختبارات
- إعادة الإنتاج
- البيانات نفسها والشيفرة نفسها والبيئة نفسها والبذرة نفسها
ما الذي يُقاس، ومدى جودة قياسه.
يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.
| المؤشر | الوحدة | وتيرة الإصدار | نوع المصدر | الوسم |
|---|---|---|---|---|
| Computational reproducibility | percent of sampled studies regenerated from shared code and data | per audit | Reproducibility audits | مرصود |
| Replication outcome | proportion of replications meeting the prespecified criterion | per programme | Coordinated replication projects | مرصود |
| Retraction notices | count by field and reason | سنوي | Retraction Watch database via Crossref | الإحصاءات المنشورة |
| Time from concern to correction | أشهر | per case | Journal and integrity office records | مُبلَّغ عنه |
| Post-retraction citations | citations per retracted article | سنوي | Citation data linked to retraction records | مرصود |
| Null and negative results deposited | count of records | سنوي | Repositories and registries | مُبلَّغ عنه |
| Data available on request | percent of articles whose data could be obtained | per audit | Data request audits | مرصود |
من أين تأتي الأدلة.
مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.
| المصدر | ما يقدّمه | فئة الترخيص |
|---|---|---|
| Retraction Watch database (Crossref) | Retractions, corrections and expressions of concern with reasons | مفتوح، مع الإسناد |
| Crossref metadata and Crossmark updates | Links from articles to their corrections and retractions | Open metadata, no restrictions |
| OpenAlex | Works, citations, authors and institutions across disciplines | مفتوح، CC0 |
| FORRT Replication Database | Replication attempts and outcomes, mostly in the social and behavioural sciences | مفتوح، مع الإسناد |
| OSF projects of coordinated replication programmes | Protocols, data and code of large-scale replications | Open, licence per project |
| PubPeer | Post-publication comments identifying possible problems in papers | Free access, terms of use |
| Zenodo (CERN) | Citable deposits for null results, data and code | Open, licence per record |
من يقرر، وما الذي تخدمه الأدلة.
Labs prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| من يقرر | السؤال | الأدلة التي تخدمها هذه الصفحة |
|---|---|---|
| Journal editors and publishers | Whether to correct, retract or issue an expression of concern | Evidence of error or misconduct, author response, COPE guidance, reproduction attempts |
| Research integrity offices | Whether an allegation is substantiated and what follows | Raw data, records, code, interviews and an independent analysis |
| ممولو البحوث | Whether to fund replications and require data and code sharing | Reproducibility audit results, replication evidence by field, cost of sharing |
| Guideline developers and systematic reviewers | Whether to rely on a study that has been questioned or corrected | Retraction and correction status, replication evidence, risk-of-bias assessment |
المخرجات التي يُنتجها هذا الموضوع
- Replication protocols registered before data collection, with success criteria fixed
- Reproducibility records listing code, data, environment and the outcome of each rerun
- Deposits of null and negative results with full methods
- Correction logs that link each notice to the works affected
What experts ask about reproducibility.
- Can an independent team re-run the analysis from the published data and code?
- Has the finding been replicated with new data, in a new setting or by a different team?
- Which null or negative results exist, and where are they recorded?
- When an error is found, how is it corrected and how are users of the result told?
- Which parts of a workflow, such as software versions or random seeds, could change the answer?
Why results fail to reproduce.
Many published findings in several disciplines have proved difficult to replicate. The causes are well understood: small samples, flexible analysis, selective reporting, undocumented data processing and incentives that favour novel positive findings. In computational work, results can also depend on software versions, hardware, random seeds and data that change after publication.
Negative results are under-reported because they are harder to publish and seem less interesting. This distorts the evidence base: if only successful trials of an intervention are visible, the intervention looks more effective than it is. Systematic reviews and models built on that evidence inherit the bias.
Corrections matter for the same reason. An error in a widely used dataset or model can propagate into many downstream analyses before it is found.
Practices that support reproducibility.
- 01
Open data and code
Sharing the materials needed to re-run an analysis, within privacy and licensing limits. Some data cannot be shared and must be described instead.
- 02
Computational environments
Recording software versions and environments, a practice developed with النمذجة القابلة لإعادة الإنتاج. Long-term preservation remains hard.
- 03
Registered reports
Peer review of the protocol before results exist, so publication does not depend on the outcome.
- 04
Correction records
Dated, visible corrections linked to the original result, rather than silent replacement.
A failed replication does not by itself show the original was wrong; differences in setting, sample or method must be examined before conclusions are drawn.
كيف يُدرس، وما لا تستطيع المناهج قوله.
- 01الاحتمالات والإحصاءتخطيط حجم العينة والقوة الإحصائية · التحليل التلوي مع تقييم الانحيازمُطبَّق هنا
- 02تقدير عدم اليقين والتحقق من صحة النماذجموازنات عدم اليقين في القياس · تحليل الحساسية لنماذج المحاكاةمُطبَّق هنا
- 03الاستدلال السببي وتقييم الأثرالتجارب الرائدة العشوائية والطرح المتدرج · التقييم شبه التجريبي للبرامجمُطبَّق هنا
- 04الذكاء الاصطناعي وتعلم الآلةالفرز بمساعدة الآلة للمراجعات المنهجية · النماذج البديلة لتوجيه التجاربمُطبَّق هنا
Where this page’s references lead.
الهيئات والوثائق التي تُقرأ هذه الصفحة في ضوئها. وتتغير الحالات والإصدارات؛ ويقود كل رابط إلى الهيئة المُصدِرة.
أسئلة وأجوبة.
What is the difference between reproducibility and replicability?
Why publish negative results?
Does retraction always mean misconduct?
Can a retracted paper still be cited?
Will Labs publish a study that found nothing?
How do I report an error in a Labs result?
Are corrected results removed?
ساهم بأدلة من هذه الصفحة.
التقارير is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- البريد الإلكترونيالبوابة GW-GCRIأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- التقاريرGCRIاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
قدّم منهجية أو مجموعة بيانات أو سؤالا.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الوثائق القانونية.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.