GCRI · Labs
पुनरुत्पादनीयता और नकारात्मक परिणाम
Science corrects itself only when failures are recorded: replications that did not reproduce, experiments that found nothing, errors found after publication. Many of these records never appear, so the published literature overstates effects and certainty. This page sets out how irreproducibility arises, how replication and correction work, which records exist, and what editors, integrity offices and funders rely on when they correct or retract.
Reproducibility and negative results on the record.
Reproducibility and negative results: how the risk develops.
Failure records and corrections. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Publication bias filters the record
Significant, novel results are more likely to be written up, accepted and cited than null ones. The literature then shows a biased sample of what was studied, and meta-analyses inherit the bias.
Errors propagate through citation
A flawed or retracted paper keeps being cited, often without mention of its status. Reviews, guidelines and later studies that build on it carry the error forward, sometimes long after the notice.
Reproduction fails for ordinary reasons
Missing code, undocumented software versions, unshared reagents, unclear methods and lost raw data stop others from repeating an analysis or experiment, even when the original work was honest.
Correction is slow and uneven
Investigations take time, journals differ in how they flag problems, and retraction notices can be vague. Readers may not learn that a paper was corrected, and databases may not carry the notice forward.
प्रोटोकॉल और प्रतिकृति बोर्ड।
वह स्क्रीन जिसका उपयोग कोई टीम इस विषय का अनुसरण करने के लिए करेगी: इसके माप, अवस्थाएँ और निर्णय। नाम उदाहरण हैं और मान उदाहरणात्मक हैं।
प्रोटोकॉल और प्रतिकृति बोर्ड
Reproducibility and negative results · Labs · Quarter 1
प्रोटोकॉल
| PR-594 sensor drift | क्षेत्र प्रयोग | हाँ | अनुमोदित | चल रहा है |
| PR-714 AI triage | यादृच्छिक | हाँ | स्थितियाँ | सेटअप |
| PR-551 message recall | सर्वेक्षण प्रयोग | हाँ | अनुमोदित | पूर्ण |
| PR-896 heat exposure | समूह | नहीं | लंबित | मसौदा |
Replication R-20
- मूल प्रभाव
- 0.3 SD
- पुनरावृत्ति प्रभाव
- 0.3 SD
- निर्णय
- छोटा, वही चिह्न
- प्रकाशित
- डेटा और कोड के साथ
परीक्षण-स्थल उपलब्धता
Negative results matter in every domain.
Negative results are published in the Labs साक्ष्य शृंखला. The National Academies’ report (2019) distinguishes reproducibility from replicability; DORA (2012) supports assessing research on its merits.
- Negative results.
- Replication attempts.
How reproducibility and negative results is modelled, measured and tested.
मॉडल, उसकी मान्यताएँ, उसका डेटा और उसकी अनिश्चितता, उस रूप में जिसे कोई वैज्ञानिक या अभियंता जाँचेगा। संरचनाएँ प्रकाशित पद्धतियों का अनुसरण करती हैं। लिए गए मान उदाहरणात्मक हैं, निष्कर्ष नहीं।
मॉडल, समीकरण और मान्यताएँ
The model structure used for reproducibility and negative results, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)संकट, जोखिम-संपर्क, भेद्यता और सामना करने की क्षमताEAL = ∑k pk · Lkवार्षिक प्रायिकता pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| धारणा | यह क्यों बनाया जाता है | इसका परीक्षण कैसे होता है |
|---|---|---|
| एक घटना के भीतर संकट और जोखिम-संपर्क स्वतंत्र हैं | नुकसान समाकलन को हल करने योग्य रखता है | संयुक्त अभिलेखों पर कोपुला फ़िट से तुलना करें |
| संचालन बिंदु के पास युग्मन रैखिक हैं | झटकों को A के माध्यम से फैलने देता है | रैखिक सीमा से आगे विक्षोभ दें और तुलना करें |
| भेद्यता वक्र स्थानों के बीच स्थानांतरित होते हैं | स्थानीय वक्र शायद ही कभी उपलब्ध होते हैं | जहाँ प्रेक्षित हानियाँ मौजूद हों, उनके विरुद्ध सत्यापन करें |
- इनपुट
- उद्गम के साथ संस्करणबद्ध डेटासेट
- परिणाम
- वितरण, कभी एकल संख्याएँ नहीं
- Code
- मॉडल कार्ड और परीक्षणों के साथ जारी
- पुनरुत्पादन
- वही डेटा, कोड, परिवेश और सीड
क्या मापा जाता है, और कितनी अच्छी तरह।
प्रत्येक संकेतक अपनी इकाई, आवृत्ति, उसके पीछे के स्रोत का प्रकार और वह साक्ष्य लेबल वहन करता है जो किसी मान पर होगा। कोई मान नहीं दिखाए जाते: कोई कार्यक्रम उन्हें अपने अधिकार के तहत प्रदान करता है।
| संकेतक | इकाई | लय | स्रोत प्रकार | लेबल |
|---|---|---|---|---|
| Computational reproducibility | percent of sampled studies regenerated from shared code and data | per audit | Reproducibility audits | प्रेक्षित |
| Replication outcome | proportion of replications meeting the prespecified criterion | per programme | Coordinated replication projects | प्रेक्षित |
| Retraction notices | count by field and reason | वार्षिक | Retraction Watch database via Crossref | प्रकाशित सांख्यिकी |
| Time from concern to correction | महीने | per case | Journal and integrity office records | रिपोर्ट किया गया |
| Post-retraction citations | citations per retracted article | वार्षिक | Citation data linked to retraction records | प्रेक्षित |
| Null and negative results deposited | count of records | वार्षिक | Repositories and registries | रिपोर्ट किया गया |
| Data available on request | percent of articles whose data could be obtained | per audit | Data request audits | प्रेक्षित |
साक्ष्य कहाँ से आता है।
नामित सार्वजनिक डेटासेट और संस्थागत अभिलेख, प्रत्येक अपने लाइसेंस वर्ग के साथ। समझौते द्वारा प्राप्त स्रोतों का उपयोग केवल उनकी शर्तों के तहत होता है और कभी पुनः प्रकाशित नहीं किया जाता।
| स्रोत | यह क्या देता है | लाइसेंस वर्ग |
|---|---|---|
| Retraction Watch database (Crossref) | Retractions, corrections and expressions of concern with reasons | खुला, श्रेय सहित |
| Crossref metadata and Crossmark updates | Links from articles to their corrections and retractions | Open metadata, no restrictions |
| OpenAlex | Works, citations, authors and institutions across disciplines | खुला, CC0 |
| FORRT Replication Database | Replication attempts and outcomes, mostly in the social and behavioural sciences | खुला, श्रेय सहित |
| OSF projects of coordinated replication programmes | Protocols, data and code of large-scale replications | Open, licence per project |
| PubPeer | Post-publication comments identifying possible problems in papers | Free access, terms of use |
| Zenodo (CERN) | Citable deposits for null results, data and code | Open, licence per record |
कौन निर्णय लेता है, और साक्ष्य किसकी सेवा करता है।
लैब prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| निर्णय कौन लेता है | प्रश्न | यह पृष्ठ जिस साक्ष्य की सेवा करता है |
|---|---|---|
| Journal editors and publishers | Whether to correct, retract or issue an expression of concern | Evidence of error or misconduct, author response, COPE guidance, reproduction attempts |
| Research integrity offices | Whether an allegation is substantiated and what follows | Raw data, records, code, interviews and an independent analysis |
| अनुसंधान वित्तपोषक | Whether to fund replications and require data and code sharing | Reproducibility audit results, replication evidence by field, cost of sharing |
| Guideline developers and systematic reviewers | Whether to rely on a study that has been questioned or corrected | Retraction and correction status, replication evidence, risk-of-bias assessment |
इस विषय से उत्पन्न आउटपुट
- Replication protocols registered before data collection, with success criteria fixed
- Reproducibility records listing code, data, environment and the outcome of each rerun
- Deposits of null and negative results with full methods
- Correction logs that link each notice to the works affected
What experts ask about reproducibility.
- Can an independent team re-run the analysis from the published data and code?
- Has the finding been replicated with new data, in a new setting or by a different team?
- Which null or negative results exist, and where are they recorded?
- When an error is found, how is it corrected and how are users of the result told?
- Which parts of a workflow, such as software versions or random seeds, could change the answer?
Why results fail to reproduce.
Many published findings in several disciplines have proved difficult to replicate. The causes are well understood: small samples, flexible analysis, selective reporting, undocumented data processing and incentives that favour novel positive findings. In computational work, results can also depend on software versions, hardware, random seeds and data that change after publication.
Negative results are under-reported because they are harder to publish and seem less interesting. This distorts the evidence base: if only successful trials of an intervention are visible, the intervention looks more effective than it is. Systematic reviews and models built on that evidence inherit the bias.
Corrections matter for the same reason. An error in a widely used dataset or model can propagate into many downstream analyses before it is found.
Practices that support reproducibility.
- 01
Open data and code
Sharing the materials needed to re-run an analysis, within privacy and licensing limits. Some data cannot be shared and must be described instead.
- 02
Computational environments
Recording software versions and environments, a practice developed with पुनरुत्पादनीय मॉडलिंग. Long-term preservation remains hard.
- 03
Registered reports
Peer review of the protocol before results exist, so publication does not depend on the outcome.
- 04
Correction records
Dated, visible corrections linked to the original result, rather than silent replacement.
A failed replication does not by itself show the original was wrong; differences in setting, sample or method must be examined before conclusions are drawn.
इसका अध्ययन कैसे होता है, और पद्धतियाँ क्या नहीं बता सकतीं।
- 01प्रायिकता और सांख्यिकीनमूना आकार और सांख्यिकीय शक्ति योजना · पूर्वाग्रह आकलन के साथ मेटा-विश्लेषणयहाँ लागू
- 02अनिश्चितता परिमाणन और मॉडल सत्यापनमापन अनिश्चितता बजट · सिमुलेशन मॉडलों का संवेदनशीलता विश्लेषणयहाँ लागू
- 03कारणात्मक अनुमान और प्रभाव मूल्यांकनयादृच्छिक प्रायोगिक परीक्षण और चरणबद्ध क्रियान्वयन · अर्ध-प्रायोगिक कार्यक्रम मूल्यांकनयहाँ लागू
- 04कृत्रिम बुद्धिमत्ता और मशीन लर्निंगव्यवस्थित समीक्षाओं के लिए सहायता-प्राप्त स्क्रीनिंग · प्रयोगों के मार्गदर्शन के लिए सरोगेट मॉडलयहाँ लागू
Where this page’s references lead.
वे निकाय और दस्तावेज़ जिनके विरुद्ध यह पृष्ठ पढ़ा जाता है। स्थिति और संस्करण बदलते हैं; हर लिंक जारी करने वाले निकाय तक जाता है।
प्रश्न और उत्तर।
What is the difference between reproducibility and replicability?
Why publish negative results?
Does retraction always mean misconduct?
Can a retracted paper still be cited?
Will Labs publish a study that found nothing?
How do I report an error in a Labs result?
Are corrected results removed?
इस पृष्ठ से साक्ष्य का योगदान करें।
रिपोर्ट is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- ईमेलगेटवे GW-GCRIइसे इसी पृष्ठ से भेजेंसाक्ष्य, सुधार, मामला, पद्धति, समीक्षा, अनुवाद या प्रोफ़ाइल इनपुट। यह इस पृष्ठ के टैग के साथ पहुँचता है, ताकि इसे सँभालने वाले संपादक को मिल जाए।
- Zenodoखुला जमाइसे जमा करें और समुदाय को प्रस्तुत करेंअपने ORCID iD के साथ Zenodo पर अपना अभिलेख प्रकाशित करें, फिर वहाँ Reports समुदाय को प्रस्तुत करें। संरक्षक उसकी समीक्षा करते हैं; DOI आपका ही रहता है।
- रिपोर्टGCRIयोगदान के सभी तरीके देखेंयोगदान के प्रकार, प्रत्येक की समीक्षा कैसे होती है, आपको क्या श्रेय मिलता है, लाइसेंस और क्या कभी स्वीकार नहीं किया जाता।
व्यक्तिगत डेटा, संवेदनशील अवसंरचना का विवरण या ऐसी कोई भी सामग्री कभी न भेजें जिसे साझा करने का आपको अधिकार नहीं है। उपयोग से पहले योगदान की समीक्षा होती है; इसे भेजने से लेखकत्व या संपादकीय अधिकार नहीं मिलते, और प्रायोजन कभी किसी निष्कर्ष को नहीं खरीदता।
कोई विधि, डेटासेट या प्रश्न लाएँ।
जानकारी और पूछताछ आज से खुली हैं। हर पूछताछ को एक संदर्भ मिलता है और अगला कदम बताया जाता है; आवेदन, भुगतान, कंप्यूट आवंटन और पंजीकरण तभी खुलते हैं जब उनकी टीम, शर्तें और समीक्षा क्षमता मौजूद हों।
कानूनी दस्तावेज़।
इस साइट पर मानचित्र, डेटा और आँकड़े संदर्भ और सामान्य जानकारी के लिए दिखाए जाते हैं। वे सलाह, पूर्वानुमान या चेतावनियाँ नहीं हैं; जानकारी की सीमाएँ अस्वीकरण और डेटा सूचनाओं में बताई गई हैं।