GCRI · Labs
Reproduzierbarkeit und negative Ergebnisse
Science corrects itself only when failures are recorded: replications that did not reproduce, experiments that found nothing, errors found after publication. Many of these records never appear, so the published literature overstates effects and certainty. This page sets out how irreproducibility arises, how replication and correction work, which records exist, and what editors, integrity offices and funders rely on when they correct or retract.
Reproducibility and negative results on the record.
Reproducibility and negative results: how the risk develops.
Failure records and corrections. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Publication bias filters the record
Significant, novel results are more likely to be written up, accepted and cited than null ones. The literature then shows a biased sample of what was studied, and meta-analyses inherit the bias.
Errors propagate through citation
A flawed or retracted paper keeps being cited, often without mention of its status. Reviews, guidelines and later studies that build on it carry the error forward, sometimes long after the notice.
Reproduction fails for ordinary reasons
Missing code, undocumented software versions, unshared reagents, unclear methods and lost raw data stop others from repeating an analysis or experiment, even when the original work was honest.
Correction is slow and uneven
Investigations take time, journals differ in how they flag problems, and retraction notices can be vague. Readers may not learn that a paper was corrected, and databases may not carry the notice forward.
Übersicht über Protokolle und Replikationen.
Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Tafel für Protokolle und Replikation
Reproducibility and negative results · Labs · Quarter 1
Protokolle
| PR-594 sensor drift | Feldexperiment | Ja | Genehmigt | Läuft |
| PR-714 AI triage | Randomisiert | Ja | Bedingungen | Einrichtung |
| PR-551 message recall | Umfrageexperiment | Ja | Genehmigt | Abgeschlossen |
| PR-896 heat exposure | Kohorte | Nein | Ausstehend | Entwurf |
Replication R-20
- Ursprünglicher Effekt
- 0.3 SD
- Replikationseffekt
- 0.3 SD
- Urteil
- Kleiner, gleiches Vorzeichen
- Veröffentlicht
- mit Daten und Code
Verfügbarkeit von Testumgebungen
Negative results matter in every domain.
- GesundheitIn der PraxisNull trial results prevent wasted effort.What a reader can checkPublication of null results
- WasserIn der PraxisFailed interventions inform utilities.What a reader can checkFailure records
- ErnährungIn der PraxisVarieties that did not perform are recorded.What a reader can checkTrial outcomes
Negative results are published in the Reihe Labs Evidence. The National Academies’ report (2019) distinguishes reproducibility from replicability; DORA (2012) supports assessing research on its merits.
- Negative results.
- Replication attempts.
How reproducibility and negative results is modelled, measured and tested.
Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.
Modell, Gleichungen und Annahmen
The model structure used for reproducibility and negative results, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und BewältigungskapazitätEAL = ∑k pk · Lküber Ereignisse k mit jährlicher Wahrscheinlichkeit pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Annahme | Warum es entsteht | Wie es geprüft wird |
|---|---|---|
| Gefahr und Exposition sind innerhalb eines Ereignisses unabhängig | Hält das Schadensintegral berechenbar | Mit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen |
| Kopplungen sind nahe dem Arbeitspunkt linear | Lässt Schocks sich über A ausbreiten | Über den linearen Bereich hinaus stören und vergleichen |
| Vulnerabilitätskurven lassen sich zwischen Orten übertragen | Lokale Kurven sind selten verfügbar | Anhand beobachteter Schäden validieren, wo es sie gibt |
- Eingaben
- versionierte Datensätze mit Herkunftsnachweis
- Ergebnisse
- Verteilungen, nie einzelne Zahlen
- Code
- mit Modellkarte und Tests veröffentlicht
- Reproduktion
- gleiche Daten, Code, Umgebung und Seed
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Computational reproducibility | percent of sampled studies regenerated from shared code and data | per audit | Reproducibility audits | BEOBACHTET |
| Replication outcome | proportion of replications meeting the prespecified criterion | per programme | Coordinated replication projects | BEOBACHTET |
| Retraction notices | count by field and reason | jährlich | Retraction Watch database via Crossref | Veröffentlichte Statistiken |
| Time from concern to correction | Monate | per case | Journal and integrity office records | BERICHTET |
| Post-retraction citations | citations per retracted article | jährlich | Citation data linked to retraction records | BEOBACHTET |
| Null and negative results deposited | count of records | jährlich | Repositories and registries | BERICHTET |
| Data available on request | percent of articles whose data could be obtained | per audit | Data request audits | BEOBACHTET |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| Retraction Watch database (Crossref) | Retractions, corrections and expressions of concern with reasons | Offen, Namensnennung |
| Crossref metadata and Crossmark updates | Links from articles to their corrections and retractions | Open metadata, no restrictions |
| OpenAlex | Works, citations, authors and institutions across disciplines | Offen, CC0 |
| FORRT Replication Database | Replication attempts and outcomes, mostly in the social and behavioural sciences | Offen, Namensnennung |
| OSF projects of coordinated replication programmes | Protocols, data and code of large-scale replications | Open, licence per project |
| PubPeer | Post-publication comments identifying possible problems in papers | Free access, terms of use |
| Zenodo (CERN) | Citable deposits for null results, data and code | Open, licence per record |
Wer entscheidet und wozu die Evidenz dient.
Labore prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Journal editors and publishers | Whether to correct, retract or issue an expression of concern | Evidence of error or misconduct, author response, COPE guidance, reproduction attempts |
| Research integrity offices | Whether an allegation is substantiated and what follows | Raw data, records, code, interviews and an independent analysis |
| Forschungsförderer | Whether to fund replications and require data and code sharing | Reproducibility audit results, replication evidence by field, cost of sharing |
| Guideline developers and systematic reviewers | Whether to rely on a study that has been questioned or corrected | Retraction and correction status, replication evidence, risk-of-bias assessment |
Ergebnisse, die dieses Thema hervorbringt
- Replication protocols registered before data collection, with success criteria fixed
- Reproducibility records listing code, data, environment and the outcome of each rerun
- Deposits of null and negative results with full methods
- Correction logs that link each notice to the works affected
What experts ask about reproducibility.
- Can an independent team re-run the analysis from the published data and code?
- Has the finding been replicated with new data, in a new setting or by a different team?
- Which null or negative results exist, and where are they recorded?
- When an error is found, how is it corrected and how are users of the result told?
- Which parts of a workflow, such as software versions or random seeds, could change the answer?
Why results fail to reproduce.
Many published findings in several disciplines have proved difficult to replicate. The causes are well understood: small samples, flexible analysis, selective reporting, undocumented data processing and incentives that favour novel positive findings. In computational work, results can also depend on software versions, hardware, random seeds and data that change after publication.
Negative results are under-reported because they are harder to publish and seem less interesting. This distorts the evidence base: if only successful trials of an intervention are visible, the intervention looks more effective than it is. Systematic reviews and models built on that evidence inherit the bias.
Corrections matter for the same reason. An error in a widely used dataset or model can propagate into many downstream analyses before it is found.
Practices that support reproducibility.
- 01
Open data and code
Sharing the materials needed to re-run an analysis, within privacy and licensing limits. Some data cannot be shared and must be described instead.
- 02
Computational environments
Recording software versions and environments, a practice developed with reproduzierbare Modellierung. Long-term preservation remains hard.
- 03
Registered reports
Peer review of the protocol before results exist, so publication does not depend on the outcome.
- 04
Correction records
Dated, visible corrections linked to the original result, rather than silent replacement.
A failed replication does not by itself show the original was wrong; differences in setting, sample or method must be examined before conclusions are drawn.
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Wahrscheinlichkeit und StatistikPlanung von Stichprobengröße und Teststärke · Metaanalyse mit Bewertung von VerzerrungenHier angewandt
- 02Unsicherheitsquantifizierung und ModellvalidierungBudgets der Messunsicherheit · Sensitivitätsanalyse von SimulationsmodellenHier angewandt
- 03Kausale Inferenz und WirkungsevaluationRandomisierte Pilotprojekte und gestufte Einführungen · Quasi-experimentelle ProgrammevaluierungHier angewandt
- 04Künstliche Intelligenz und maschinelles LernenUnterstütztes Screening für systematische Reviews · Surrogatmodelle zur Steuerung von ExperimentenHier angewandt
Where this page’s references lead.
Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.
Fragen und Antworten.
What is the difference between reproducibility and replicability?
Why publish negative results?
Does retraction always mean misconduct?
Can a retracted paper still be cited?
Will Labs publish a study that found nothing?
How do I report an error in a Labs result?
Are corrected results removed?
Evidenz von dieser Seite aus beitragen.
Berichte is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOffene HinterlegungHinterlegen und bei der Community einreichenVeröffentlichen Sie Ihren eigenen Eintrag auf Zenodo mit Ihrer ORCID iD und reichen Sie ihn dort bei der Reports-Community ein. Kuratorinnen und Kuratoren prüfen ihn; der DOI bleibt bei Ihnen.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.