GCRI · Künstliche Intelligenz und autonome Systeme
KI in der Wissenschaft
Machine learning now predicts protein structures, emulates weather and climate models, screens materials and helps analyse vast datasets. It can speed discovery, and it can also produce results that are hard to reproduce, overfit or rest on data leakage. This page sets out how AI is used in science, where it fails, how its results are checked, and what evidence serves the researchers, funders and journals involved.
AI in science in seven parts.
- 01Die FrageAI in science: how the risk develops
- 02DomänenübergreifendAI changes how each domain’s science is done
- 03IndikatorenWas gemessen wird und wie gut
- 04QuellenWoher die Evidenz stammt
- 05EntscheidungenWer entscheidet und wozu die Evidenz dient
- 06KernfragenWhat scientists ask about AI in research
- 07MechanismenHow discovery and error both scale
AI in science: how the risk develops.
Discovery and reproducibility. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Learning from data replaces some simulation
Models trained on simulations or observations can emulate expensive calculations quickly. They are reliable within the range of their training data and uncertain outside it.
Leakage inflates results
When information from the test set reaches training, through duplicates, time overlap or preprocessing, reported accuracy overstates real performance. Leakage is a known cause of irreproducible ML science.
Openness enables checking
Results can be verified only when code, data, models and settings are shared. Proprietary models and data limit independent checks.
Scientists stay accountable
AI can suggest hypotheses and draft text, but researchers remain responsible for methods, interpretation and integrity. Journals and funders are setting rules for AI use.
Modellregister.
Die Ansicht, die ein Team nutzen würde, um dieses Thema zu verfolgen: seine Messgrößen, Zustände und Entscheidungen. Namen sind Beispiele, Werte sind illustrativ.
Modellregister
AI in science · Model registry · Release gate
Modelle
| M-489 triage assistant | Öffentlicher Dienst | Hoch | 20 of 24 suites | Blockiert |
| M-530 flood nowcast | Wissenschaft | Mittel | 12 von 12 | Freigegeben |
| M-079 document search | Intern | Niedrig | 8 of 8 | Freigegeben |
| M-881 agent planner | Agentisch | Hoch | 11 of 16 | Wird evaluiert |
Modellkarte
- Verwendungszweck
- Triage-Unterstützung, Mensch entscheidet
- Außerhalb des Umfangs
- Förderfähigkeitsentscheidungen
- Bekannte Grenzen
- geringere Genauigkeit bei seltenen Fällen
- Inhaber
- Modelleigner
Vorfallprotokoll
- D-19INCErfundenes Zitat in der Zusammenfassung
- D-8MITRetrieval-Verankerung ergänzt
- D-3INCPrompt-Injection über hochgeladene Datei
- D-1MITWerkzeugberechtigung eingeschränkt
Evaluation scores
vs release threshold
AI changes how each domain’s science is done.
- WasserKopplungML models now rival process models in some prediction tasks.What to watchBenchmarks against process models
- GesundheitKopplungAI supports protein and pathogen research, raising dual-use questions.What to watchBiosecurity review of tools
- BiodiversitätKopplungAutomated species identification scales monitoring.What to watchIdentification accuracy by region
Studies of AI in science are designed for the Reihe Methods and Technical. Reproducibility requires code, data and model versions, recorded under NS-12 of the proposed Nexus Standards.
- Replications of AI-based results.
- Benchmarks with documented data.
How AI in science is modelled, measured and tested.
Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.
Modell, Gleichungen und Annahmen
The model structure used for AI in science, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)Gefahr, Exposition, Verwundbarkeit und BewältigungskapazitätEAL = ∑k pk · Lküber Ereignisse k mit jährlicher Wahrscheinlichkeit pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Annahme | Warum es entsteht | Wie es geprüft wird |
|---|---|---|
| Gefahr und Exposition sind innerhalb eines Ereignisses unabhängig | Hält das Schadensintegral berechenbar | Mit einer Copula-Anpassung an gemeinsamen Aufzeichnungen vergleichen |
| Kopplungen sind nahe dem Arbeitspunkt linear | Lässt Schocks sich über A ausbreiten | Über den linearen Bereich hinaus stören und vergleichen |
| Vulnerabilitätskurven lassen sich zwischen Orten übertragen | Lokale Kurven sind selten verfügbar | Anhand beobachteter Schäden validieren, wo es sie gibt |
- Eingaben
- versionierte Datensätze mit Herkunftsnachweis
- Ergebnisse
- Verteilungen, nie einzelne Zahlen
- Code
- mit Modellkarte und Tests veröffentlicht
- Reproduktion
- gleiche Daten, Code, Umgebung und Seed
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Studies sharing code and data | percent of published ML studies | je Prüfung | Publication audits | BEOBACHTET |
| Leakage issues identified in reviews | count by type | je Prüfung | Reproducibility studies | BERICHTET |
| Out-of-distribution performance | error on held-out regimes | per evaluation | Modellevaluierung | BEOBACHTET |
| Emulator error against reference simulation | error metric | per evaluation | Validation runs | BEOBACHTET |
| Journals with AI use policies | Anzahl | jährlich | Publisher policies | DEKLARIERT |
| Compute used for scientific model training | floating point operations | per model | Model documentation | GESCHÄTZT |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| Protein Data Bank and AlphaFold Protein Structure Database | Experimental and predicted protein structures | Open, CC0 and CC BY 4.0 respectively |
| WeatherBench and related benchmarks | Standard evaluation of data-driven weather models | Open, licence per benchmark (to check) |
| Princeton reproducibility studies on ML-based science | Survey of leakage and reproducibility failures | Licence per publication |
| Materials Project | Computed materials properties for screening | Offen, CC BY 4.0 |
| Publisher and funder policies on AI use | Rules on authorship, disclosure and review | Public, terms per publisher |
Wer entscheidet und wozu die Evidenz dient.
Studio Künstliche Intelligenz und autonome System prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Research teams | Whether an ML result is robust enough to publish | Leakage checklists; validation protocols |
| Journals and reviewers | What evidence to require for ML-based claims | Reporting guidance; reproducibility evidence |
| Forschungsförderer | How to fund open models, data and compute for science | Openness and compute evidence |
Ergebnisse, die dieses Thema hervorbringt
- Leakage and reproducibility checklists for ML studies
- Validation protocols for scientific emulators
- Guidance on reporting AI use in research
- Case studies of AI in specific sciences
What scientists ask about AI in research.
- Does the AI-assisted result hold when tested independently, by experiment or observation?
- Is the model, data and code available so others can reproduce it?
- Has data leakage between training and evaluation inflated reported performance?
- Does the model extrapolate beyond the conditions its training data covered?
How discovery and error both scale.
Machine learning finds patterns in large datasets faster than people can, and surrogate models can emulate expensive simulations, allowing many more scenarios to be explored. In fields with good data and clear validation, such as structural biology, the gains have been substantial.
The risks are equally systematic. Leakage between training and test data has produced inflated results across many disciplines. Models trained on past data may not respect physical laws when extrapolating. Generative Systeme can fabricate plausible references or data. And when models and data are proprietary, results cannot be checked.
Keeping AI-assisted science reproducible.
- 01
Reporting standards
Checklists covering data splits, leakage checks, baselines and uncertainty. Standards help only if journals and reviewers enforce them.
- 02
Physics-informed and hybrid models
Combining learned components with known physical constraints, using künstliche Intelligenz und maschinelles Lernen and high-performance, cloud and edge computing. Constraints reduce but do not remove extrapolation risk.
- 03
Uncertainty estimation
Ensembles and Bayesian methods from Wahrscheinlichkeit und Statistik to flag predictions the model is unsure of. Uncertainty estimates can themselves be miscalibrated.
- 04
Open artefacts
Publishing code, data and model weights where rights allow, so others can reproduce and challenge results.
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Künstliche Intelligenz und maschinelles LernenAnalyse von Verteilungsverschiebungen · Feinabstimmung für einen bestimmten Einsatz · InterpretierbarkeitsmethodenHier angewandt
- 02Wahrscheinlichkeit und StatistikUnsicherheit von Benchmark-Werten · Bewertung der Kalibrierung · PrüfstichprobenHier angewandt
- 03Hochleistungs-, Cloud- und Edge-ComputingZugang zu Rechenleistung für öffentliche Forschung · Energiemessung von ArbeitslastenHier angewandt
- 04Engineering für KI-Evaluierung und -AssuranceAssurance Cases für KI-Systeme · Strukturiertes Red Teaming · Überwachung nach dem EinsatzHier angewandt
Where this page’s references lead.
Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.
Fragen und Antworten.
What is data leakage in machine learning?
Can AI replace scientific simulation?
How should AI use in research be reported?
Can AI replace experiments?
What is data leakage?
Does the platform review scientific papers?
Are AI-generated hypotheses credited?
Evidenz von dieser Seite aus beitragen.
Berichte is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOffene HinterlegungHinterlegen und bei der Community einreichenVeröffentlichen Sie Ihren eigenen Eintrag auf Zenodo mit Ihrer ORCID iD und reichen Sie ihn dort bei der Reports-Community ein. Kuratorinnen und Kuratoren prüfen ihn; der DOI bleibt bei Ihnen.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.