GCRI · Intelligenza artificiale e sistemi autonomi
L'IA nella scienza
Machine learning now predicts protein structures, emulates weather and climate models, screens materials and helps analyse vast datasets. It can speed discovery, and it can also produce results that are hard to reproduce, overfit or rest on data leakage. This page sets out how AI is used in science, where it fails, how its results are checked, and what evidence serves the researchers, funders and journals involved.
AI in science in seven parts.
- 01La domandaAI in science: how the risk develops
- 02Tra i dominiAI changes how each domain’s science is done
- 03IndicatoriCosa viene misurato e con quale accuratezza
- 04FontiDa dove provengono le evidenze
- 05DecisioniChi decide, e a cosa servono le evidenze
- 06Questioni centraliWhat scientists ask about AI in research
- 07MeccanismiHow discovery and error both scale
AI in science: how the risk develops.
Discovery and reproducibility. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Learning from data replaces some simulation
Models trained on simulations or observations can emulate expensive calculations quickly. They are reliable within the range of their training data and uncertain outside it.
Leakage inflates results
When information from the test set reaches training, through duplicates, time overlap or preprocessing, reported accuracy overstates real performance. Leakage is a known cause of irreproducible ML science.
Openness enables checking
Results can be verified only when code, data, models and settings are shared. Proprietary models and data limit independent checks.
Scientists stay accountable
AI can suggest hypotheses and draft text, but researchers remain responsible for methods, interpretation and integrity. Journals and funders are setting rules for AI use.
Registro dei modelli.
La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.
Registro dei modelli
AI in science · Model registry · Release gate
Modelli
| M-489 triage assistant | Servizio pubblico | Alto | 20 of 24 suites | Bloccato |
| M-530 flood nowcast | Scienza | Medio | 12 su 12 | Rilasciato |
| M-079 document search | Interno | Basso | 8 of 8 | Rilasciato |
| M-881 agent planner | Agentico | Alto | 11 of 16 | In valutazione |
Scheda del modello
- Uso previsto
- supporto al triage, decide una persona
- Fuori ambito
- decisioni di ammissibilità
- Limiti noti
- minore accuratezza sui casi rari
- Titolare
- Responsabile del modello
Registro degli incidenti
- D-19INCCitazione allucinata nel riepilogo
- D-8MITRetrieval grounding aggiunto
- D-3INCPrompt injection tramite file caricato
- D-1MITAutorizzazione dello strumento ristretta
Evaluation scores
vs release threshold
AI changes how each domain’s science is done.
- AcquaAccoppiamentoML models now rival process models in some prediction tasks.What to watchBenchmarks against process models
- SaluteAccoppiamentoAI supports protein and pathogen research, raising dual-use questions.What to watchBiosecurity review of tools
- BiodiversitàAccoppiamentoAutomated species identification scales monitoring.What to watchIdentification accuracy by region
Studies of AI in science are designed for the serie Methods and Technical. Reproducibility requires code, data and model versions, recorded under NS-12 of the proposed Nexus Standards.
- Replications of AI-based results.
- Benchmarks with documented data.
How AI in science is modelled, measured and tested.
Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.
Modello, equazioni e ipotesi
The model structure used for AI in science, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di rispostaEAL = ∑k pk · Lksu eventi k con probabilità annua pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Ipotesi | Perché è realizzato | Come viene testato |
|---|---|---|
| Pericolo ed esposizione sono indipendenti all'interno di un evento | Mantiene trattabile l'integrale delle perdite | Confrontare con un adattamento di copula su registrazioni congiunte |
| Gli accoppiamenti sono lineari vicino al punto di funzionamento | Consente agli shock di propagarsi attraverso A | Perturbare oltre l'intervallo lineare e confrontare |
| Le curve di vulnerabilità si trasferiscono da un luogo all'altro | Le curve locali sono raramente disponibili | Validare rispetto alle perdite osservate, dove esistono |
- Input
- set di dati versionati con provenienza
- Risultati
- distribuzioni, mai valori singoli
- Codice
- pubblicato con la scheda del modello e i test
- Riproduzione
- stessi dati, codice, ambiente e seed
Cosa viene misurato e con quale accuratezza.
Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.
| Indicatore | Unità | Cadenza | Tipo di fonte | Etichetta |
|---|---|---|---|---|
| Studies sharing code and data | percent of published ML studies | per revisione | Publication audits | OSSERVATO |
| Leakage issues identified in reviews | count by type | per revisione | Reproducibility studies | RIPORTATO |
| Out-of-distribution performance | error on held-out regimes | per evaluation | Valutazione dei modelli | OSSERVATO |
| Emulator error against reference simulation | error metric | per evaluation | Validation runs | OSSERVATO |
| Journals with AI use policies | conteggio | annuale | Publisher policies | DICHIARATO |
| Compute used for scientific model training | floating point operations | per model | Model documentation | STIMATO |
Da dove provengono le evidenze.
Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.
| Fonte | Cosa fornisce | Classe di licenza |
|---|---|---|
| Protein Data Bank and AlphaFold Protein Structure Database | Experimental and predicted protein structures | Open, CC0 and CC BY 4.0 respectively |
| WeatherBench and related benchmarks | Standard evaluation of data-driven weather models | Open, licence per benchmark (to check) |
| Princeton reproducibility studies on ML-based science | Survey of leakage and reproducibility failures | Licence per publication |
| Materials Project | Computed materials properties for screening | Aperto, CC BY 4.0 |
| Publisher and funder policies on AI use | Rules on authorship, disclosure and review | Public, terms per publisher |
Chi decide, e a cosa servono le evidenze.
Studio Intelligenza artificiale e sistemi prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Chi decide | La domanda | Evidenze fornite da questa pagina |
|---|---|---|
| Research teams | Whether an ML result is robust enough to publish | Leakage checklists; validation protocols |
| Journals and reviewers | What evidence to require for ML-based claims | Reporting guidance; reproducibility evidence |
| Finanziatori della ricerca | How to fund open models, data and compute for science | Openness and compute evidence |
Output prodotti da questo argomento
- Leakage and reproducibility checklists for ML studies
- Validation protocols for scientific emulators
- Guidance on reporting AI use in research
- Case studies of AI in specific sciences
What scientists ask about AI in research.
- Does the AI-assisted result hold when tested independently, by experiment or observation?
- Is the model, data and code available so others can reproduce it?
- Has data leakage between training and evaluation inflated reported performance?
- Does the model extrapolate beyond the conditions its training data covered?
How discovery and error both scale.
Machine learning finds patterns in large datasets faster than people can, and surrogate models can emulate expensive simulations, allowing many more scenarios to be explored. In fields with good data and clear validation, such as structural biology, the gains have been substantial.
The risks are equally systematic. Leakage between training and test data has produced inflated results across many disciplines. Models trained on past data may not respect physical laws when extrapolating. Generative sistemi can fabricate plausible references or data. And when models and data are proprietary, results cannot be checked.
Keeping AI-assisted science reproducible.
- 01
Reporting standards
Checklists covering data splits, leakage checks, baselines and uncertainty. Standards help only if journals and reviewers enforce them.
- 02
Physics-informed and hybrid models
Combining learned components with known physical constraints, using intelligenza artificiale e apprendimento automatico and high-performance, cloud and edge computing. Constraints reduce but do not remove extrapolation risk.
- 03
Uncertainty estimation
Ensembles and Bayesian methods from probabilità e statistica to flag predictions the model is unsure of. Uncertainty estimates can themselves be miscalibrated.
- 04
Open artefacts
Publishing code, data and model weights where rights allow, so others can reproduce and challenge results.
Come viene studiato, e cosa i metodi non possono dire.
- 01Intelligenza artificiale e apprendimento automaticoAnalisi degli spostamenti di distribuzione · Messa a punto per un uso specifico · Metodi di interpretabilitàApplicato qui
- 02Probabilità e statisticaIncertezza sui punteggi di riferimento · Valutazione della calibrazione · Campionamento per auditApplicato qui
- 03Calcolo ad alte prestazioni, cloud ed edgeAccesso al calcolo per la ricerca pubblica · Misurazione energetica dei carichi di lavoroApplicato qui
- 04Ingegneria della valutazione e dell'assicurazione dell'IACasi di garanzia per i sistemi di IA · Red teaming strutturato · Monitoraggio successivo all'impiegoApplicato qui
Where this page’s references lead.
Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.
Domande e risposte.
What is data leakage in machine learning?
Can AI replace scientific simulation?
How should AI use in research be reported?
Can AI replace experiments?
What is data leakage?
Does the platform review scientific papers?
Are AI-generated hypotheses credited?
Contribuisci con evidenze da questa pagina.
Rapporti is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoDeposito apertoDepositalo e invialo alla comunitàPubblica il tuo registro su Zenodo con il tuo ORCID iD, poi invialo alla comunità Reports. I curatori lo esaminano; il DOI resta tuo.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.