GCRI · Intelligenza artificiale e sistemi autonomi
Metodi e incertezza
The methods Artificial Intelligence and Autonomous sistemi relies on: their equations and assumptions, the data they need, how they are validated and the limits of what they can show.
L'ordine in cui accadono le cose.
- 01Bozzafonti citate, etichette apposte
- 02Verifica delle evidenzeogni valore tracciato
- 03Revisione indipendenteconflitti dichiarati
- 04Edizionepubblicato con i suoi limiti
- 05Correzioneuna nuova versione, mai una modifica silenziosa
I metodi in uso.
- 01Intelligenza artificiale e apprendimento automaticoAnalisi degli spostamenti di distribuzione · Messa a punto per un uso specifico · Metodi di interpretabilitàApplicato qui
- 02Ingegneria della valutazione e dell'assicurazione dell'IACasi di garanzia per i sistemi di IA · Red teaming strutturato · Monitoraggio successivo all'impiegoApplicato qui
- 03Calcolo ad alte prestazioni, cloud ed edgeAccesso al calcolo per la ricerca pubblica · Misurazione energetica dei carichi di lavoroApplicato qui
- 04Probabilità e statisticaIncertezza sui punteggi di riferimento · Valutazione della calibrazione · Campionamento per auditApplicato qui
- 05Cybersicurezza e crittografiaModellazione delle minacce per le applicazioni di IA · Integrità della catena di approvvigionamento dei modelli · Test di difesa dalle iniezioniApplicato qui
- 06Scienze sociali e comportamentaliStudi sulla supervisione umana · Ricerca sulle comunità interessate · Studi sull'adozione nei luoghi di lavoroApplicato qui
- 07Robotica e automazioneTest basati su scenari · Sicurezza dei robot collaborativi · Monitoraggio del dominio operativoApplicato qui
Each method, its role in this field and how it is checked.
- Ai MLRole hereArtificial intelligence and machine learning is the technology this platform stewards for the network.Checks appliedHeld-out evaluation; Dataset documentation; Drift monitoring
- Ai assuranceRole hereAI evaluation and assurance engineering is the second method this platform stewards.Checks appliedIndependent review; Evidence currency; Coverage reporting
- ComputingRole hereHigh-performance and cloud computing supply the capacity AI needs.Checks appliedMeasurement boundaries; Reproducible configuration; Provider data verification
- Probability statisticsRole hereProbability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits.Checks appliedInterval reporting; Multiple comparisons; Sample size planning
- CybersicurezzaRole hereCybersecurity and cryptography protect AI systems and the data they use.Checks appliedThreat model review; Provenance verification; Regression testing
- Scienze socialiRole hereSocial and behavioural science studies how people use, trust and are affected by AI.Checks appliedEthics review; Pre-registration; Representative sampling
- RoboticaRole hereRobotics and automation bring AI into physical systems.Checks appliedScenario coverage; Simulation validity; Standards conformity
Come si svolge il processo.
Process explorer · Process
Methods and uncertainty: PRISMA 2020 review reporting
10 steps·4 fasi
Processo
Methods and uncertainty: PRISMA 2020 review reporting
PRISMA 2020 è una linea guida di rendicontazione per le revisioni sistematiche; le fasi seguono la sua lista di controllo, non una sequenza obbligatoria, e nessun documento Nexus la adotta.
01 Plan
- 01Registrazione e protocolloRegistro · Il gruppo di revisioneLa linea guida chiede i dati di registrazione, l'accesso al protocollo ed eventuali modifiche.
- 02Criteri di ammissibilitàRegistro · Il gruppo di revisioneLa linea guida chiede i criteri di inclusione ed esclusione e come gli studi sono stati raggruppati.
02 Trovare e selezionare
- 03Ricerca: fonti e strategieFase · Il gruppo di revisioneLa linea guida chiede le fonti di informazione e le strategie di ricerca complete. Non stabilisce quali fonti utilizzare.
- 04Selezione degli studiFase · Il gruppo di revisioneLa linea guida chiede come gli studi sono stati giudicati ammissibili, compreso il numero di revisori che li hanno vagliati. Non stabilisce il numero di revisori.
- 05Diagramma di flussoRegistrazioneIl diagramma di flusso mostra il numero di record trovati, il numero di studi inclusi e i motivi di esclusione.
03 Analizzare
- 06Raccolta dei datiFase · Il gruppo di revisioneLa linea guida chiede come sono stati raccolti i dati dai rapporti e quali dati sono stati ricercati.
- 07Rischio di distorsioneFase · Il gruppo di revisioneLa linea guida chiede i metodi e gli strumenti utilizzati per valutare il rischio di distorsione.
- 08SintesiModello · Il gruppo di revisioneLa linea guida chiede le misure di effetto e i metodi di sintesi. Non prescrive la meta-analisi.
- 09Certezza delle evidenzeFase · Il gruppo di revisioneLa linea guida chiede i metodi utilizzati per valutare la certezza e riporta il risultato per ciascun esito. Non indica una scala di graduazione.
04 Rapporto
- 10Rapporto di revisioneRegistrazioneLa linea guida aiuta gli autori a riportare perché la revisione è stata svolta, cosa hanno fatto e cosa hanno trovato.
RapportiOutline of an externally published reporting guideline, not a Nexus process and not a record of operation. PRISMA 2020 mainly covers reviews of intervention effects. No Nexus page names it. Every programme is at service level R0.
Where uncertainty in AI analysis comes from, and how it is shown.
| Fonte | Why it matters here | How it is reported |
|---|---|---|
| Benchmark validity | Benchmarks saturate and leak into training data | Several evaluations, held-out tests, dates stated |
| Capability elicitation | Measured capability depends on prompting and tools | Elicitation effort described |
| Deployment context | Risk depends on use, not only the model | Use-specific assessment |
| Incident data | Reporting is voluntary and uneven | Incident sources and coverage stated |
Evaluation results carry the model version, date and setup; AI capability changes quickly and old results expire.
Come viene riportata l'incertezza.
- 01
Dichiarare le ipotesi
Ogni analisi elenca le sue ipotesi e i dati da cui dipende.
- 02
Quantificare ove possibile
Intervalli e livelli di confidenza sono riportati accanto alle stime centrali.
- 03
Convalidare e confrontare
I modelli sono verificati rispetto alle osservazioni e, ove possibile, rispetto ad altri modelli.
- 04
Pubblicare i limiti
Ciò che un'analisi non può mostrare è dichiarato accanto a ciò che può mostrare.
Where this page’s references lead.
Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.
Domande e risposte.
I metodi sono aperti?
Contribuisci con evidenze da questa pagina.
Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoDeposito apertoDepositalo e invialo alla comunitàPubblica il tuo registro su Zenodo con il tuo ORCID iD, poi invialo alla comunità Reports. I curatori lo esaminano; il DOI resta tuo.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.