Skip to content

GCRI · Reports

Serie Labs e foundry

Laboratori e di foundry documentano test tecnici: prototipi, software, sensori, pipeline di dati e procedure sperimentati in condizioni dichiarate. Le evidenze dei test sono facili da sopravvalutare, perché un test superato in condizioni controllate viene letto come prontezza all'uso. Questa pagina illustra come i report dei test sono strutturati, rivisti e archiviati, come i livelli di maturità sono dimostrati con evidenze anziché dichiarati e che cosa tali evidenze possono sostenere per chi deve decidere se adottare o finanziare una tecnologia.

02La domanda

Serie Labs e Foundry: come si sviluppa il rischio.

Test tecnico ed evidenze di prontezza. Il dossier che segue illustra come si sviluppa il rischio, che cosa viene misurato, da dove provengono i dati, come vengono modellizzati e chi decide.

Meccanismo

Test conditions narrow the claim

Un test stabilisce il comportamento nelle condizioni sottoposte a prova, con gli input, l'ambiente e la versione utilizzati. I Rapporti che omettono tali condizioni inducono i lettori a generalizzare oltre di esse.

Meccanismo

Readiness declared not shown

I livelli di maturità tecnologica sono spesso autoassegnati. Senza le evidenze richieste da ciascun livello, una dichiarazione di maturità passa dal rapporto di prova alla decisione di acquisto senza alcuna verifica.

Meccanismo

I risultati negativi vanno persi

I test falliti e inconcludenti vengono raramente documentati, per cui la documentazione pubblicata sovrastima i tassi di successo e altri ripetono test già falliti.

Meccanismo

Le versioni sottostanti cambiano

Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.

03Monitoraggio

Redazione di produzione delle serie.

La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.

Ufficio di produzione delle serie

Labs and foundry series · Annual synthesis · Edition 7

Verifica dei dati alla base del pianoGCRI · Rapporti

Edizioni in produzione

Sintesi annualeGlobaleControllo dei dati81W10
Profilo paese 7PaeseRevisione tra pari97W16
Prospettive idricheSettorialeRedazione32W38
Nota metodologica 4MetodiRilasciato100completato

Verifica dei dati, sintesi annuale

Valori tracciati, %79 su 100 richiestiEtichette associate, %95 su 100 richiestiIncertezza dichiarata, %73 su 100 richiesti

Flusso di lavoro dell'edizione

  1. Schemaconsiglio
  2. Bozzaautori
  3. Controllo dei datiogni valore
  4. Revisione tra paridue cicli
  5. Editorialedecisione
  6. RilascioDOI
  7. Correzionicon versioni
Series production desk: the screen’s structure, terms and states for Labs and foundry series.Example names and illustrative values; a design, not a record or a live system.
04Nei cinque domini

Labs and Foundry editions report what was tested and built for each domain.

05Metodi ed evidenze

How labs and foundry series is modelled, measured and tested.

Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.

Modello, equazioni e ipotesi

The model structure used for labs and foundry series, the assumptions it makes and how each is tested.

Rischio dell'elemento iRi = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di risposta
Perdita annua attesaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemi accoppiatixt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
IpotesiPerché è realizzatoCome viene testato
Pericolo ed esposizione sono indipendenti all'interno di un eventoMantiene trattabile l'integrale delle perditeConfrontare con un adattamento di copula su registrazioni congiunte
Gli accoppiamenti sono lineari vicino al punto di funzionamentoConsente agli shock di propagarsi attraverso APerturbare oltre l'intervallo lineare e confrontare
Le curve di vulnerabilità si trasferiscono da un luogo all'altroLe curve locali sono raramente disponibiliValidare rispetto alle perdite osservate, dove esistono
Input
set di dati versionati con provenienza
Risultati
distribuzioni, mai valori singoli
Codice
pubblicato con la scheda del modello e i test
Riproduzione
stessi dati, codice, ambiente e seed
Formulazioni standard del rischio e dello spazio degli stati; le ipotesi elencate sono tipiche del metodo, dichiarate per la revisione, non risultati.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indicatori

Cosa viene misurato e con quale accuratezza.

Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.

IndicatoreUnitàCadenzaTipo di fonteEtichetta
Test protocols registered before testingpercentuale di rapportiper rapportoRecord del RegistryOSSERVATO
Test reports with archived code, data and configurationpercentuale di rapportiper rapportoRepository deposit recordsOSSERVATO
Livello di prontezza dichiarato e evidenze allegatelivello dichiarato; sì o no per le evidenzeper rapportoRapporto e allegato delle evidenzeDICHIARATO
Negative and inconclusive results publishedconteggio per periodoannualeCatalogo delle serieRIPORTATO
Versione del sistema sottoposto a test identificatapercentuale di rapportiper rapportoMetadati del reportOSSERVATO
Independent technical review completedsì o no, con il ruolo del revisoreper rapportoRegistro della revisioneDICHIARATO
07Fonti

Da dove provengono le evidenze.

Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.

FonteCosa fornisceClasse di licenza
ZenodoArchived test data, configurations and software releases with DOIsMetadati CC0, licenza per ciascun record
Software HeritageCodice sorgente conservato alla revisione esatta sottoposta a testCode under its own licence
OSF RegistriesProtocolli di test e piani di analisi preregistratiMetadati CC0, licenza secondo la registrazione
protocols.ioMetodi dettagliati passo per passo pubblicati con versioni e DOILicence per protocol, mostly CC BY
NIST National Vulnerability DatabaseVulnerabilità note dei componenti software sottoposti a testPubblico dominio
08Decisioni

Chi decide, e a cosa servono le evidenze.

Reports prepara le evidenze. Le decisioni seguenti sono adottate dalle autorità indicate, secondo le proprie regole, e mai dalla piattaforma.

Chi decideLa domandaEvidenze fornite da questa pagina
Procurement and adoption boardsWhether a tested technology is ready for a pilot or operational useReadiness evidence annexes, test conditions and known limitations
Innovation funders and programme managersSe finanziare la fase successiva di sviluppoReadiness level with its evidence, negative results and open risks
Comitati di revisione tecnicaWhether a test report is complete and its conclusions follow from the evidenceRegistered protocols, archived data and version identifiers
Standards and conformity assessment bodiesSe i metodi di prova siano idonei a una futura normaDocumented test procedures and their reproducibility

Output prodotti da questo argomento

  • Test reports stating conditions, versions and acceptance criteria
  • Allegati di evidenze di prontezza che associano ciascun livello alle relative evidenze
  • Archived configurations and data for each test
  • A register of negative and inconclusive results
09Questioni centrali

Che cosa si chiede la serie.

Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.

  • What exactly was tested, under which protocol, with which data and in which environment?
  • What passed, what failed and what was not tested?
  • Le evidenze sostengono il passo successivo indicato, e soltanto quello?
  • Which observations or signals warrant further analysis, and how reliable are they?
10Ambito

Che cosa copre la serie.

Three series report evidence from building, testing and observing.

Laboratori

Experiments and testbeds

Risultati di protocolli conclusi, compresi i risultati nulli e negativi.

Foundry

Costruzione e preparazione

Evidenze sui sistemi di Foundry rispetto a criteri di prontezza dichiarati, mai come certificazione.

Signals

Osservazione

Segnali dal monitoraggio, etichettati per fonte e livello di confidenza, che sollecitano l'analisi anziché l'azione.

The series follows the logic of test and evaluation practice in engineering: a claim is only as good as the protocol that tested it, and readiness is always readiness for something specific. A tool that has passed a laboratory test is not ready for field use, and a system that worked in one exercise has not shown that it will work in every setting. Editions state these limits next to each result.

11Come vengono costruite le edizioni

Come sono costruite le edizioni e quali sono i loro limiti.

  1. 01

    Protocolli

    Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.

  2. 02

    Ambienti

    Sono descritte le condizioni di prova; i risultati ottenuti in un banco di prova potrebbero non essere trasferibili al funzionamento in esercizio.

  3. 03

    Criteri di maturità

    Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.

  4. 04

    Qualità del segnale

    Observatory signals state their source, coverage and false-alarm characteristics where known.

12Metodi

Come viene studiato, e cosa i metodi non possono dire.

  1. Ingegneria, interoperabilità e gestione responsabile dei datiPubblicazione strutturata in JATS XML · Identificatori persistenti in tutto il registroApplicato qui
  2. Quantificazione dell'incertezza e validazione dei modelliLinguaggio calibrato nelle valutazioni · Valutazioni della certezza delle evidenzeApplicato qui
  3. Probabilità e statisticaMeta-analisi con eterogeneità dichiarata · Distorsione da studi piccoli e da pubblicazioneApplicato qui
13Where this page’s references

Where this page’s references lead.

Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.

14Domande

Domande e risposte.

Che cos'è un livello di maturità tecnologica?
A scale describing how far a technology has progressed from basic principles to demonstrated operation. Each level requires specific evidence; a level stated without that evidence is a declaration, not a demonstration.
Why publish failed tests?
Because a record of successes alone misleads. Negative and inconclusive results show where a technology does not work and stop others repeating the same test.
Does a passed test mean a system is safe?
No. Significa che il sistema ha soddisfatto i criteri dichiarati nelle condizioni dichiarate. La sicurezza dipende dall'uso, dal contesto e da condizioni che il test potrebbe non aver coperto.
Una relazione sullo stato di preparazione significa che un sistema è approvato?
No. Readiness is fitness for a stated next step within a stated scope. It is not approval, certification or a statement that a service operates.
I test falliti vengono pubblicati?
Sì. I risultati negativi e nulli fanno parte delle evidenze e ometterli porterebbe a sovrastimare il grado di preparazione.
I fornitori possono pubblicare risultati nella serie?
Results appear only from protocols run under the programme’s review. Vendor claims are labelled Institution-reported if cited at all.
I segnali dell'osservatorio sono allerte?
No. Sollecitano l'analisi. Le allerte restano di competenza delle autorità competenti.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

GCRIRapportiRischio e resilienza dei sistemi globaliRischio e resilienza dei sistemi nazionaliTrimestrale paese
Rapporti

Porta un metodo, un set di dati o una domanda.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.