GCRI · Reports
Serie Labs e foundry
Laboratori e di foundry documentano test tecnici: prototipi, software, sensori, pipeline di dati e procedure sperimentati in condizioni dichiarate. Le evidenze dei test sono facili da sopravvalutare, perché un test superato in condizioni controllate viene letto come prontezza all'uso. Questa pagina illustra come i report dei test sono strutturati, rivisti e archiviati, come i livelli di maturità sono dimostrati con evidenze anziché dichiarati e che cosa tali evidenze possono sostenere per chi deve decidere se adottare o finanziare una tecnologia.
Labs and foundry series on the record.
Serie Labs e Foundry: come si sviluppa il rischio.
Test tecnico ed evidenze di prontezza. Il dossier che segue illustra come si sviluppa il rischio, che cosa viene misurato, da dove provengono i dati, come vengono modellizzati e chi decide.
Test conditions narrow the claim
Un test stabilisce il comportamento nelle condizioni sottoposte a prova, con gli input, l'ambiente e la versione utilizzati. I Rapporti che omettono tali condizioni inducono i lettori a generalizzare oltre di esse.
Readiness declared not shown
I livelli di maturità tecnologica sono spesso autoassegnati. Senza le evidenze richieste da ciascun livello, una dichiarazione di maturità passa dal rapporto di prova alla decisione di acquisto senza alcuna verifica.
I risultati negativi vanno persi
I test falliti e inconcludenti vengono raramente documentati, per cui la documentazione pubblicata sovrastima i tassi di successo e altri ripetono test già falliti.
Le versioni sottostanti cambiano
Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.
Redazione di produzione delle serie.
La schermata che un gruppo utilizzerebbe per seguire questo tema: misure, stati e decisioni. I nomi sono esempi e i valori sono illustrativi.
Ufficio di produzione delle serie
Labs and foundry series · Annual synthesis · Edition 7
Edizioni in produzione
| Sintesi annuale | Globale | Controllo dei dati | 81 | W10 |
| Profilo paese 7 | Paese | Revisione tra pari | 97 | W16 |
| Prospettive idriche | Settoriale | Redazione | 32 | W38 |
| Nota metodologica 4 | Metodi | Rilasciato | 100 | completato |
Verifica dei dati, sintesi annuale
Flusso di lavoro dell'edizione
- Schemaconsiglio
- Bozzaautori
- Controllo dei datiogni valore
- Revisione tra paridue cicli
- Editorialedecisione
- RilascioDOI
- Correzionicon versioni
Labs and Foundry editions report what was tested and built for each domain.
Editions carry verification evidence under NS-11 of the proposed Nexus Standards. A test result is not an approval.
- Risultati negativi.
- Replications.
How labs and foundry series is modelled, measured and tested.
Il modello, le sue ipotesi, i suoi dati e la sua incertezza, nella forma in cui uno scienziato o un ingegnere li verificherebbe. Le strutture seguono metodi pubblicati. I valori rappresentati sono illustrativi, non risultati.
Modello, equazioni e ipotesi
The model structure used for labs and foundry series, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)pericolo, esposizione, vulnerabilità e capacità di rispostaEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Ipotesi | Perché è realizzato | Come viene testato |
|---|---|---|
| Pericolo ed esposizione sono indipendenti all'interno di un evento | Mantiene trattabile l'integrale delle perdite | Confrontare con un adattamento di copula su registrazioni congiunte |
| Gli accoppiamenti sono lineari vicino al punto di funzionamento | Consente agli shock di propagarsi attraverso A | Perturbare oltre l'intervallo lineare e confrontare |
| Le curve di vulnerabilità si trasferiscono da un luogo all'altro | Le curve locali sono raramente disponibili | Validare rispetto alle perdite osservate, dove esistono |
- Input
- set di dati versionati con provenienza
- Risultati
- distribuzioni, mai valori singoli
- Codice
- pubblicato con la scheda del modello e i test
- Riproduzione
- stessi dati, codice, ambiente e seed
Cosa viene misurato e con quale accuratezza.
Ogni indicatore riporta la sua unità, la sua cadenza, il tipo di fonte su cui si basa e l'etichetta di evidenza che un valore riporterebbe. Non sono mostrati valori: un programma li fornisce sotto la propria autorità.
| Indicatore | Unità | Cadenza | Tipo di fonte | Etichetta |
|---|---|---|---|---|
| Test protocols registered before testing | percentuale di rapporti | per rapporto | Record del Registry | OSSERVATO |
| Test reports with archived code, data and configuration | percentuale di rapporti | per rapporto | Repository deposit records | OSSERVATO |
| Livello di prontezza dichiarato e evidenze allegate | livello dichiarato; sì o no per le evidenze | per rapporto | Rapporto e allegato delle evidenze | DICHIARATO |
| Negative and inconclusive results published | conteggio per periodo | annuale | Catalogo delle serie | RIPORTATO |
| Versione del sistema sottoposto a test identificata | percentuale di rapporti | per rapporto | Metadati del report | OSSERVATO |
| Independent technical review completed | sì o no, con il ruolo del revisore | per rapporto | Registro della revisione | DICHIARATO |
Da dove provengono le evidenze.
Set di dati pubblici e registri istituzionali specifici, ciascuno con la sua classe di licenza. Le fonti soggette ad accordo sono utilizzate solo alle relative condizioni e mai ripubblicate.
| Fonte | Cosa fornisce | Classe di licenza |
|---|---|---|
| Zenodo | Archived test data, configurations and software releases with DOIs | Metadati CC0, licenza per ciascun record |
| Software Heritage | Codice sorgente conservato alla revisione esatta sottoposta a test | Code under its own licence |
| OSF Registries | Protocolli di test e piani di analisi preregistrati | Metadati CC0, licenza secondo la registrazione |
| protocols.io | Metodi dettagliati passo per passo pubblicati con versioni e DOI | Licence per protocol, mostly CC BY |
| NIST National Vulnerability Database | Vulnerabilità note dei componenti software sottoposti a test | Pubblico dominio |
Chi decide, e a cosa servono le evidenze.
Reports prepara le evidenze. Le decisioni seguenti sono adottate dalle autorità indicate, secondo le proprie regole, e mai dalla piattaforma.
| Chi decide | La domanda | Evidenze fornite da questa pagina |
|---|---|---|
| Procurement and adoption boards | Whether a tested technology is ready for a pilot or operational use | Readiness evidence annexes, test conditions and known limitations |
| Innovation funders and programme managers | Se finanziare la fase successiva di sviluppo | Readiness level with its evidence, negative results and open risks |
| Comitati di revisione tecnica | Whether a test report is complete and its conclusions follow from the evidence | Registered protocols, archived data and version identifiers |
| Standards and conformity assessment bodies | Se i metodi di prova siano idonei a una futura norma | Documented test procedures and their reproducibility |
Output prodotti da questo argomento
- Test reports stating conditions, versions and acceptance criteria
- Allegati di evidenze di prontezza che associano ciascun livello alle relative evidenze
- Archived configurations and data for each test
- A register of negative and inconclusive results
Che cosa si chiede la serie.
Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.
- What exactly was tested, under which protocol, with which data and in which environment?
- What passed, what failed and what was not tested?
- Le evidenze sostengono il passo successivo indicato, e soltanto quello?
- Which observations or signals warrant further analysis, and how reliable are they?
Che cosa copre la serie.
Three series report evidence from building, testing and observing.
Experiments and testbeds
Risultati di protocolli conclusi, compresi i risultati nulli e negativi.
Costruzione e preparazione
Evidenze sui sistemi di Foundry rispetto a criteri di prontezza dichiarati, mai come certificazione.
Osservazione
Segnali dal monitoraggio, etichettati per fonte e livello di confidenza, che sollecitano l'analisi anziché l'azione.
The series follows the logic of test and evaluation practice in engineering: a claim is only as good as the protocol that tested it, and readiness is always readiness for something specific. A tool that has passed a laboratory test is not ready for field use, and a system that worked in one exercise has not shown that it will work in every setting. Editions state these limits next to each result.
Come sono costruite le edizioni e quali sono i loro limiti.
- 01
Protocolli
Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.
- 02
Ambienti
Sono descritte le condizioni di prova; i risultati ottenuti in un banco di prova potrebbero non essere trasferibili al funzionamento in esercizio.
- 03
Criteri di maturità
Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.
- 04
Qualità del segnale
Observatory signals state their source, coverage and false-alarm characteristics where known.
Come viene studiato, e cosa i metodi non possono dire.
- 01Ingegneria, interoperabilità e gestione responsabile dei datiPubblicazione strutturata in JATS XML · Identificatori persistenti in tutto il registroApplicato qui
- 02Quantificazione dell'incertezza e validazione dei modelliLinguaggio calibrato nelle valutazioni · Valutazioni della certezza delle evidenzeApplicato qui
- 03Probabilità e statisticaMeta-analisi con eterogeneità dichiarata · Distorsione da studi piccoli e da pubblicazioneApplicato qui
Where this page’s references lead.
Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.
Domande e risposte.
Che cos'è un livello di maturità tecnologica?
Why publish failed tests?
Does a passed test mean a system is safe?
Una relazione sullo stato di preparazione significa che un sistema è approvato?
I test falliti vengono pubblicati?
I fornitori possono pubblicare risultati nella serie?
I segnali dell'osservatorio sono allerte?
Contribuisci con evidenze da questa pagina.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.