GCRI · Innovazione e cambiamento tecnologico
Valutazione delle tecnologie
Le affermazioni sulla tecnologia sono facili da formulare e difficili da verificare. La valutazione delle tecnologie presso il Global Centre for Risk and Innovation (GCRI) si chiede che cosa una tecnologia faccia realmente, in quali condizioni, sulla base di quali evidenze e con quali limiti. Le istituzioni possono così distinguere una dimostrazione da una capacità affidabile prima di adottare, acquistare o regolamentare. Fa parte di innovazione e cambiamento tecnologico.
The workspace for technology assessment.
Pipeline dell'innovazione
GCRI · Stage gate · Esempio di interfaccia, non un registro
Per livello di maturità
Criteri di maturità
pilota vs gate
Problemi del pilota
- I-1Licenza dati per il sito pilotaDa verificare9 g
- I-2Protocollo di osservatore firmatoFatto8 g
GCRI · Pipeline dell'innovazione. Pipeline dell'innovazione: nomi di esempio e valori illustrativi, non un registro.
Quattro domande alla base di ogni valutazione.
Una quarta domanda attraversa le altre tre: che cosa farebbe fallire la tecnologia, e lo si è cercato?
Qual è il livello di maturità?
Evidence on maturity in the intended setting, not in the most favourable one.
È stato sottoposto a verifica?
Independent tests against stated objectives, with the test conditions reported.
What exactly is claimed?
Dichiarazioni di capacità distinte in misurate, stimate e dichiarate.
I livelli di prontezza, che cosa misurano e che cosa lasciano fuori.
I livelli di maturità tecnologica vanno da uno, principi di base osservati, a nove, sistema comprovato nel suo ambiente operativo. Li ha introdotti la NASA; ISO 16290:2013 li definisce per i sistemispaziali, e molte agenzie ne usano versioni adattate. Un livello di maturità descrive la maturità in un ambiente dichiarato. Non dice nulla sul costo, sulla sicurezza in un contesto diverso, sull'accettazione sociale o sulla capacità di un'organizzazione di gestire la tecnologia.
| Domanda | Le evidenze che vi rispondono | Common gap |
|---|---|---|
| Funziona come dichiarato? | Test indipendenti rispetto a un piano preregistrato, su dati esclusi dall'addestramento o in un ambiente rappresentativo | Vendor benchmarks on data the system was tuned to |
| Funziona qui? | Prove nel contesto di destinazione, con utenti e condizioni locali | Transfer from a different climate, language or infrastructure |
| Da che cosa dipende? | Bills of materials, supply and energy needs, skills required | Dipendenza nascosta da un unico fornitore o servizio |
| Come fallisce? | Adversarial and stress tests; incident records | Testing only the expected cases |
Reporting capability honestly.
- Riportare le prestazioni con intervalli di confidenza e sulla popolazione a cui servirà, non solo su insiemi di test aggregati.
- Verificare la contaminazione: i dati di test trapelati nell'addestramento gonfiano i punteggi, un problema noto per i benchmark dell'IA.
- For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
- Distinguere una dimostrazione, un progetto pilota e un'operatività continuativa: ciascuno è un'affermazione diversa.
The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.
Rapporti di valutazione, non approvazioni.
An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.
Come vengono riportate le capacità.
- Measured capability is published with workload, data size, hardware, configuration, software version and interval
- La capacità di picco, sostenuta, disponibile e allocata è riportata separatamente
- Il numero di dispositivi e le specifiche sono descrittori, non risultati applicativi
- Energia, raffrescamento e consumo di acqua sono monitorati, con le misurazioni tenute distinte dalle stime
- I fallimenti e i limiti rilevati durante i test sono segnalati, non rimossi
Dal piano di valutazione al risultato registrato.
- 01
Evaluation plan
Obiettivi, metriche, condizioni e regole di interruzione concordati prima dei test.
- 02
Controlled test
Esperimenti negli ambienti di test di Labs o nel programma annuale Universo , con osservazione indipendente.
- 03
Risultato registrato
Risultati con il relativo metodo, i limiti e l'etichetta delle evidenze, pubblicati dove i diritti lo consentono.
Testing is not certification.
An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.
Where this page’s references lead.
Gli organismi e i documenti alla luce dei quali si legge questa pagina. Stato ed edizioni cambiano; ogni link porta all'organismo emittente.
- Livelli di maturità tecnologica (NASA)
- ISO 16290:2013 Space systems, definizione dei livelli di maturità tecnologica e dei relativi criteri di valutazione (ISO)
- Collins e altri, dichiarazione TRIPOD+AI, BMJ 385 (2024)
- Quadro OCSE per la governance anticipatoria delle tecnologie emergenti (OCSE, 2024)
- European Parliamentary Technology Assessment network (EPTA)
- NIST AI Risk Management Framework 1.0 (NIST AI 100-1, 2023) e Generative AI Profile (NIST AI 600-1, 2024)
- NS-11, Verifica e monitoraggio, uno standard proposto
Domande e risposte.
Can a vendor cite a GCRI assessment in marketing?
Chi paga una valutazione?
Are negative results published?
Il GCRI utilizza livelli di maturità?
Una valutazione può essere contestata?
Contribuisci con evidenze da questa pagina.
Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.
- E-mailPortale GW-GCRIInvialo da questa paginaUn'evidenza, una correzione, un caso, un metodo, una revisione, una traduzione o un contributo a un profilo. Arriva etichettata con questa pagina, così la riceve la persona redattrice che ne è responsabile.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RapportiGCRIVedi tutti i modi per contribuireI tipi di contributo, come viene revisionato ciascuno, il riconoscimento che ricevi, la licenza e ciò che non è mai accettato.
Non inviare mai dati personali, dettagli su infrastrutture sensibili o qualsiasi cosa che tu non abbia il diritto di condividere. Un contributo viene sottoposto a revisione prima dell'uso; inviarlo non conferisce diritti di paternità né editoriali, e la sponsorizzazione non compra mai un risultato.
Porta un metodo, un set di dati o una domanda.
Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.
Documenti legali.
Le mappe, i dati e le cifre di questo sito sono mostrati a titolo di contesto e di informazione generale. Non costituiscono consigli, previsioni né allerte; i limiti dell'informazione sono esposti nelle Dichiarazioni di esclusione di responsabilità e nelle Note sui dati.