Skip to content

GCRI · Innovazione e cambiamento tecnologico

Valutazione delle tecnologie

Le affermazioni sulla tecnologia sono facili da formulare e difficili da verificare. La valutazione delle tecnologie presso il Global Centre for Risk and Innovation (GCRI) si chiede che cosa una tecnologia faccia realmente, in quali condizioni, sulla base di quali evidenze e con quali limiti. Le istituzioni possono così distinguere una dimostrazione da una capacità affidabile prima di adottare, acquistare o regolamentare. Fa parte di innovazione e cambiamento tecnologico.

01Area di lavoro

The workspace for technology assessment.

Pipeline dell'innovazione

GCRI · Stage gate · Esempio di interfaccia, non un registro

Gate review in 8 dGCRI · GCRI

Per livello di maturità

TRL da 2 a 301
Ciclo di revisione dei metodiconcetto testato
TRL da 4 a 502
Verifica delle etichette delle evidenzevalidazione di laboratorio
Costruzione del modello nazionalevalidazione di laboratorio
TRL da 6 a 701
Pianificazione dell'edizione dei reportpilota con il responsabile
Revisione dell'adozione01
Progettazione annuale delle missionidecide il responsabile

Criteri di maturità

pilota vs gate

Evidenza di effetto85 of 70 requiredGaranzie60 of 80 requiredCosto operativo noto40 of 60 requiredImpegno del responsabile43 of 75 required

Problemi del pilota

  1. I-1Licenza dati per il sito pilotaDa verificare9 g
  2. I-2Protocollo di osservatore firmatoFatto8 g
Pipeline dell'innovazione.Interfaccia illustrativa; non sono dati in tempo reale.

GCRI · Pipeline dell'innovazione. Pipeline dell'innovazione: nomi di esempio e valori illustrativi, non un registro.

02Che cosa viene esaminato

Quattro domande alla base di ogni valutazione.

Una quarta domanda attraversa le altre tre: che cosa farebbe fallire la tecnologia, e lo si è cercato?

Preparazione

Qual è il livello di maturità?

Evidence on maturity in the intended setting, not in the most favourable one.

Validazione

È stato sottoposto a verifica?

Independent tests against stated objectives, with the test conditions reported.

Claims

What exactly is claimed?

Dichiarazioni di capacità distinte in misurate, stimate e dichiarate.

03Scale di maturità

I livelli di prontezza, che cosa misurano e che cosa lasciano fuori.

I livelli di maturità tecnologica vanno da uno, principi di base osservati, a nove, sistema comprovato nel suo ambiente operativo. Li ha introdotti la NASA; ISO 16290:2013 li definisce per i sistemispaziali, e molte agenzie ne usano versioni adattate. Un livello di maturità descrive la maturità in un ambiente dichiarato. Non dice nulla sul costo, sulla sicurezza in un contesto diverso, sull'accettazione sociale o sulla capacità di un'organizzazione di gestire la tecnologia.

DomandaLe evidenze che vi rispondonoCommon gap
Funziona come dichiarato?Test indipendenti rispetto a un piano preregistrato, su dati esclusi dall'addestramento o in un ambiente rappresentativoVendor benchmarks on data the system was tuned to
Funziona qui?Prove nel contesto di destinazione, con utenti e condizioni localiTransfer from a different climate, language or infrastructure
Da che cosa dipende?Bills of materials, supply and energy needs, skills requiredDipendenza nascosta da un unico fornitore o servizio
Come fallisce?Adversarial and stress tests; incident recordsTesting only the expected cases
04Pratica di misurazione

Reporting capability honestly.

  • Riportare le prestazioni con intervalli di confidenza e sulla popolazione a cui servirà, non solo su insiemi di test aggregati.
  • Verificare la contaminazione: i dati di test trapelati nell'addestramento gonfiano i punteggi, un problema noto per i benchmark dell'IA.
  • For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
  • Distinguere una dimostrazione, un progetto pilota e un'operatività continuativa: ciascuno è un'affermazione diversa.

The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.

05GCRI’s part

Rapporti di valutazione, non approvazioni.

An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.

06Measurement rules

Come vengono riportate le capacità.

  • Measured capability is published with workload, data size, hardware, configuration, software version and interval
  • La capacità di picco, sostenuta, disponibile e allocata è riportata separatamente
  • Il numero di dispositivi e le specifiche sono descrittori, non risultati applicativi
  • Energia, raffrescamento e consumo di acqua sono monitorati, con le misurazioni tenute distinte dalle stime
  • I fallimenti e i limiti rilevati durante i test sono segnalati, non rimossi
07How tests run

Dal piano di valutazione al risultato registrato.

  1. 01

    Evaluation plan

    Obiettivi, metriche, condizioni e regole di interruzione concordati prima dei test.

  2. 02

    Controlled test

    Esperimenti negli ambienti di test di Labs o nel programma annuale Universo , con osservazione indipendente.

  3. 03

    Risultato registrato

    Risultati con il relativo metodo, i limiti e l'etichetta delle evidenze, pubblicati dove i diritti lo consentono.

08Confini

Testing is not certification.

An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.

10Domande

Domande e risposte.

Can a vendor cite a GCRI assessment in marketing?
Only as a factual citation of the published result, with its scope and limits, and never as certification or endorsement. Misrepresentation can be reported to the integrity address.
Chi paga una valutazione?
Terms are set out for each testbed call or agreement. Payment never buys a result, and evaluation never depends on a high contribution.
Are negative results published?
Yes, where rights allow. A technology that fails a test produces a result as valid as one that passes.
Il GCRI utilizza livelli di maturità?
Readiness is described with evidence for the specific setting. Where a recognised readiness scale is referenced, it is named and the evidence for the level is shown.
Una valutazione può essere contestata?
Sì. Fornitori, ricercatori e pubblico possono contestare una valutazione pubblicata attraverso il canale di integrità. Una correzione accolta crea una nuova versione registrata con la propria cronologia.
RapportiContribuisci

Contribuisci con evidenze da questa pagina.

Reports è la pubblicazione trimestrale del consorzio. Ciò che sai su questo tema può diventare un'evidenza, un caso o una correzione nella prossima edizione, attribuita a te e pubblicata con licenza CC BY 4.0 se si tratta di un tuo lavoro.

GCRI
Il Global Centre for Risk and Innovation

Porta un metodo, un set di dati o una domanda.

Informazioni e richieste sono aperte oggi. Una richiesta riceve un riferimento e indica il passo successivo; candidature, pagamenti, assegnazioni di calcolo e registrazioni si aprono solo quando esistono il team, le condizioni e la capacità di revisione.