Skip to content

GCRI · Innovation et changement technologique

Évaluation des technologies

Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.

01Espace de travail

The workspace for technology assessment.

Chaîne d'innovation

GCRI · Jalons de passage · Exemple d'interface, pas un enregistrement

Gate review in 8 dGCRI · GCRI

Par niveau de maturité

TRL 2 à 301
Cycle d'examen des méthodesconcept testé
TRL 4 à 502
Audit des étiquettes de données probantesvalidation en laboratoire
Construction du modèle nationalvalidation en laboratoire
TRL 6 à 701
Planification de l'édition du rapportpilote avec le propriétaire
Examen d'adoption01
Conception de la mission annuellele propriétaire décide

Critères de maturité

pilote vs jalon

Preuve d'effet85 sur 70 requisGarde-fous60 of 80 requiredCoût d'exploitation connu40 of 60 requiredEngagement du responsable43 of 75 required

Pilote : problèmes

  1. I-1Licence de données pour le site piloteÀ vérifier9 j
  2. I-2Protocole d'observateur signéTerminé8 j
Pipeline d'innovation.Interface illustrative ; pas de données en direct.

GCRI · Pipeline d'innovation. Pipeline d'innovation : noms d'exemple et valeurs illustratives, pas un enregistrement.

02Ce qui est examiné

Quatre questions sous-tendent chaque évaluation.

Une quatrième question traverse les trois autres : qu'est-ce qui ferait échouer la technologie, et l'a-t-on recherché ?

Préparation

Quel est son niveau de maturité ?

Des données probantes sur la maturité dans le contexte visé, et non dans le plus favorable.

Validation

A-t-il été testé ?

Tests indépendants par rapport à des objectifs déclarés, avec communication des conditions de test.

Claims

What exactly is claimed?

Déclarations de capacités distinguées en mesurées, estimées et affirmées.

03Readiness scales

Readiness levels, what they measure and what they leave out.

Les niveaux de maturité technologique vont de un, principes de base observés, à neuf, système éprouvé dans son environnement opérationnel. La NASA les a introduits ; l'ISO 16290:2013 les définit pour les systèmes, et de nombreuses agences en utilisent des versions adaptées. Un niveau de maturité décrit la maturité dans un environnement donné. Il ne dit rien du coût, de la sécurité dans un autre contexte, de l'acceptation sociale ni de la capacité d'une organisation à exploiter la technologie.

QuestionLes données probantes qui y répondentLacune courante
Does it work as claimed?Independent tests against a pre-registered plan, on held-out data or in a representative environmentÉvaluations comparatives de fournisseurs sur des données auxquelles le système a été ajusté
Does it work here?Essais dans le contexte cible, avec des utilisateurs et des conditions localesTransfert depuis un climat, une langue ou une infrastructure différents
What does it depend on?Bills of materials, supply and energy needs, skills requiredDépendance cachée à un fournisseur ou à un service unique
Comment échoue-t-il ?Adversarial and stress tests; incident recordsNe tester que les cas attendus
04Measurement practice

Reporting capability honestly.

  • Présenter les performances avec des intervalles de confiance et sur la population qui sera servie, et pas seulement sur des jeux de test agrégés.
  • Vérifier la contamination : des données de test ayant fuité dans l'entraînement gonflent les scores, un problème connu des benchmarks d'IA.
  • For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
  • Distinguez une démonstration, un projet pilote et une exploitation durable : chacun constitue une affirmation différente.

The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.

05GCRI’s part

Des rapports d'évaluation, non des approbations.

An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.

06Règles de mesure

How capability is reported.

  • Measured capability is published with workload, data size, hardware, configuration, software version and interval
  • Peak, sustained, available and allocated capacity are reported separately
  • Les nombres d'appareils et les spécifications sont des descripteurs, non des résultats d'application
  • La consommation d'énergie, de refroidissement et d'eau est suivie, les mesures étant distinguées des estimations
  • Les défaillances et limites constatées lors des essais sont signalées, non supprimées
07How tests run

Du plan d'évaluation au résultat consigné.

  1. 01

    Plan d'évaluation

    Objectifs, indicateurs, conditions et règles d'arrêt convenus avant les essais.

  2. 02

    Essai contrôlé

    Expériences dans les environnements de test de Labs ou dans le programme annuel Univers , avec observation indépendante.

  3. 03

    Résultat enregistré

    Résultats accompagnés de leur méthode, de leurs limites et de leur étiquette de données probantes, publiés lorsque les droits le permettent.

08Limites

Testing is not certification.

An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.

10Questions

Questions et réponses.

Un fournisseur peut-il citer une évaluation du GCRI dans sa communication commerciale ?
Only as a factual citation of the published result, with its scope and limits, and never as certification or endorsement. Misrepresentation can be reported to the integrity address.
Qui paie une évaluation ?
Terms are set out for each testbed call or agreement. Payment never buys a result, and evaluation never depends on a high contribution.
Are negative results published?
Yes, where rights allow. A technology that fails a test produces a result as valid as one that passes.
Does GCRI use readiness levels?
Readiness is described with evidence for the specific setting. Where a recognised readiness scale is referenced, it is named and the evidence for the level is shown.
Une évaluation peut-elle être contestée ?
Oui. Les prestataires, les chercheurs et le public peuvent contester une évaluation publiée par la voie d'intégrité. Une correction acceptée crée une nouvelle version consignée, avec son historique.
RapportsContribuer

Apportez des éléments de preuve depuis cette page.

Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.

GCRI
Le Global Centre for Risk and Innovation

Apportez une méthode, un jeu de données ou une question.

L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.