GCRI · Innovation et changement technologique
Évaluation des technologies
Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.
The workspace for technology assessment.
Chaîne d'innovation
GCRI · Jalons de passage · Exemple d'interface, pas un enregistrement
Par niveau de maturité
Critères de maturité
pilote vs jalon
Pilote : problèmes
- I-1Licence de données pour le site piloteÀ vérifier9 j
- I-2Protocole d'observateur signéTerminé8 j
GCRI · Pipeline d'innovation. Pipeline d'innovation : noms d'exemple et valeurs illustratives, pas un enregistrement.
Quatre questions sous-tendent chaque évaluation.
Une quatrième question traverse les trois autres : qu'est-ce qui ferait échouer la technologie, et l'a-t-on recherché ?
Quel est son niveau de maturité ?
Des données probantes sur la maturité dans le contexte visé, et non dans le plus favorable.
A-t-il été testé ?
Tests indépendants par rapport à des objectifs déclarés, avec communication des conditions de test.
What exactly is claimed?
Déclarations de capacités distinguées en mesurées, estimées et affirmées.
Readiness levels, what they measure and what they leave out.
Les niveaux de maturité technologique vont de un, principes de base observés, à neuf, système éprouvé dans son environnement opérationnel. La NASA les a introduits ; l'ISO 16290:2013 les définit pour les systèmes, et de nombreuses agences en utilisent des versions adaptées. Un niveau de maturité décrit la maturité dans un environnement donné. Il ne dit rien du coût, de la sécurité dans un autre contexte, de l'acceptation sociale ni de la capacité d'une organisation à exploiter la technologie.
| Question | Les données probantes qui y répondent | Lacune courante |
|---|---|---|
| Does it work as claimed? | Independent tests against a pre-registered plan, on held-out data or in a representative environment | Évaluations comparatives de fournisseurs sur des données auxquelles le système a été ajusté |
| Does it work here? | Essais dans le contexte cible, avec des utilisateurs et des conditions locales | Transfert depuis un climat, une langue ou une infrastructure différents |
| What does it depend on? | Bills of materials, supply and energy needs, skills required | Dépendance cachée à un fournisseur ou à un service unique |
| Comment échoue-t-il ? | Adversarial and stress tests; incident records | Ne tester que les cas attendus |
Reporting capability honestly.
- Présenter les performances avec des intervalles de confiance et sur la population qui sera servie, et pas seulement sur des jeux de test agrégés.
- Vérifier la contamination : des données de test ayant fuité dans l'entraînement gonflent les scores, un problème connu des benchmarks d'IA.
- For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
- Distinguez une démonstration, un projet pilote et une exploitation durable : chacun constitue une affirmation différente.
The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.
Des rapports d'évaluation, non des approbations.
An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.
How capability is reported.
- Measured capability is published with workload, data size, hardware, configuration, software version and interval
- Peak, sustained, available and allocated capacity are reported separately
- Les nombres d'appareils et les spécifications sont des descripteurs, non des résultats d'application
- La consommation d'énergie, de refroidissement et d'eau est suivie, les mesures étant distinguées des estimations
- Les défaillances et limites constatées lors des essais sont signalées, non supprimées
Du plan d'évaluation au résultat consigné.
- 01
Plan d'évaluation
Objectifs, indicateurs, conditions et règles d'arrêt convenus avant les essais.
- 02
Essai contrôlé
Expériences dans les environnements de test de Labs ou dans le programme annuel Univers , avec observation indépendante.
- 03
Résultat enregistré
Résultats accompagnés de leur méthode, de leurs limites et de leur étiquette de données probantes, publiés lorsque les droits le permettent.
Testing is not certification.
An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.
Where this page’s references lead.
Les organismes et documents à l'aune desquels cette page se lit. Les statuts et éditions changent ; chaque lien mène à l'organisme émetteur.
- Niveaux de maturité technologique (NASA)
- ISO 16290:2013 Space systems, definition of the technology readiness levels and their criteria of assessment (ISO)
- Collins et autres, déclaration TRIPOD+AI, BMJ 385 (2024)
- Cadre de l'OCDE pour la gouvernance anticipative des technologies émergentes (OCDE, 2024)
- European Parliamentary Technology Assessment network (EPTA)
- NIST AI Risk Management Framework 1.0 (NIST AI 100-1, 2023) and the Generative AI Profile (NIST AI 600-1, 2024)
- NS-11, Vérification et suivi, norme proposée
Questions et réponses.
Un fournisseur peut-il citer une évaluation du GCRI dans sa communication commerciale ?
Qui paie une évaluation ?
Are negative results published?
Does GCRI use readiness levels?
Une évaluation peut-elle être contestée ?
Apportez des éléments de preuve depuis cette page.
Reports est la publication trimestrielle du Consortium. Ce que vous savez de ce sujet peut devenir une donnée probante, un cas ou une correction dans la prochaine édition, avec mention de votre nom et publié sous licence CC BY 4.0 lorsqu'il s'agit de votre propre travail.
- E-mailPasserelle GW-GCRIL'envoyer depuis cette pageUne preuve, une correction, un cas, une méthode, un examen, une traduction ou un apport au profil. Elle arrive étiquetée avec cette page, afin que le rédacteur responsable la reçoive.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RapportsGCRIVoir toutes les façons de contribuerLes types de contribution, la manière dont chacune est examinée, la reconnaissance accordée, la licence et ce qui n'est jamais accepté.
N'envoyez jamais de données personnelles, de détails sensibles sur des infrastructures ni rien que vous n'avez pas le droit de communiquer. Une contribution est examinée avant utilisation ; son envoi ne confère ni qualité d'auteur ni droits éditoriaux, et un parrainage n'achète jamais une conclusion.
Apportez une méthode, un jeu de données ou une question.
L'information et les demandes sont ouvertes dès aujourd'hui. Une demande reçoit une référence et indique l'étape suivante ; candidatures, paiements, allocations de calcul et inscriptions n'ouvrent que lorsque l'équipe, les conditions et la capacité d'examen existent.
Documents juridiques.
Les cartes, données et chiffres de ce site sont présentés à titre de contexte et d'information générale. Ils ne constituent ni des conseils, ni des prévisions, ni des alertes ; les limites de l'information sont exposées dans les Avertissements et les Notices sur les données.