GCRI · Innovación y cambio tecnológico
Evaluación de tecnologías
Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.
The workspace for technology assessment.
Cartera de innovación
GCRI · Puertas de etapa · Ejemplo de interfaz, no un registro
Por nivel de madurez
Criterios de preparación
piloto frente a puerta
Problemas del piloto
- I-1Data licence for pilot siteTo check9 d
- I-2Observer protocol signedDone8 d
GCRI · Cartera de innovación. Cartera de innovación: nombres de ejemplo y valores ilustrativos, no un registro.
Cuatro preguntas que sustentan cada evaluación.
Una cuarta pregunta atraviesa las otras tres: ¿qué haría fallar a la tecnología y se ha buscado?
¿Qué grado de madurez tiene?
Evidence on maturity in the intended setting, not in the most favourable one.
¿Se ha sometido a pruebas?
Independent tests against stated objectives, with the test conditions reported.
What exactly is claimed?
Declaraciones de capacidad separadas en medidas, estimadas y afirmadas.
Los niveles de preparación, lo que miden y lo que dejan fuera.
Los niveles de madurez tecnológica van de uno, principios básicos observados, a nueve, un sistema probado en su entorno operativo. Los introdujo la NASA; ISO 16290:2013 los define para sistemasespaciales, y muchas agencias usan versiones adaptadas. Un nivel de madurez describe la madurez en un entorno determinado. No dice nada sobre el coste, la seguridad en un entorno distinto, la aceptación social ni si una organización puede operar la tecnología.
| Pregunta | La evidencia que lo responde | Common gap |
|---|---|---|
| ¿Funciona como se afirma? | Independent tests against a pre-registered plan, on held-out data or in a representative environment | Vendor benchmarks on data the system was tuned to |
| ¿Funciona aquí? | Ensayos en el contexto de destino, con usuarios y condiciones locales | Transferencia desde un clima, un idioma o una infraestructura distintos |
| What does it depend on? | Bills of materials, supply and energy needs, skills required | Dependencia oculta de un único proveedor o servicio |
| ¿Cómo falla? | Adversarial and stress tests; incident records | Testing only the expected cases |
Reporting capability honestly.
- Report performance with confidence intervals and on the population it will serve, not only on aggregate test sets.
- Compruebe si hay contaminación: los datos de prueba que se filtraron en el entrenamiento inflan las puntuaciones, un problema conocido en los puntos de referencia de IA.
- For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
- Separate a demonstration, a pilot and sustained operation; each is a different claim.
The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.
Assessment reports, not approvals.
An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.
Cómo se informa de la capacidad.
- La capacidad medida se publica con la carga de trabajo, el tamaño de los datos, el hardware, la configuración, la versión del software y el intervalo
- Peak, sustained, available and allocated capacity are reported separately
- Los recuentos de dispositivos y las especificaciones son descriptores, no resultados de aplicación
- Se registran el consumo de energía, la refrigeración y el uso de agua, manteniendo las mediciones separadas de las estimaciones
- Los fallos y las limitaciones detectados durante las pruebas se notifican, no se eliminan
Del plan de evaluación al resultado registrado.
- 01
Plan de evaluación
Objetivos, métricas, condiciones y reglas de detención acordados antes de las pruebas.
- 02
Controlled test
Experimentos en los entornos de prueba de Labs o en el programa anual de Universo , con observación independiente.
- 03
Recorded result
Resultados con su método, sus límites y su etiqueta de evidencia, publicados donde los derechos lo permitan.
Testing is not certification.
An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.
Where this page’s references lead.
Los organismos y documentos con los que se lee esta página. El estado y las ediciones cambian; cada enlace lleva al organismo emisor.
- Niveles de madurez tecnológica (NASA)
- ISO 16290:2013 Sistemas espaciales, definición de los niveles de madurez tecnológica y sus criterios de evaluación (ISO)
- Collins y otros, declaración TRIPOD+AI, BMJ 385 (2024)
- Marco de la OCDE para la gobernanza anticipatoria de las tecnologías emergentes (OCDE, 2024)
- Red Parlamentaria Europea de Evaluación de Tecnologías (EPTA)
- Marco de Gestión de Riesgos de IA del NIST 1.0 (NIST AI 100-1, 2023) y el Perfil de IA generativa (NIST AI 600-1, 2024)
- NS-11, Verification and monitoring, una norma propuesta
Preguntas y respuestas.
Can a vendor cite a GCRI assessment in marketing?
¿Quién paga una evaluación?
¿Se publican los resultados negativos?
Does GCRI use readiness levels?
¿Se puede impugnar una evaluación?
Aporte evidencia desde esta página.
Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.
- Correo electrónicoPasarela GW-GCRIEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- serie ReportsGCRIVer todas las formas de contribuirLos tipos de contribución, cómo se revisa cada uno, qué crédito recibe, la licencia y qué nunca se acepta.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Aporte un método, un conjunto de datos o una pregunta.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.