Skip to content

GCRI · Innovación y cambio tecnológico

Evaluación de tecnologías

Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.

01Espacio de trabajo

The workspace for technology assessment.

Cartera de innovación

GCRI · Puertas de etapa · Ejemplo de interfaz, no un registro

Gate review in 8 dGCRI · GCRI

Por nivel de madurez

TRL 2 a 301
Ciclo de revisión de métodosconcepto probado
TRL 4 a 502
Auditoría de etiquetas de evidenciavalidación en laboratorio
Construcción del Modelo Nacionalvalidación en laboratorio
TRL 6 a 701
Planificación de la edición de informespiloto con el responsable
Revisión de adopción01
Diseño anual de la misióndecide el responsable

Criterios de preparación

piloto frente a puerta

Evidencia del efecto85 of 70 requiredSalvaguardias60 of 80 requiredCosto operativo conocido40 of 60 requiredCompromiso del responsable43 of 75 required

Problemas del piloto

  1. I-1Data licence for pilot siteTo check9 d
  2. I-2Observer protocol signedDone8 d
Cartera de innovación.Interfaz ilustrativa; no son datos en vivo.

GCRI · Cartera de innovación. Cartera de innovación: nombres de ejemplo y valores ilustrativos, no un registro.

02Qué se examina

Cuatro preguntas que sustentan cada evaluación.

Una cuarta pregunta atraviesa las otras tres: ¿qué haría fallar a la tecnología y se ha buscado?

Preparación

¿Qué grado de madurez tiene?

Evidence on maturity in the intended setting, not in the most favourable one.

Validación

¿Se ha sometido a pruebas?

Independent tests against stated objectives, with the test conditions reported.

Claims

What exactly is claimed?

Declaraciones de capacidad separadas en medidas, estimadas y afirmadas.

03Readiness scales

Los niveles de preparación, lo que miden y lo que dejan fuera.

Los niveles de madurez tecnológica van de uno, principios básicos observados, a nueve, un sistema probado en su entorno operativo. Los introdujo la NASA; ISO 16290:2013 los define para sistemasespaciales, y muchas agencias usan versiones adaptadas. Un nivel de madurez describe la madurez en un entorno determinado. No dice nada sobre el coste, la seguridad en un entorno distinto, la aceptación social ni si una organización puede operar la tecnología.

PreguntaLa evidencia que lo respondeCommon gap
¿Funciona como se afirma?Independent tests against a pre-registered plan, on held-out data or in a representative environmentVendor benchmarks on data the system was tuned to
¿Funciona aquí?Ensayos en el contexto de destino, con usuarios y condiciones localesTransferencia desde un clima, un idioma o una infraestructura distintos
What does it depend on?Bills of materials, supply and energy needs, skills requiredDependencia oculta de un único proveedor o servicio
¿Cómo falla?Adversarial and stress tests; incident recordsTesting only the expected cases
04Práctica de medición

Reporting capability honestly.

  • Report performance with confidence intervals and on the population it will serve, not only on aggregate test sets.
  • Compruebe si hay contaminación: los datos de prueba que se filtraron en el entrenamiento inflan las puntuaciones, un problema conocido en los puntos de referencia de IA.
  • For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
  • Separate a demonstration, a pilot and sustained operation; each is a different claim.

The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.

05GCRI’s part

Assessment reports, not approvals.

An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.

06Measurement rules

Cómo se informa de la capacidad.

  • La capacidad medida se publica con la carga de trabajo, el tamaño de los datos, el hardware, la configuración, la versión del software y el intervalo
  • Peak, sustained, available and allocated capacity are reported separately
  • Los recuentos de dispositivos y las especificaciones son descriptores, no resultados de aplicación
  • Se registran el consumo de energía, la refrigeración y el uso de agua, manteniendo las mediciones separadas de las estimaciones
  • Los fallos y las limitaciones detectados durante las pruebas se notifican, no se eliminan
07Cómo se ejecutan las pruebas

Del plan de evaluación al resultado registrado.

  1. 01

    Plan de evaluación

    Objetivos, métricas, condiciones y reglas de detención acordados antes de las pruebas.

  2. 02

    Controlled test

    Experimentos en los entornos de prueba de Labs o en el programa anual de Universo , con observación independiente.

  3. 03

    Recorded result

    Resultados con su método, sus límites y su etiqueta de evidencia, publicados donde los derechos lo permitan.

08Límites

Testing is not certification.

An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.

10Preguntas

Preguntas y respuestas.

Can a vendor cite a GCRI assessment in marketing?
Solo como cita factual del resultado publicado, con su alcance y sus límites, y nunca como certificación ni aval. Las tergiversaciones pueden notificarse a la dirección de integridad.
¿Quién paga una evaluación?
Terms are set out for each testbed call or agreement. Payment never buys a result, and evaluation never depends on a high contribution.
¿Se publican los resultados negativos?
Yes, where rights allow. A technology that fails a test produces a result as valid as one that passes.
Does GCRI use readiness levels?
Readiness is described with evidence for the specific setting. Where a recognised readiness scale is referenced, it is named and the evidence for the level is shown.
¿Se puede impugnar una evaluación?
Yes. Providers, researchers and the public can challenge a published assessment through the integrity route. An accepted correction creates a new recorded version with its history.
serie ReportsContribuir

Aporte evidencia desde esta página.

Reports es la publicación trimestral del Consortium. Lo que usted sabe sobre este tema puede convertirse en evidencia, un caso o una corrección en la próxima edición, con su crédito y publicado bajo licencia CC BY 4.0 cuando se trate de obra propia.

GCRI
El Global Centre for Risk and Innovation

Aporte un método, un conjunto de datos o una pregunta.

La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.