Skip to content

GCRI · 创新与技术变革

技术评估

关于技术的主张很容易提出,却难以核查。全球风险与创新中心(Global Centre for Risk and Innovation,GCRI)的技术评估要问的是:一项技术实际能做什么、在什么条件下、依据什么证据、有哪些局限。这样,各机构在采用、采购或监管之前,就能区分演示与可靠能力。属于 创新与技术变革.

01工作空间

The workspace for technology assessment.

创新管线

GCRI · 阶段关口 · 示例界面,并非记录

Gate review in 8 dGCRI · GCRI

按就绪等级

TRL 2 至 301
方法审查周期概念已验证
TRL 4 至 502
证据标签审计实验室验证
国家模型构建实验室验证
TRL 6 至 701
报告版次规划与所有方共同试点
采纳审查01
年度任务设计由所有方决定

准备度标准

试点与关口

效果证据85 项(要求 70 项)保障措施60 of 80 required运营成本已知40 of 60 required所有者承诺43 of 75 required

试点问题

  1. I-1试点站点的数据许可待核查9 天后到期
  2. I-2观察员协议已签署已完成8 天后到期
创新管线。示意界面;并非实时数据。

GCRI · 创新管线。 创新管线:示例名称和示意数值,并非记录。

02审查内容

每项评估背后的四个问题。

A fourth question runs through all three: what would make the technology fail, and has that been looked for?

准备度

成熟度如何?

Evidence on maturity in the intended setting, not in the most favourable one.

验证

是否经过测试?

针对既定目标的独立测试,并报告测试条件。

Claims

What exactly is claimed?

能力声明区分为实测、估算和自称三类。

03成熟度量表

准备度等级:其衡量的内容以及未涵盖的内容。

技术成熟度等级从一级(观察到基本原理)到九级(系统在其运行环境中得到验证)。NASA 提出了这一概念;ISO 16290:2013 为空间 系统对其作出了定义,许多机构使用改编版本。成熟度等级描述的是在既定环境中的成熟程度。它并不说明成本、在不同场景下的安全性、社会接受度,或某个组织是否有能力运行该技术。

问题Evidence that answers itCommon gap
它是否如所称那样有效?Independent tests against a pre-registered plan, on held-out data or in a representative environmentVendor benchmarks on data the system was tuned to
在此适用吗?在目标情境中开展试验,涉及本地用户和本地条件从不同的气候、语言或基础设施迁移而来
它取决于什么?Bills of materials, supply and energy needs, skills required对单一供应商或服务的隐性依赖
它如何失效?Adversarial and stress tests; incident recordsTesting only the expected cases
04Measurement practice

如实报告能力。

  • Report performance with confidence intervals and on the population it will serve, not only on aggregate test sets.
  • 检查数据污染:泄漏到训练集中的测试数据会抬高得分,这是 AI 基准测试中已知的问题。
  • For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
  • Separate a demonstration, a pilot and sustained operation; each is a different claim.

The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.

05GCRI’s part

Assessment reports, not approvals.

An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.

06测量规则

能力如何报告。

  • 已测得的能力连同工作负载、数据规模、硬件、配置、软件版本和区间一并发布
  • 峰值、持续、可用和已分配容量分别报告
  • 设备数量和规格属于描述性信息,而非应用成果
  • 对能源、制冷和用水情况进行跟踪,实测数据与估算数据分开保存
  • 测试中发现的失败和局限会被如实报告,而不是被删除
07测试如何运行

从评估计划到已记录的结果。

  1. 01

    Evaluation plan

    目标、指标、条件和停止规则在测试前商定。

  2. 02

    Controlled test

    在 Labs 测试环境 或年度 宇宙 计划中开展实验,并进行独立观察。

  3. 03

    记录结果

    在权利允许的情况下发布的结果,附有方法、局限和证据标签。

08边界

Testing is not certification.

An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.

10问题

问题与解答。

供应商能否在营销中引用 GCRI 的评估?
仅可作为对已发布结果的事实性引用,并须注明其范围和局限,不得作为认证或背书。如发现失实陈述,可向诚信专用地址举报。
谁支付评估费用?
条款针对每次试验平台征集或协议分别设定。付款不能换取结果,评估也绝不取决于高额捐助。
是否发表负面结果?
是的,只要权利允许。未通过测试的技术所产生的结果,与通过测试的技术一样有效。
GCRI 是否使用就绪度等级?
Readiness is described with evidence for the specific setting. Where a recognised readiness scale is referenced, it is named and the evidence for the level is shown.
评估结果可以提出异议吗?
是的。提供方、研究人员和公众均可通过诚信渠道对已发布的评估提出质疑。被接受的更正会生成带有其历史记录的新的记录版本。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

GCRI
全球风险与创新中心(The Global Centre for Risk and Innovation)

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。