Skip to content

GCRI · Labs

实验室科学中的机器学习

机器学习在本实验室中既是工具,也是研究对象。它辅助文献筛选、实验设计、图像与序列分析以及模拟,同时需要自身的评估规范:数据泄漏、 分布偏移 和不透明的失效模式属于需要检验的研究风险,不能想当然地忽略。

02申请

人工智能与机器学习在此处的作用。

人工智能与机器学习开发能够从数据中学习模式的算法,用于分类、预测或生成输出。它们越来越多地用于危害检测、预报和决策支持,其本身也是一种风险来源。在研究与证据、方法与建模以及创新领域,机器学习可以在相互关联的 系统中扩大检测和预测的规模。当自动化输出为重大决策提供依据时,必须权衡其自身的失效模式。规范性说明见 STEM Commons.

Assisted screening for systematic reviews

分类器对记录排序,供人工筛选;召回率以完全筛选的样本衡量,停止规则在筛选开始前于审查方案中载明。

用于指导实验的代理模型

基于模拟或过往运行训练的模型会建议接下来开展哪些实验,利用不确定性在探索与确认之间取得平衡,每项建议在计入之前都要经过实物测试。

Image and signal analysis in the lab

Segmentation and classification models are validated against expert annotation from other sites and instruments, with failure cases catalogued and shared alongside the model.

03监测

模型训练。

团队遵循该方法时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。

模型训练

Labs · 实验室中的机器学习 · 运行 R-4300

Drift on one sliceGCRI · Labs

按切片评估

全部0.790.047294通过
区域 A0.840.041004审核
区域 B0.790.12594审核
稀有类别0.670.1467低于标准

方法卡

方法
人工智能与机器学习
拆分
基于时间,无信息泄漏
功能
22
标签
模型生成

人口稳定性

Model training: the screen’s structure, terms and states for Labs.Example names and illustrative values; a design, not a record or a live system.
04数据

该方法使用的输入。

本平台上人工智能与机器学习所使用的数据集与记录,注明各自的作用及其数值所附的标签。来源列于 来源登记册.

数据角色标签
Annotated benchmark datasets训练与评估已报告
Laboratory instrument outputs分析模型的输入观测
模拟档案训练代理模型模型生成
Model and dataset cards预期用途与已知局限已声明
05方法与证据

实验室科学中的机器学习如何建模、衡量和检验。

模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。

模型、方程与假设

The model structure used for machine learning in laboratory science, the assumptions it makes and how each is tested.

要素 i 的风险Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力
预期年度损失EAL = ∑k pk · Lkover events k with annual probability pk
耦合系统xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
假设为何制作如何检验
在一次事件中,危害与暴露相互独立使损失积分保持可计算与基于联合记录拟合的 copula 进行比较
耦合在工作点附近是线性的让冲击通过 A 传播在线性范围之外施加扰动并比较
脆弱性曲线可以在不同地点之间迁移使用很少有本地曲线可用在有观测损失的地方据此进行验证
输入
带溯源信息的版本化数据集
成果
分布,绝不是单一数字
代码
连同模型卡和测试一起发布
复现
相同的数据、代码、环境和随机种子
标准的风险与状态空间表述;所列假设是该方法的典型假设,供审查之用,并非结果。
FAIR 指导原则 · GO FAIR 和 FORCE11W3C PROV · 万维网联盟关于一致处理不确定性的指南 · IPCCCEOS 分析就绪数据 · 地球观测卫星委员会
06验证

结果如何核查。

模型在尊重空间、时间与群体结构的留出数据上进行评估。在测试准确性的同时,也测试稳健性、校准与公平性。

核查如何开展
泄漏审计Splits are made by subject, site or time as the question requires, and preprocessing is fitted on training data only
外部验证绩效依据来源或时期不同的数据进行报告
校准与稳健性Probabilities are checked for calibration, and performance under plausible perturbations is reported
报告清单Studies are reported against REFORMS, TRIPOD+AI or the relevant domain checklist

当部署条件与训练数据不同时,性能会下降。模型可能固化偏见,并在罕见事件上毫无明显预警地失效。

07流程

流程如何运行。

Process explorer · Process

实验室科学中的机器学习:人工智能风险管理(NIST)

9 steps5 stages1 gate

流程

实验室科学中的机器学习:人工智能风险管理(NIST)

AI RMF 核心包含四项职能:GOVERN、MAP、MEASURE 和 MANAGE,其中 GOVERN 贯穿其他各项;图中所示顺序只是一种常见的解读方式,并非检查清单。

  1. 01 治理

    1. 01GOVERN:政策、角色与问责步骤 · 首席研究员GOVERN 是贯穿各环节的职能。它渗透于人工智能风险管理的全过程,并为其他职能提供支撑。
  2. 02 Map

    1. 02MAP:背景和预期用途数据集MAP 职能建立背景,以界定与人工智能系统相关的风险,包括预期目的和对人的影响。
  3. 03 衡量

    1. 03衡量:评估可信特性建模AI 系统 需评估其可信特性。应在部署前以及运行期间定期对其进行测试。
    2. 04MEASURE:随时间跟踪已识别的风险建模已建立随时间跟踪已识别人工智能风险的机制,包括未预见的和新出现的风险。
  4. 04 管理

    1. 05MANAGE:处置风险步骤风险处置 计划涵盖事件的响应、恢复和沟通。资源将投向已绘制和已衡量的风险。
    2. 06Proceed or not (MANAGE 1.1)Gate · Principal investigatorA determination is made whether the system meets its purposes and objectives, and whether to proceed. The framework sets no thresholds.
    3. 07部署决策决策 · 首席研究员拥有该系统的组织决定是否部署以及在何种条件下部署。
    4. 08部署后监测与事件建模部署后监测计划已实施。事件和错误将与相关人工智能参与方共享,包括受影响的社区。
  5. 05 记录

    1. 09人工智能系统清单数据集GOVERN 1.6 要求建立 AI 系统清单编制机制。模型卡是常见做法,框架中并未提及。

对已发布的外部标准或方法的中立概述,内容来自其发布机构。并非运行记录。Nexus 不执行、认证或批准所示的任何步骤。关卡或决定归属于来源所指明的一方。这些行动不一定构成有先后顺序的步骤。本流程图未纳入欧盟《人工智能法案》。

09管理责任

由谁维护该方法。

人工智能与自主系统 为 Consortium 管理人工智能与机器学习,并审查其在各平台上的应用情况。

11问题

问题与解答。

在该领域,人工智能与机器学习有哪些局限?
当部署条件与训练数据不同时,性能会下降。模型可能固化偏见,并在罕见事件上毫无明显预警地失效。
结果如何核查?
模型在尊重空间、时间与群体结构的留出数据上进行评估。在测试准确性的同时,也测试稳健性、校准与公平性。
本页面上的数值是真实的吗?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
该方法还应用于何处?
维持社会运转的 规范方法页面 列出应用该方法的每个平台。
报告贡献

从本页贡献证据。

Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。

GCRI实验室Labs 证据方法与技术
实验室

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。