Assisted screening for systematic reviews
分类器对记录排序,供人工筛选;召回率以完全筛选的样本衡量,停止规则在筛选开始前于审查方案中载明。
GCRI · Labs
机器学习在本实验室中既是工具,也是研究对象。它辅助文献筛选、实验设计、图像与序列分析以及模拟,同时需要自身的评估规范:数据泄漏、 分布偏移 和不透明的失效模式属于需要检验的研究风险,不能想当然地忽略。
人工智能与机器学习开发能够从数据中学习模式的算法,用于分类、预测或生成输出。它们越来越多地用于危害检测、预报和决策支持,其本身也是一种风险来源。在研究与证据、方法与建模以及创新领域,机器学习可以在相互关联的 系统中扩大检测和预测的规模。当自动化输出为重大决策提供依据时,必须权衡其自身的失效模式。规范性说明见 STEM Commons.
分类器对记录排序,供人工筛选;召回率以完全筛选的样本衡量,停止规则在筛选开始前于审查方案中载明。
基于模拟或过往运行训练的模型会建议接下来开展哪些实验,利用不确定性在探索与确认之间取得平衡,每项建议在计入之前都要经过实物测试。
Segmentation and classification models are validated against expert annotation from other sites and instruments, with failure cases catalogued and shared alongside the model.
团队遵循该方法时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。
Labs · 实验室中的机器学习 · 运行 R-4300
| 全部 | 0.79 | 0.04 | 7294 | 通过 |
| 区域 A | 0.84 | 0.04 | 1004 | 审核 |
| 区域 B | 0.79 | 0.12 | 594 | 审核 |
| 稀有类别 | 0.67 | 0.14 | 67 | 低于标准 |
| 数据 | 角色 | 标签 |
|---|---|---|
| Annotated benchmark datasets | 训练与评估 | 已报告 |
| Laboratory instrument outputs | 分析模型的输入 | 观测 |
| 模拟档案 | 训练代理模型 | 模型生成 |
| Model and dataset cards | 预期用途与已知局限 | 已声明 |
模型、其假设、数据和不确定性,以科学家或工程师会核查的形式呈现。结构遵循已发表的方法。所取数值仅为示意,不是研究发现。
The model structure used for machine learning in laboratory science, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)危害、风险暴露、脆弱性和应对能力EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 假设 | 为何制作 | 如何检验 |
|---|---|---|
| 在一次事件中,危害与暴露相互独立 | 使损失积分保持可计算 | 与基于联合记录拟合的 copula 进行比较 |
| 耦合在工作点附近是线性的 | 让冲击通过 A 传播 | 在线性范围之外施加扰动并比较 |
| 脆弱性曲线可以在不同地点之间迁移使用 | 很少有本地曲线可用 | 在有观测损失的地方据此进行验证 |
模型在尊重空间、时间与群体结构的留出数据上进行评估。在测试准确性的同时,也测试稳健性、校准与公平性。
| 核查 | 如何开展 |
|---|---|
| 泄漏审计 | Splits are made by subject, site or time as the question requires, and preprocessing is fitted on training data only |
| 外部验证 | 绩效依据来源或时期不同的数据进行报告 |
| 校准与稳健性 | Probabilities are checked for calibration, and performance under plausible perturbations is reported |
| 报告清单 | Studies are reported against REFORMS, TRIPOD+AI or the relevant domain checklist |
当部署条件与训练数据不同时,性能会下降。模型可能固化偏见,并在罕见事件上毫无明显预警地失效。
Process explorer · Process
9 steps·5 stages·1 gate
流程
AI RMF 核心包含四项职能:GOVERN、MAP、MEASURE 和 MANAGE,其中 GOVERN 贯穿其他各项;图中所示顺序只是一种常见的解读方式,并非检查清单。
对已发布的外部标准或方法的中立概述,内容来自其发布机构。并非运行记录。Nexus 不执行、认证或批准所示的任何步骤。关卡或决定归属于来源所指明的一方。这些行动不一定构成有先后顺序的步骤。本流程图未纳入欧盟《人工智能法案》。
Reports 是联合体的季刊。您对该主题的了解可以成为下一期中的证据、案例或更正,署名归您,并在属于您本人作品时以 CC BY 4.0 发布。
切勿发送个人数据、敏感基础设施细节或您无权分享的任何内容。贡献在使用前会经过审查;发送贡献不赋予署名权或编辑权,赞助也绝不能换取研究结论。
本网站上的地图、数据和图表仅作为背景和一般信息展示。它们不是建议、预测或预警;信息的局限见免责声明和数据说明。