Skip to content

GCRI · 人工智能与自主系统

领域概览

作为风险领域的人工智能与自主 系统 研究习得模型、软件智能体和机器人在现实世界中的行为方式,如何衡量其行为,以及其失效如何传播到依赖它们的机构、基础设施和人们的生活之中。本页界定该领域,说明其对社会的重要性,阐述专家研究的内容,并展示它如何与其他风险相关联。

STEM 方法
7
该领域应用的规范方法
主题
8
该领域的主题页面
对口方
3
网络中共享领域的各平台
报告系列
2
它参与的 Reports 系列
01定义

从算法到已部署的系统。

学习

模型与数据

训练数据、目标和架构如何塑造行为,包括失效模式。

保证

评估与监督

How 系统 如何接受测试、监测并保持在有意义的人类控制之下。

Embodiment

现实世界中的自主

在机器人和车辆中,感知、规划与控制如何相互作用。

该领域将 人工智能与机器学习(系统从数据中学习的方法)与人工智能评估与保证工程(对系统进行测试和保证的工程学科)结合起来。它还延伸到 机器人与自动化(人工智能控制物理机器的领域),以及高性能、云与边缘计算(训练和运行模型的基础设施)。

作为风险领域,它由后果界定:当模型泛化不佳、智能体误用工具、机器人误读环境,或许多系统存在同一缺陷时会发生什么。 社会与行为科学 也是该领域的一部分,因为人工智能的影响取决于人们如何使用、信任和质疑它。

02监测

领域概览。

团队跟踪该主题时会使用的界面:其指标、状态与决策。名称为示例,数值仅作示意。

Field overview: the screen’s structure, terms and states for AI and autonomous systems.示例名称和示意数值;是设计方案,并非记录或实时系统。
03为何重要

人工智能正在成为基础设施。

  • 人工智能正通过软件智能体和物理自主,从咨询工具转变为能够采取行动的 系统 。
  • Public services increasingly use automated systems in decisions about people’s rights and access.
  • 少数模型提供方、云平台和芯片供应链支撑着众多应用。
  • 评估科学落后于能力发展,因此关于安全性和性能的说法往往难以核实。
04专家研究的内容

核心问题。

  1. 01

    测量

    评估是否衡量了其声称衡量的内容,结果能否推广?参见 模型评估.

  2. 02

    行动

    应如何向能够采取行动的 系统 授予权限?参见 智能体系统 以及自主物理系统。

  3. 03

    安全

    模型可能如何受到攻击,人工智能又会如何改变网络攻防?参见 人工智能与网络安全.

  4. 04

    使用

    人工智能如何改变科学和公共服务?参见 科学中的 AI 以及人工智能与公共服务。

  5. 05

    基础与影响

    人工智能依赖什么,又影响谁?参见 算力与能源 以及劳动与社会影响。

05关联

人工智能如何影响其他风险。

人工智能与网络安全、能源、劳动力市场、金融和公众信任相连。 依存关系与后果 解释了这些联系。治理工作通过全球风险论坛(Global Risks Forum,GRF)的 人工智能与数字治理 召集,金融部门的 模型风险 则通过全球风险联盟(Global Risks Alliance,GRA)的人工智能与金融模型风险加以研究。

06页面

领域概览中的页面。

07问题

问题与解答。

该领域等同于人工智能伦理吗?
二者有重叠,但该领域关注可衡量的行为和失效:有效性、稳健性、安全性、可靠性和影响,并以科学方法加以研究。
该领域依赖哪些方法?
机器学习、人工智能保证工程、计算、概率与统计、网络安全、社会科学和机器人学。每一项都在 STEM 基础页面.
该领域是否涵盖军事人工智能?
The platform’s scope is civilian systems and their public effects. It does not work on weapons development.
报告贡献

从本页贡献证据。

报告 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRI人工智能与自主系统指数级技术Labs 证据
人工智能与自主系统

带来一种方法、一个数据集或一个问题。

信息和咨询现已开放。每项咨询都会获得一个编号,并告知下一步;申请、付款、算力分配和注册只有在相应团队、条款和审查能力就绪时才会开放。