Skip to content

GCRI · Inteligência artificial e sistemas autônomos

Visão geral do campo

A IA e os sistemas autônomos, como campo de risco, estudam como modelos aprendidos, agentes de software e robôs se comportam no mundo real, como seu comportamento pode ser medido e como suas falhas se propagam para as instituições, infraestruturas e vidas que dependem deles. Esta página define o campo, explica por que ele importa para a sociedade, apresenta o que os especialistas estudam e mostra como se conecta a outros riscos.

Métodos STEM
7
Métodos canónicos que este campo aplica
Temas
8
Páginas temáticas na área
Contrapartes
3
Plataformas em campos partilhados em toda a rede
Séries de relatórios
2
Séries de Reports para as quais contribui
01Definição

Dos algoritmos aos sistemas implantados.

Aprendizagem

Modelos e dados

Como os dados de treinamento, os objetivos e as arquiteturas moldam o comportamento, incluindo os modos de falha.

Asseguração

Avaliação e supervisão

Como a Gestão de sistemas são testados, monitorados e mantidos sob controle humano significativo.

Embodiment

Autonomia no mundo

Como percepção, planejamento e controle interagem em robôs e veículos.

O campo combina a inteligência artificial e aprendizagem automática, os métodos pelos quais os sistemas aprendem a partir de dados, com a avaliação de IA e a engenharia de garantia, a disciplina de engenharia que os testa e garante. Estende-se à robótica e automação, em que a IA controla máquinas físicas, e à computação de alto desempenho, em nuvem e de borda, a infraestrutura que treina e executa os modelos.

Como campo de risco, define-se pelas consequências: o que acontece quando um modelo generaliza mal, quando um agente faz mau uso de uma ferramenta, quando um robô interpreta mal seu ambiente ou quando muitos sistemas compartilham a mesma falha. As ciências sociais e comportamentais fazem parte do campo porque os efeitos da IA dependem de como as pessoas a usam, confiam nela e a contestam.

02Monitoramento

Visão geral do campo.

A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.

Field overview: the screen’s structure, terms and states for AI and autonomous systems.Nomes de exemplo e valores ilustrativos; um projeto, não um registro nem um sistema ativo.
03Por que isso importa

A IA está se tornando infraestrutura.

  • A IA está passando de ferramentas consultivas a sistemas que agem, por meio de agentes de software e da autonomia física.
  • Public services increasingly use automated systems in decisions about people’s rights and access.
  • Um pequeno número de provedores de modelos, plataformas de nuvem e cadeias de suprimentos de chips sustenta muitas aplicações.
  • A ciência da avaliação fica atrás da capacidade, de modo que as alegações sobre segurança e desempenho costumam ser difíceis de verificar.
04O que os especialistas estudam

As questões centrais.

  1. 01

    Medição

    As avaliações medem o que afirmam medir, e os resultados podem ser generalizados? Veja Avaliação de modelos.

  2. 02

    Ação

    Como a autoridade deve ser delegada a sistemas que agem? Veja Sistemas agênticos e Sistemas físicos autônomos.

  3. 03

    Segurança

    Como os modelos podem ser atacados, e como a IA pode mudar o ataque e a defesa cibernéticos? Veja IA e cibersegurança.

  4. 04

    Usar

    Como a IA muda a ciência e os serviços públicos? Veja A IA na ciência e IA e serviços públicos.

  5. 05

    Fundamentos e efeitos

    De que a IA depende, e quem ela afeta? Veja Computação e energia e Efeitos sociais e sobre o trabalho.

05Conexões

Como a IA toca outros riscos.

A IA se conecta à cibersegurança, à energia, aos mercados de trabalho, às finanças e à confiança pública. Dependências e consequências explica esses vínculos. A governança é tratada por meio de Governança da IA e do digital no Global Risks Forum (GRF), e o risco de modelo no setor financeiro é estudado por meio de IA e Risco de Modelos Financeiros na Global Risks Alliance (GRA).

06Páginas

Páginas de Panorama do campo.

07Perguntas

Perguntas e respostas.

Este campo é o mesmo que a ética da IA?
Há sobreposição, mas seu foco é o comportamento e as falhas mensuráveis: validade, robustez, segurança, confiabilidade e efeitos, estudados com métodos científicos.
Em que métodos o campo se apoia?
Aprendizado de máquina, engenharia de garantia de IA, computação, probabilidade e estatística, cibersegurança, ciências sociais e robótica. Cada um é descrito na página dos fundamentos STEM.
O campo abrange a IA militar?
The platform’s scope is civilian systems and their public effects. It does not work on weapons development.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.

GCRIInteligência artificial e sistemas autônomosTecnologia exponencialEvidências de Labs
Inteligência artificial e sistemas autônomos

Traga um método, um conjunto de dados ou uma pergunta.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.