GCRI · Inteligência artificial e sistemas autônomos
IA e serviços públicos
Governments use algorithms to target benefits, detect fraud, triage health care, allocate inspections, translate and answer citizens’ questions. When these sistemas are wrong, opaque or biased, people lose services and rights they depend on, often without knowing why. This page sets out how public sector AI succeeds and fails, how it is assessed and made accountable, and what evidence serves the agencies, auditors and citizens involved.
Como decorre o trabalho.
Registo de modelos
AI and public services · Model registry · Release gate
Modelos
| M-843 triage assistant | Serviço público | Elevado | 22 of 24 suites | Bloqueado |
| M-266 flood nowcast | Ciência | Médio | 11 de 12 | Lançado |
| M-756 document search | Interno | Baixo | 8 of 8 | Lançado |
| M-769 agent planner | Agêntico | Elevado | 12 of 16 | Avaliando |
Ficha do modelo
- Uso previsto
- apoio à triagem, decisão humana
- Fora do âmbito
- decisões de elegibilidade
- Limites conhecidos
- menor precisão em casos raros
- Proprietário
- Responsável pelo modelo
Registo de incidentes
- D-13INCCitação alucinada no resumo
- D-6MITAncoragem de recuperação adicionada
- D-2INCInjeção de prompt por arquivo enviado
- D-1MITPermissão da ferramenta reduzida
Evaluation scores
vs release threshold
Fig.Model registry: example names and illustrative values, not a record or a live system.
AI and public services: how the risk develops.
Public accountability, access and rights. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Errors fall on the vulnerable
People who depend most on public services are often those most affected by automated decisions, and least able to challenge them.
Historical data carry bias
Models trained on past decisions can reproduce discrimination present in those decisions, even when protected characteristics are excluded.
Opacity blocks challenge
When people cannot see that an algorithm was used or why it produced a result, they cannot contest it, and errors persist.
Accountability stays with the agency
Procuring a system from a vendor does not transfer responsibility. Agencies must be able to explain, audit and override algorithmic decisions.
How AI and public services is modelled, measured and tested.
O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.
Modelo de sistema
The couplings between the systems in AI and public services: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
AI in public services touches the domains people depend on.
Public service AI studies are designed for the série Evidence Brief. The EU AI Act classifies many public-service uses as high-risk; UNESCO’s Recommendation (2021) and WHO guidance (2021) set ethical expectations.
- Algorithmic impact assessments a body publishes.
- Accounts from people affected by automated decisions.
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Public algorithm registers | count of sistemas registered | per update | Government algorithm registers | Estatísticas publicadas |
| Algorithmic impact assessments completed | percent of deployed systems | anual | Registros de órgãos | DECLARADO |
| Error rate by population group | difference in error rates | per audit | Algorithm audits | OBSERVADO |
| Decisions appealed and overturned | count and percent | anual | Appeals records | Estatísticas publicadas |
| Systems with human review of adverse decisions | percent of systems | por revisão | Agency documentation | DECLARADO |
| Audit findings on public sector algorithms | count by severity | per audit cycle | Audit office reports | REPORTADO |
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| Government algorithm and AI registers, such as the UK Algorithmic Transparency Recording Standard records | Public records of algorithmic tools in use | Open, Open Government Licence where applicable |
| National audit office reports on algorithms | Independent audits of public sector AI | Public records, licence per office |
| Observatório de Políticas OECD.AI | Government AI policies and the AI Incidents Monitor | Public, OECD terms |
| Court and ombudsman decisions on automated decision-making | Legal findings on public sector algorithms | Registros públicos |
| Canada Directive on Automated Decision-Making and its impact assessment tool | A model for impact assessment requirements | Public, Government of Canada terms |
Quem decide, e a que servem as evidências.
Estúdio de Inteligência artificial e sistemas prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Government agencies | Whether and how to deploy an algorithm in a public service | Impact assessments; audit methods |
| Auditors and ombudspersons | Where to investigate algorithmic harm | Registers; appeals data; audit evidence |
| Legislativos | What transparency and accountability to require | Comparative policy and case evidence |
Produtos que este tema gera
- Impact assessment templates for public sector AI
- Audit methods for disaggregated error and fairness
- Transparency record templates
- Case studies of public sector algorithm failures and fixes
What public-sector technologists ask.
- Is the system accurate for the whole population it serves, including minority groups?
- Can affected people understand a decision, challenge it and get it corrected?
- Who is accountable when an automated decision is wrong?
- Does automation improve access, or does it create new barriers for people without digital skills or connections?
How automated decisions go wrong.
sistemas trained on historical administrative data inherit its biases and gaps. Risk-scoring tools can concentrate scrutiny on groups already over-represented in past enforcement. Small error rates become large numbers of wrongly affected people at national scale. When staff defer to the system, known as automation bias, errors are not caught.
Opacity compounds harm: if neither public servants nor citizens can see why a decision was made, it is hard to contest and slow to correct. Access barriers arise when services move online without alternatives.
Evidence for accountable systems.
- 01
Avaliação de impacto
Structured assessment of a system’s purpose, data, affected groups and safeguards before deployment, using ciências sociais e comportamentais. Quality depends on honest completion.
- 02
Fairness and error analysis
Disaggregated error rates by group, with probabilidade e estatística. Different fairness definitions can conflict, so trade-offs must be made explicit.
- 03
Explanation and contestability
Designing decision notices and appeal routes people can use. Technical explanations do not by themselves make a decision contestable.
- 04
Audit and monitoring
Ongoing checks of outcomes and complaints after deployment.
Como é estudado e o que os métodos não podem dizer.
- 01Ciências sociais e comportamentaisEstudos sobre supervisão humana · Pesquisa com comunidades afetadas · Estudos sobre adoção no local de trabalhoAplicado aqui
- 02Engenharia de avaliação e garantia de IACasos de garantia para sistemas de IA · Red teaming estruturado · Monitoramento pós-implantaçãoAplicado aqui
- 03Probabilidade e estatísticaIncerteza das pontuações de benchmark · Avaliação da calibração · Amostragem de auditoriaAplicado aqui
- 04Inteligência artificial e aprendizado de máquinaAnálise de mudança de distribuição · Ajuste fino para um uso específico · Métodos de interpretabilidadeAplicado aqui
Where this page’s references lead.
Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.
Perguntas e respostas.
What is automated decision-making?
What is an algorithmic impact assessment?
Can people challenge an algorithmic decision?
Should public services use AI at all?
What is automation bias?
Can affected people use the platform’s work?
Does the platform evaluate specific government systems?
Contribua com evidências a partir desta página.
Relatórios is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoDepósito abertoDeposite-o e envie à comunidadePublique seu próprio registro no Zenodo com seu ORCID iD e depois envie-o à comunidade Reports ali. Os curadores o revisam; o DOI continua sendo seu.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.