GCRI · Inteligencia artificial y sistemas autónomos
IA y servicios públicos
Governments use algorithms to target benefits, detect fraud, triage health care, allocate inspections, translate and answer citizens’ questions. When these sistemas are wrong, opaque or biased, people lose services and rights they depend on, often without knowing why. This page sets out how public sector AI succeeds and fails, how it is assessed and made accountable, and what evidence serves the agencies, auditors and citizens involved.
Cómo se desarrolla el trabajo.
Registro de modelos
AI and public services · Model registry · Release gate
Modelos
| M-843 triage assistant | Servicio público | Alto | 22 of 24 suites | Bloqueado |
| M-266 flood nowcast | Ciencia | Medio | 11 de 12 | Publicado |
| M-756 document search | Interno | Bajo | 8 of 8 | Publicado |
| M-769 agent planner | Agéntico | Alto | 12 of 16 | En evaluación |
Ficha del modelo
- Uso previsto
- apoyo al triaje, decide una persona
- Fuera de alcance
- decisiones de elegibilidad
- Límites conocidos
- menor precisión en casos raros
- Propietario
- Propietario del modelo
Registro de incidentes
- D-13INCCita alucinada en el resumen
- D-6MITFundamentación de la recuperación añadida
- D-2INCInyección de instrucciones mediante un archivo cargado
- D-1MITPermiso de herramienta restringido
Evaluation scores
vs release threshold
Fig.Model registry: example names and illustrative values, not a record or a live system.
AI and public services: how the risk develops.
Public accountability, access and rights. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Errors fall on the vulnerable
People who depend most on public services are often those most affected by automated decisions, and least able to challenge them.
Historical data carry bias
Models trained on past decisions can reproduce discrimination present in those decisions, even when protected characteristics are excluded.
Opacity blocks challenge
When people cannot see that an algorithm was used or why it produced a result, they cannot contest it, and errors persist.
Accountability stays with the agency
Procuring a system from a vendor does not transfer responsibility. Agencies must be able to explain, audit and override algorithmic decisions.
How AI and public services is modelled, measured and tested.
El modelo, sus supuestos, sus datos y su incertidumbre, en la forma en que un científico o un ingeniero los comprobaría. Las estructuras siguen métodos publicados. Los valores representados son ilustrativos, no hallazgos.
Modelo de sistema
The couplings between the systems in AI and public services: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
AI in public services touches the domains people depend on.
Public service AI studies are designed for the serie Evidence Brief. The EU AI Act classifies many public-service uses as high-risk; UNESCO’s Recommendation (2021) and WHO guidance (2021) set ethical expectations.
- Algorithmic impact assessments a body publishes.
- Accounts from people affected by automated decisions.
Qué se mide y con qué calidad.
Cada indicador lleva su unidad, su periodicidad, el tipo de fuente que lo respalda y la etiqueta de evidencia que llevaría un valor. No se muestran valores: un programa los aporta bajo su propia autoridad.
| Indicador | Unidad | Cadencia | Tipo de fuente | Etiqueta |
|---|---|---|---|---|
| Public algorithm registers | count of sistemas registered | per update | Government algorithm registers | Estadísticas publicadas |
| Algorithmic impact assessments completed | percent of deployed systems | anual | Registros de los organismos | DECLARADO |
| Error rate by population group | difference in error rates | per audit | Algorithm audits | OBSERVADO |
| Decisions appealed and overturned | count and percent | anual | Appeals records | Estadísticas publicadas |
| Systems with human review of adverse decisions | percent of systems | por revisión | Agency documentation | DECLARADO |
| Audit findings on public sector algorithms | count by severity | per audit cycle | Audit office reports | NOTIFICADO |
De dónde procede la evidencia.
Conjuntos de datos públicos y registros institucionales identificados, cada uno con su tipo de licencia. Las fuentes obtenidas por acuerdo solo se utilizan conforme a sus condiciones y nunca se republican.
| Fuente | Lo que aporta | Tipo de licencia |
|---|---|---|
| Government algorithm and AI registers, such as the UK Algorithmic Transparency Recording Standard records | Public records of algorithmic tools in use | Open, Open Government Licence where applicable |
| National audit office reports on algorithms | Independent audits of public sector AI | Public records, licence per office |
| Observatorio de Políticas de IA de la OCDE (OECD.AI) | Government AI policies and the AI Incidents Monitor | Public, OECD terms |
| Court and ombudsman decisions on automated decision-making | Legal findings on public sector algorithms | Registros públicos |
| Canada Directive on Automated Decision-Making and its impact assessment tool | A model for impact assessment requirements | Public, Government of Canada terms |
Quién decide y a qué sirve la evidencia.
Estudio de Inteligencia artificial y sistemas prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Quién decide | La pregunta | Evidencia a la que sirve esta página |
|---|---|---|
| Government agencies | Whether and how to deploy an algorithm in a public service | Impact assessments; audit methods |
| Auditors and ombudspersons | Where to investigate algorithmic harm | Registers; appeals data; audit evidence |
| Parlamentos | What transparency and accountability to require | Comparative policy and case evidence |
Productos que genera este tema
- Impact assessment templates for public sector AI
- Audit methods for disaggregated error and fairness
- Transparency record templates
- Case studies of public sector algorithm failures and fixes
What public-sector technologists ask.
- Is the system accurate for the whole population it serves, including minority groups?
- Can affected people understand a decision, challenge it and get it corrected?
- Who is accountable when an automated decision is wrong?
- Does automation improve access, or does it create new barriers for people without digital skills or connections?
How automated decisions go wrong.
sistemas trained on historical administrative data inherit its biases and gaps. Risk-scoring tools can concentrate scrutiny on groups already over-represented in past enforcement. Small error rates become large numbers of wrongly affected people at national scale. When staff defer to the system, known as automation bias, errors are not caught.
Opacity compounds harm: if neither public servants nor citizens can see why a decision was made, it is hard to contest and slow to correct. Access barriers arise when services move online without alternatives.
Evidence for accountable systems.
- 01
Evaluación de impacto
Structured assessment of a system’s purpose, data, affected groups and safeguards before deployment, using ciencias sociales y del comportamiento. Quality depends on honest completion.
- 02
Fairness and error analysis
Disaggregated error rates by group, with probabilidad y estadística. Different fairness definitions can conflict, so trade-offs must be made explicit.
- 03
Explanation and contestability
Designing decision notices and appeal routes people can use. Technical explanations do not by themselves make a decision contestable.
- 04
Audit and monitoring
Ongoing checks of outcomes and complaints after deployment.
Cómo se estudia y lo que los métodos no pueden decir.
- 01Ciencias sociales y del comportamientoEstudios de supervisión humana · Investigación con comunidades afectadas · Estudios de adopción en el lugar de trabajoAplicado aquí
- 02Ingeniería de evaluación y garantía de la IACasos de aseguramiento para sistemas de IA · Ejercicios de equipo rojo estructurados · Seguimiento posterior al despliegueAplicado aquí
- 03Probabilidad y estadísticaIncertidumbre de las puntuaciones de referencia · Evaluación de la calibración · Muestreo de auditoríaAplicado aquí
- 04Inteligencia artificial y aprendizaje automáticoAnálisis del cambio de distribución · Ajuste fino para un uso específico · Métodos de interpretabilidadAplicado aquí
Where this page’s references lead.
Los organismos y documentos con los que se lee esta página. El estado y las ediciones cambian; cada enlace lleva al organismo emisor.
Preguntas y respuestas.
What is automated decision-making?
What is an algorithmic impact assessment?
Can people challenge an algorithmic decision?
Should public services use AI at all?
What is automation bias?
Can affected people use the platform’s work?
Does the platform evaluate specific government systems?
Aporte evidencia desde esta página.
serie Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- Correo electrónicoPasarela GW-GCRIEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoDepósito abiertoDeposítelo y envíelo a la comunidadPublique su propio registro en Zenodo con su ORCID iD y luego envíelo a la comunidad de Reports allí. Los curadores lo revisan; el DOI sigue siendo suyo.
- serie ReportsGCRIVer todas las formas de contribuirLos tipos de contribución, cómo se revisa cada uno, qué crédito recibe, la licencia y qué nunca se acepta.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Aporte un método, un conjunto de datos o una pregunta.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.