GCRI · Künstliche Intelligenz und autonome Systeme
KI und öffentliche Dienste
Governments use algorithms to target benefits, detect fraud, triage health care, allocate inspections, translate and answer citizens’ questions. When these Systeme are wrong, opaque or biased, people lose services and rights they depend on, often without knowing why. This page sets out how public sector AI succeeds and fails, how it is assessed and made accountable, and what evidence serves the agencies, auditors and citizens involved.
Wie die Arbeit abläuft.
Modellregister
AI and public services · Model registry · Release gate
Modelle
| M-843 triage assistant | Öffentlicher Dienst | Hoch | 22 of 24 suites | Blockiert |
| M-266 flood nowcast | Wissenschaft | Mittel | 11 von 12 | Freigegeben |
| M-756 document search | Intern | Niedrig | 8 of 8 | Freigegeben |
| M-769 agent planner | Agentisch | Hoch | 12 of 16 | Wird evaluiert |
Modellkarte
- Verwendungszweck
- Triage-Unterstützung, Mensch entscheidet
- Außerhalb des Umfangs
- Förderfähigkeitsentscheidungen
- Bekannte Grenzen
- geringere Genauigkeit bei seltenen Fällen
- Inhaber
- Modelleigner
Vorfallprotokoll
- D-13INCErfundenes Zitat in der Zusammenfassung
- D-6MITRetrieval-Verankerung ergänzt
- D-2INCPrompt-Injection über hochgeladene Datei
- D-1MITWerkzeugberechtigung eingeschränkt
Evaluation scores
vs release threshold
Abb.Model registry: example names and illustrative values, not a record or a live system.
AI and public services: how the risk develops.
Public accountability, access and rights. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Errors fall on the vulnerable
People who depend most on public services are often those most affected by automated decisions, and least able to challenge them.
Historical data carry bias
Models trained on past decisions can reproduce discrimination present in those decisions, even when protected characteristics are excluded.
Opacity blocks challenge
When people cannot see that an algorithm was used or why it produced a result, they cannot contest it, and errors persist.
Accountability stays with the agency
Procuring a system from a vendor does not transfer responsibility. Agencies must be able to explain, audit and override algorithmic decisions.
How AI and public services is modelled, measured and tested.
Das Modell, seine Annahmen, seine Daten und seine Unsicherheit in der Form, in der eine Wissenschaftlerin oder ein Ingenieur sie prüfen würde. Die Strukturen folgen veröffentlichten Methoden. Die dargestellten Werte sind illustrativ, keine Befunde.
Systemmodell
The couplings between the systems in AI and public services: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
AI in public services touches the domains people depend on.
Public service AI studies are designed for the Reihe Evidence Brief. The EU AI Act classifies many public-service uses as high-risk; UNESCO’s Recommendation (2021) and WHO guidance (2021) set ethical expectations.
- Algorithmic impact assessments a body publishes.
- Accounts from people affected by automated decisions.
Was gemessen wird und wie gut.
Jeder Indikator trägt seine Einheit, seinen Rhythmus, die Art der zugrunde liegenden Quelle und die Evidenzkennzeichnung, die ein Wert tragen würde. Es werden keine Werte gezeigt: Ein Programm liefert sie unter seiner eigenen Autorität.
| Indikator | Einheit | Takt | Quellentyp | Kennzeichnung |
|---|---|---|---|---|
| Public algorithm registers | count of Systeme registered | per update | Government algorithm registers | Veröffentlichte Statistiken |
| Algorithmic impact assessments completed | percent of deployed systems | jährlich | Behördenaufzeichnungen | DEKLARIERT |
| Error rate by population group | difference in error rates | per audit | Algorithm audits | BEOBACHTET |
| Decisions appealed and overturned | count and percent | jährlich | Appeals records | Veröffentlichte Statistiken |
| Systems with human review of adverse decisions | percent of systems | je Prüfung | Agency documentation | DEKLARIERT |
| Audit findings on public sector algorithms | count by severity | per audit cycle | Audit office reports | BERICHTET |
Woher die Evidenz stammt.
Benannte öffentliche Datensätze und institutionelle Aufzeichnungen, jeweils mit ihrer Lizenzklasse. Quellen auf Vereinbarungsbasis werden nur zu ihren Bedingungen genutzt und niemals weiterveröffentlicht.
| Quelle | Was es liefert | Lizenzklasse |
|---|---|---|
| Government algorithm and AI registers, such as the UK Algorithmic Transparency Recording Standard records | Public records of algorithmic tools in use | Open, Open Government Licence where applicable |
| National audit office reports on algorithms | Independent audits of public sector AI | Public records, licence per office |
| OECD.AI Policy Observatory | Government AI policies and the AI Incidents Monitor | Public, OECD terms |
| Court and ombudsman decisions on automated decision-making | Legal findings on public sector algorithms | Öffentliche Aufzeichnungen |
| Canada Directive on Automated Decision-Making and its impact assessment tool | A model for impact assessment requirements | Public, Government of Canada terms |
Wer entscheidet und wozu die Evidenz dient.
Studio Künstliche Intelligenz und autonome System prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Wer entscheidet | Die Frage | Evidenz, der diese Seite dient |
|---|---|---|
| Government agencies | Whether and how to deploy an algorithm in a public service | Impact assessments; audit methods |
| Auditors and ombudspersons | Where to investigate algorithmic harm | Registers; appeals data; audit evidence |
| Parlamente | What transparency and accountability to require | Comparative policy and case evidence |
Ergebnisse, die dieses Thema hervorbringt
- Impact assessment templates for public sector AI
- Audit methods for disaggregated error and fairness
- Transparency record templates
- Case studies of public sector algorithm failures and fixes
What public-sector technologists ask.
- Is the system accurate for the whole population it serves, including minority groups?
- Can affected people understand a decision, challenge it and get it corrected?
- Who is accountable when an automated decision is wrong?
- Does automation improve access, or does it create new barriers for people without digital skills or connections?
How automated decisions go wrong.
System trained on historical administrative data inherit its biases and gaps. Risk-scoring tools can concentrate scrutiny on groups already over-represented in past enforcement. Small error rates become large numbers of wrongly affected people at national scale. When staff defer to the system, known as automation bias, errors are not caught.
Opacity compounds harm: if neither public servants nor citizens can see why a decision was made, it is hard to contest and slow to correct. Access barriers arise when services move online without alternatives.
Evidence for accountable systems.
- 01
Folgenabschätzung
Structured assessment of a system’s purpose, data, affected groups and safeguards before deployment, using Sozial- und Verhaltenswissenschaften. Quality depends on honest completion.
- 02
Fairness and error analysis
Disaggregated error rates by group, with Wahrscheinlichkeit und Statistik. Different fairness definitions can conflict, so trade-offs must be made explicit.
- 03
Explanation and contestability
Designing decision notices and appeal routes people can use. Technical explanations do not by themselves make a decision contestable.
- 04
Audit and monitoring
Ongoing checks of outcomes and complaints after deployment.
Wie es untersucht wird und was die Methoden nicht sagen können.
- 01Sozial- und VerhaltenswissenschaftenStudien zur menschlichen Aufsicht · Forschung mit betroffenen Gemeinschaften · Studien zur Einführung am ArbeitsplatzHier angewandt
- 02Engineering für KI-Evaluierung und -AssuranceAssurance Cases für KI-Systeme · Strukturiertes Red Teaming · Überwachung nach dem EinsatzHier angewandt
- 03Wahrscheinlichkeit und StatistikUnsicherheit von Benchmark-Werten · Bewertung der Kalibrierung · PrüfstichprobenHier angewandt
- 04Künstliche Intelligenz und maschinelles LernenAnalyse von Verteilungsverschiebungen · Feinabstimmung für einen bestimmten Einsatz · InterpretierbarkeitsmethodenHier angewandt
Where this page’s references lead.
Die Gremien und Dokumente, vor deren Hintergrund diese Seite gelesen wird. Status und Ausgaben ändern sich; jeder Link führt zur herausgebenden Stelle.
Fragen und Antworten.
What is automated decision-making?
What is an algorithmic impact assessment?
Can people challenge an algorithmic decision?
Should public services use AI at all?
What is automation bias?
Can affected people use the platform’s work?
Does the platform evaluate specific government systems?
Evidenz von dieser Seite aus beitragen.
Berichte is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- E-MailZugang GW-GCRIVon dieser Seite aus sendenEvidenz, eine Korrektur, ein Fall, eine Methode, eine Prüfung, eine Übersetzung oder ein Beitrag zu einem Profil. Sie kommt mit dieser Seite gekennzeichnet an, sodass die zuständige Redaktion sie erhält.
- ZenodoOffene HinterlegungHinterlegen und bei der Community einreichenVeröffentlichen Sie Ihren eigenen Eintrag auf Zenodo mit Ihrer ORCID iD und reichen Sie ihn dort bei der Reports-Community ein. Kuratorinnen und Kuratoren prüfen ihn; der DOI bleibt bei Ihnen.
- BerichteGCRIAlle Wege zum Beitragen ansehenDie Beitragsarten, wie jede geprüft wird, welche Nennung Sie erhalten, die Lizenz und was nie angenommen wird.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Bringen Sie eine Methode, einen Datensatz oder eine Frage mit.
Information und Anfragen sind heute offen. Eine Anfrage erhält ein Aktenzeichen und nennt den nächsten Schritt; Bewerbungen, Zahlungen, Rechenzuteilungen und Registrierungen öffnen erst, wenn Team, Bedingungen und Prüfkapazität bestehen.
Rechtliche Dokumente.
Karten, Daten und Zahlen auf dieser Website werden zu Kontext- und allgemeinen Informationszwecken gezeigt. Sie sind weder Beratung noch Prognosen oder Warnungen; die Grenzen der Information sind in den Haftungsausschlüssen und Datenhinweisen dargelegt.