Assurance cases for AI systems
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
GCRI · 인공지능과 자율 시스템
AI evaluation and assurance engineering is the second method this platform stewards. It provides the evidence that an AI system is fit for a stated use: evaluations, red teaming, documentation, monitoring and the structured arguments that tie them together.
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence and data and compute, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on the STEM Commons.
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.
출시 후 사고, 민원, 성과 지표를 추적하며, 검토 또는 롤백의 발동 조건을 사전에 정의합니다.
팀이 이 방법을 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.
AI and autonomous systems · AI evaluation and assurance · Run R-0951
| 역량 | 585 | 89 | 릴리스 | 통과 |
| 견고성 | 133 | 72 | 릴리스 | 통과 |
| Bias and fairness | 169 | 81 | 릴리스 | 통과 |
| Misuse red team | 142 | 79 | 배포 | 미결 지적 사항 |
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| 데이터 | 역할 | 라벨 |
|---|---|---|
| 평가 결과 | Evidence for claims | 관측 |
| Red-team reports | Failure discovery | 보고됨 |
| 사고 로그 | Field evidence | 보고됨 |
| System documentation | Scope and assumptions | 신고됨 |
모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.
The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)재해, 노출, 취약성, 대처 역량EAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 가정 | 만드는 이유 | 시험 방법 |
|---|---|---|
| 한 사건 안에서 재해와 노출은 서로 독립적임 | 손실 적분을 다루기 쉽게 유지함 | 결합 기록에 적합한 코퓰러와 비교 |
| 결합은 운전점 근처에서 선형이다 | 충격이 A를 통해 전파되게 함 | 선형 범위를 넘어 섭동을 주고 비교하십시오 |
| 취약성 곡선은 장소 간에 옮겨 쓸 수 있다 | 지역 곡선은 거의 없다 | 관측된 손실이 있는 곳에서는 이에 대해 검증 |
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| 점검 | 수행 방식 |
|---|---|
| 독립 검토 | Assurance cases are reviewed by people not involved in development |
| Evidence currency | Evidence is re-checked after model or deployment changes |
| 포괄 범위 보고 | Evaluations state what they did not test |
벤치마크는 실제 사용 환경이나 새로운 역량을 반영하지 못할 수 있습니다. 범용 시스템은 동작 범위가 열려 있어 완전한 시험이 어렵습니다.
Process explorer · Process
9 steps·5 stages·1 gate
절차
AI RMF Core에는 GOVERN, MAP, MEASURE, MANAGE의 네 가지 기능이 있으며 GOVERN은 전 영역에 걸쳐 적용됩니다. 여기에 그려진 순서는 일반적인 해석 중 하나일 뿐 점검표가 아닙니다.
발행 기관이 공개한 외부 표준이나 방법을 중립적으로 요약한 개요입니다. 운영 기록이 아닙니다. Nexus는 표시된 어떤 단계도 수행, 인증 또는 승인하지 않습니다. 관문이나 결정은 출처가 명시한 당사자에게 속합니다. 조치들이 반드시 순서가 정해진 단계인 것은 아닙니다. EU AI 법은 이 흐름에 표시되지 않습니다.
Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.
개인정보, 민감한 인프라 세부 정보, 공유할 권리가 없는 자료는 절대 보내지 마십시오. 기여물은 사용 전에 검토됩니다. 기여물을 보낸다고 해서 저작자 지위나 편집 권한이 부여되지 않으며, 후원으로 조사 결과를 얻을 수 없습니다.
정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.
이 사이트의 지도, 데이터와 그림은 맥락과 일반 정보로 제시됩니다. 조언, 예보 또는 경보가 아니며, 정보의 한계는 면책 고지와 데이터 고지에 나와 있습니다.