Skip to content

GCRI · 인공지능과 자율 시스템

AI 평가와 보증

AI evaluation and assurance engineering is the second method this platform stewards. It provides the evidence that an AI system is fit for a stated use: evaluations, red teaming, documentation, monitoring and the structured arguments that tie them together.

01등록

AI evaluation and assurance on the record.

방법 기록STEM 방법
  1. 방법AI 평가 및 보증 공학
  2. 관리자인공지능과 자율 시스템
  3. 적용 분야인공지능과 자율 시스템
  4. 데이터입력 4개
  5. 정본 페이지STEM 공유지
02신청서

AI 평가 및 보증 엔지니어링이 여기서 하는 일.

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence and data and compute, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on the STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Structured red teaming

Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.

배포 후 모니터링

출시 후 사고, 민원, 성과 지표를 추적하며, 검토 또는 롤백의 발동 조건을 사전에 정의합니다.

03모니터링

Evaluation suite.

팀이 이 방법을 따라가는 데 사용할 화면으로, 그 지표, 상태, 결정을 보여 줍니다. 이름은 예시이며 값은 설명용입니다.

Evaluation suite

AI and autonomous systems · AI evaluation and assurance · Run R-0951

One gate pendingGCRI · Artificial Intelligence and Autonomous Systems

평가 모음

역량58589릴리스통과
견고성13372릴리스통과
Bias and fairness16981릴리스통과
Misuse red team14279배포미결 지적 사항

방법 카드

방법
AI 평가 및 보증 공학
모델링
M-196 v1
소유자
model risk function
라벨
모형 산출

조사 결과

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04데이터

방법이 사용하는 입력.

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

데이터역할라벨
평가 결과Evidence for claims관측
Red-team reportsFailure discovery보고됨
사고 로그Field evidence보고됨
System documentationScope and assumptions신고됨
05방법과 근거

How AI evaluation and assurance is modelled, measured and tested.

모형, 그 가정, 데이터, 불확실성을 과학자나 엔지니어가 확인할 형태로 제시합니다. 구조는 발행된 방법을 따릅니다. 제시된 값은 예시이며 결과가 아닙니다.

모형, 방정식 및 가정

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

요소 i의 리스크Ri = f(Hi, Ei, Vi, Ci)재해, 노출, 취약성, 대처 역량
연간 기대 손실EAL = ∑k pk · Lkover events k with annual probability pk
결합 시스템xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
가정만드는 이유시험 방법
한 사건 안에서 재해와 노출은 서로 독립적임손실 적분을 다루기 쉽게 유지함결합 기록에 적합한 코퓰러와 비교
결합은 운전점 근처에서 선형이다충격이 A를 통해 전파되게 함선형 범위를 넘어 섭동을 주고 비교하십시오
취약성 곡선은 장소 간에 옮겨 쓸 수 있다지역 곡선은 거의 없다관측된 손실이 있는 곳에서는 이에 대해 검증
투입 자료
출처 정보가 있는 버전 관리 데이터세트
산출물
분포이며 결코 단일 숫자가 아님
코드
모델 카드 및 시험과 함께 공개
재현
같은 데이터, 코드, 환경과 시드
표준 리스크 및 상태공간 정식화로, 나열된 가정은 해당 방법에 일반적인 것이며 검토를 위해 명시한 것으로 결과가 아닙니다.
FAIR 지침 원칙 · GO FAIR와 FORCE11W3C PROV · 월드 와이드 웹 컨소시엄불확실성의 일관된 처리에 관한 지침 · IPCCCEOS 분석 준비 데이터(Analysis Ready Data) · 지구관측위성위원회
06검증

결과가 점검되는 방식.

Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

점검수행 방식
독립 검토Assurance cases are reviewed by people not involved in development
Evidence currencyEvidence is re-checked after model or deployment changes
포괄 범위 보고Evaluations state what they did not test

벤치마크는 실제 사용 환경이나 새로운 역량을 반영하지 못할 수 있습니다. 범용 시스템은 동작 범위가 열려 있어 완전한 시험이 어렵습니다.

07절차

프로세스가 진행되는 방식.

Process explorer · Process

AI 평가 및 보증: AI 리스크 관리(NIST)

9 steps5 stages1 gate

절차

AI 평가 및 보증: AI 리스크 관리(NIST)

AI RMF Core에는 GOVERN, MAP, MEASURE, MANAGE의 네 가지 기능이 있으며 GOVERN은 전 영역에 걸쳐 적용됩니다. 여기에 그려진 순서는 일반적인 해석 중 하나일 뿐 점검표가 아닙니다.

  1. 01 거버넌스

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: 맥락과 의도된 용도데이터셋MAP 기능은 AI 시스템과 관련된 리스크를 구조화하기 위한 맥락을 설정하며, 여기에는 의도된 목적과 사람에 대한 영향이 포함됩니다.
  3. 03 측정

    1. 03측정: 신뢰할 수 있는 특성 평가모델링AI 시스템 은 신뢰할 수 있는 특성에 대해 평가됩니다. 배포 전과 운영 중에 정기적으로 시험해야 합니다.
    2. 04MEASURE: 식별된 리스크를 시간에 따라 추적모델링예상하지 못한 리스크와 새롭게 나타나는 리스크를 포함하여, 식별된 AI 리스크를 시간에 따라 추적하는 체계가 마련되어 있습니다.
  4. 04 관리

    1. 05MANAGE: 리스크 처리단계리스크 대응 계획은 사고에 대한 대응, 사고로부터의 복구, 사고에 관한 소통을 포함합니다. 자원은 파악되고 측정된 리스크에 배분됩니다.
    2. 06진행 여부 (MANAGE 1.1)관문 · AI 리스크 위원회시스템이 목적과 목표를 충족하는지, 그리고 계속 진행할지 여부를 판단합니다. 이 프레임워크는 임계값을 정하지 않습니다.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08배포 후 모니터링과 사고모델링배포 후 모니터링 계획이 이행됩니다. 사고와 오류는 영향을 받는 커뮤니티를 포함한 관련 AI 행위자와 공유됩니다.
  5. 05 기록

    1. 09AI 시스템 목록데이터셋GOVERN 1.6은 AI 시스템의 목록을 작성하는 체계를 요구합니다. 모델 카드는 일반적인 관행이며, 프레임워크에는 명시되어 있지 않습니다.

발행 기관이 공개한 외부 표준이나 방법을 중립적으로 요약한 개요입니다. 운영 기록이 아닙니다. Nexus는 표시된 어떤 단계도 수행, 인증 또는 승인하지 않습니다. 관문이나 결정은 출처가 명시한 당사자에게 속합니다. 조치들이 반드시 순서가 정해진 단계인 것은 아닙니다. EU AI 법은 이 흐름에 표시되지 않습니다.

09스튜어드십

방법을 유지하는 주체.

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10질문

질문과 답변.

What are the limits of AI evaluation and assurance engineering in this field?
벤치마크는 실제 사용 환경이나 새로운 역량을 반영하지 못할 수 있습니다. 범용 시스템은 동작 범위가 열려 있어 완전한 시험이 어렵습니다.
결과는 어떻게 점검됩니까?
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
이 페이지의 값은 실제입니까?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
이 방법은 다른 어디에 적용됩니까?
사회를 움직이는 정본 방법 페이지 는 이를 적용하는 모든 플랫폼을 나열합니다.
보고서기여하기

이 페이지에서 증거를 기여하십시오.

Reports는 컨소시엄의 분기별 간행물입니다. 이 주제에 관해 귀하가 아는 것은 다음 호에서 근거, 사례 또는 정정이 될 수 있으며, 귀하의 이름으로 표시되고, 귀하 자신의 저작인 경우 CC BY 4.0으로 발행됩니다.

GCRI인공지능과 자율 시스템기하급수 기술Labs 근거
인공지능과 자율 시스템

방법, 데이터세트 또는 질문을 가져오십시오.

정보와 문의는 오늘부터 열려 있습니다. 문의에는 참조 번호가 부여되고 다음 단계가 안내됩니다. 신청, 결제, 컴퓨팅 할당, 등록은 해당 팀, 약관, 심사 역량이 갖추어졌을 때만 열립니다.