Assurance cases for AI systems
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
GCRI · هوش مصنوعی و سامانههای خودمختار
AI evaluation and assurance engineering is the second method this platform stewards. It provides the evidence that an AI system is fit for a stated use: evaluations, red teaming, documentation, monitoring and the structured arguments that tie them together.
مهندسی ارزیابی و اطمینانبخشی هوش مصنوعی روشهایی برای آزمون، پایش و ایجاد اطمینان موجه به سامانههاهوش مصنوعی توسعه میدهد. این رشته عملکرد، استحکام، ایمنی و اثر اجتماعی را در سراسر چرخهٔ عمر سامانه بررسی میکند. در حوزهٔ هوش مصنوعی و داده و محاسبه، اطمینانبخشی هوش مصنوعی تعیین میکند که آیا میتوان به سامانههای خودکار در موقعیتهای پرپیامد اعتماد کرد. این رشته وقتی هوش مصنوعی در مالی، سلامت و زیرساخت نفوذ میکند به مدیریت ریسکها کمک میکند. توصیف مرجع در STEM Commons.
Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.
Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.
Incidents, complaints and performance metrics are tracked after release, and triggers for review or rollback are defined in advance.
صفحهای که یک تیم برای پیگیری این روش به کار میبرد: سنجهها، وضعیتها و تصمیمهای آن. نامها نمونهاند و مقادیر صرفاً نمایشیاند.
AI and autonomous systems · AI evaluation and assurance · Run R-0951
| توانمندی | 585 | 89 | انتشار | قبول |
| استواری | 133 | 72 | انتشار | قبول |
| Bias and fairness | 169 | 81 | انتشار | قبول |
| Misuse red team | 142 | 79 | Deploy | یافتههای باز |
Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| داده | نقش | برچسب |
|---|---|---|
| نتایج ارزیابی | Evidence for claims | مشاهدهشده |
| Red-team reports | Failure discovery | گزارششده |
| گزارشهای رخداد | Field evidence | گزارششده |
| مستندات سامانه | Scope and assumptions | DECLARED |
مدل، مفروضات، دادهها و عدم قطعیت آن، به شکلی که دانشمند یا مهندس بررسی میکند. ساختارها از روشهای منتشرشده پیروی میکنند. مقادیر ترسیمشده تبیینیاند، نه یافته.
The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)مخاطره، مواجهه، آسیبپذیری و ظرفیت مقابلهEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| فرض | چرا ساخته میشود | چگونه آزموده میشود |
|---|---|---|
| مخاطره و مواجهه در یک رویداد مستقلاند | انتگرال زیان را تحتکنترل نگه میدارد | مقایسه با برازش مفصل بر سوابق مشترک |
| جفتشدگیها نزدیک نقطهٔ کار خطیاند | اجازه میدهد شوکها از طریق A منتشر شوند | فراتر از دامنهٔ خطی آشفته کنید و مقایسه کنید |
| منحنیهای آسیبپذیری میان مکانها منتقل میشوند | منحنیهای محلی بهندرت در دسترساند | اعتبارسنجی در برابر زیانهای مشاهدهشده در جاهایی که وجود دارند |
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
| بررسی | چگونه انجام میشود |
|---|---|
| بازبینی مستقل | Assurance cases are reviewed by people not involved in development |
| بهروز بودن شواهد | Evidence is re-checked after model or deployment changes |
| گزارشدهی پوشش | Evaluations state what they did not test |
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
Process explorer · Process
9 steps·5 stages·1 gate
فرایند
هستهٔ AI RMF چهار کارکرد دارد: GOVERN، MAP، MEASURE و MANAGE، که GOVERN فراگیر است؛ ترتیب ترسیمشده یک خوانش رایج است، نه فهرست وارسی.
طرح کلی بیطرفانهٔ یک استاندارد یا روش خارجی منتشرشده، از نهاد صادرکنندهٔ آن. سابقهٔ عملیات نیست. Nexus هیچیک از گامهای نشاندادهشده را انجام، گواهی یا تأیید نمیکند. هر دروازه یا تصمیم متعلق به طرفی است که منبع نام میبرد. اقدامها لزوماً مجموعهای مرتب از گامها نیستند. قانون هوش مصنوعی اتحادیهٔ اروپا در این جریان ترسیم نشده است.
Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.
Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع میدانید میتواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.
هرگز داده شخصی، جزئیات حساس زیرساخت یا چیزی را که حق اشتراکش را ندارید نفرستید. هر مشارکت پیش از استفاده داوری میشود؛ ارسال آن حق مؤلفی یا ویرایشی نمیدهد و حمایت مالی هرگز یافتهای را نمیخرد.
اطلاعات و درخواستها امروز باز است. هر درخواست یک شمارهٔ پیگیری میگیرد و گام بعدی را مشخص میکند؛ درخواستهای عضویت، پرداختها، تخصیص رایانش و ثبتنامها تنها زمانی باز میشوند که تیم، شرایط و ظرفیت داوری آنها فراهم باشد.
نقشهها، دادهها و ارقام این سایت برای زمینه و اطلاعات عمومی نشان داده میشوند. توصیه، پیشبینی یا هشدار نیستند؛ حدود این اطلاعات در سلب مسئولیتها و اعلامیههای داده بیان شده است.
این وبگاه تنها از کوکیهای کاملاً ضروری برای کارکرد خود و به خاطر سپردن گزینههای حریم خصوصی شما استفاده میکند. هیچ چیزی از شرکتهای دیگر بارگذاری نمیشود و ما هرگز اطلاعات شخصی شما را نمیفروشیم یا به اشتراک نمیگذاریم.
این وبگاه تنها از کوکیهای کاملاً ضروری برای کارکرد خود و به خاطر سپردن گزینههای حریم خصوصی شما استفاده میکند. هیچ چیزی از شرکتهای دیگر بارگذاری نمیشود و ما هرگز اطلاعات شخصی شما را نمیفروشیم یا به اشتراک نمیگذاریم. ما هیچ تبلیغی نمایش نمیدهیم. هر زمان میتوانید گزینههای خود را از طریق «گزینههای حریم خصوصی» در پایین هر صفحه بازبینی کنید.