Skip to content

GCRI · هوش مصنوعی و سامانه‌های خودمختار

ارزیابی و تضمین هوش مصنوعی

AI evaluation and assurance engineering is the second method this platform stewards. It provides the evidence that an AI system is fit for a stated use: evaluations, red teaming, documentation, monitoring and the structured arguments that tie them together.

01ثبت‌خانه

AI evaluation and assurance on the record.

سابقهٔ روشروش STEM
  1. روشمهندسی ارزیابی و اطمینان‌بخشی هوش مصنوعی
  2. متولیهوش مصنوعی و سامانه‌ها
  3. به‌کاررفته درهوش مصنوعی و سامانه‌های خودمختار
  4. داده4 ورودی
  5. Canonical pageSTEM Commons
02درخواست

What AI evaluation and assurance engineering does here.

مهندسی ارزیابی و اطمینان‌بخشی هوش مصنوعی روش‌هایی برای آزمون، پایش و ایجاد اطمینان موجه به سامانه‌هاهوش مصنوعی توسعه می‌دهد. این رشته عملکرد، استحکام، ایمنی و اثر اجتماعی را در سراسر چرخهٔ عمر سامانه بررسی می‌کند. در حوزهٔ هوش مصنوعی و داده و محاسبه، اطمینان‌بخشی هوش مصنوعی تعیین می‌کند که آیا می‌توان به سامانه‌های خودکار در موقعیت‌های پرپیامد اعتماد کرد. این رشته وقتی هوش مصنوعی در مالی، سلامت و زیرساخت نفوذ می‌کند به مدیریت ریسک‌ها کمک می‌کند. توصیف مرجع در STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Structured red teaming

Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.

پایش پس از استقرار

Incidents, complaints and performance metrics are tracked after release, and triggers for review or rollback are defined in advance.

03پایش

Evaluation suite.

صفحه‌ای که یک تیم برای پیگیری این روش به کار می‌برد: سنجه‌ها، وضعیت‌ها و تصمیم‌های آن. نام‌ها نمونه‌اند و مقادیر صرفاً نمایشی‌اند.

مجموعهٔ ارزیابی

AI and autonomous systems · AI evaluation and assurance · Run R-0951

One gate pendingGCRI · Artificial Intelligence and Autonomous Systems

Evaluation suites

توانمندی58589انتشارقبول
استواری13372انتشارقبول
Bias and fairness16981انتشارقبول
Misuse red team14279Deployیافته‌های باز

کارت روش

روش
مهندسی ارزیابی و اطمینان‌بخشی هوش مصنوعی
مدل
M-196 v1
مالک
model risk function
برچسب
مدل‌سازی‌شده

یافته‌ها

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04داده

آنچه روش مصرف می‌کند.

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

دادهنقشبرچسب
نتایج ارزیابیEvidence for claimsمشاهده‌شده
Red-team reportsFailure discoveryگزارش‌شده
گزارش‌های رخدادField evidenceگزارش‌شده
مستندات سامانهScope and assumptionsDECLARED
05روش‌ها و شواهد

چگونه ارزیابی و اطمینان‌بخشی هوش مصنوعی مدل‌سازی، اندازه‌گیری و آزمون می‌شود.

مدل، مفروضات، داده‌ها و عدم قطعیت آن، به شکلی که دانشمند یا مهندس بررسی می‌کند. ساختارها از روش‌های منتشرشده پیروی می‌کنند. مقادیر ترسیم‌شده تبیینی‌اند، نه یافته.

مدل، معادلات و مفروضات

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

ریسک عنصر iRi = f(Hi, Ei, Vi, Ci)مخاطره، مواجهه، آسیب‌پذیری و ظرفیت مقابله
زیان سالانهٔ مورد انتظارEAL = ∑k pk · Lkover events k with annual probability pk
سامانه‌های جفت‌شدهxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
فرضچرا ساخته می‌شودچگونه آزموده می‌شود
مخاطره و مواجهه در یک رویداد مستقل‌اندانتگرال زیان را تحت‌کنترل نگه می‌داردمقایسه با برازش مفصل بر سوابق مشترک
جفت‌شدگی‌ها نزدیک نقطهٔ کار خطی‌انداجازه می‌دهد شوک‌ها از طریق A منتشر شوندفراتر از دامنهٔ خطی آشفته کنید و مقایسه کنید
منحنی‌های آسیب‌پذیری میان مکان‌ها منتقل می‌شوندمنحنی‌های محلی به‌ندرت در دسترس‌انداعتبارسنجی در برابر زیان‌های مشاهده‌شده در جاهایی که وجود دارند
ورودی‌ها
مجموعه‌داده‌های نسخه‌دار با خاستگاه
خروجی‌ها
توزیع‌ها، هرگز تک‌رقم‌ها
کد
منتشرشده با کارت مدل و آزمون‌ها
بازتولید
همان داده، کد، محیط و بذر
فرمول‌بندی‌های استاندارد ریسک و فضای حالت؛ مفروضات فهرست‌شده نمونهٔ روش‌اند، برای داوری بیان شده‌اند و نتیجه نیستند.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06اعتبارسنجی

نتایج چگونه بررسی می‌شوند.

Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

بررسیچگونه انجام می‌شود
بازبینی مستقلAssurance cases are reviewed by people not involved in development
به‌روز بودن شواهدEvidence is re-checked after model or deployment changes
گزارش‌دهی پوششEvaluations state what they did not test

Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

07فرایند

نحوهٔ اجرای فرایند.

Process explorer · Process

ارزیابی و اطمینان‌بخشی هوش مصنوعی: مدیریت ریسک هوش مصنوعی (NIST)

9 steps5 stages1 gate

فرایند

ارزیابی و اطمینان‌بخشی هوش مصنوعی: مدیریت ریسک هوش مصنوعی (NIST)

هستهٔ AI RMF چهار کارکرد دارد: GOVERN، MAP، MEASURE و MANAGE، که GOVERN فراگیر است؛ ترتیب ترسیم‌شده یک خوانش رایج است، نه فهرست وارسی.

  1. 01 حکمرانی

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: بافتار و کاربرد مورد نظرمجموعه‌دادهکارکرد MAP بافتاری را برای چارچوب‌بندی ریسک‌های مرتبط با یک سامانهٔ هوش مصنوعی، شامل مقاصد مورد نظر و پیامدها برای مردم، برقرار می‌کند.
  3. 03 اندازه‌گیری

    1. 03سنجش: ارزیابی ویژگی‌های قابل‌اعتمادمدلAI سامانه‌ها هوش مصنوعی از نظر ویژگی‌های اعتمادپذیری ارزیابی می‌شوند. این سامانه‌ها باید پیش از استقرار و به‌طور منظم در طول بهره‌برداری آزموده شوند.
    2. 04MEASURE: ریسک‌های شناسایی‌شده را در طول زمان پیگیری کنیدمدلسازوکارهایی برای پایش ریسک‌های شناسایی‌شدهٔ هوش مصنوعی در طول زمان برقرار است، از جمله ریسک‌های پیش‌بینی‌نشده و نوظهور.
  4. 04 مدیریت

    1. 05MANAGE: رسیدگی به ریسک‌هاگاممواجهه با ریسک واکنش به رخدادها، بازیابی از آن‌ها و اطلاع‌رسانی دربارهٔ آن‌ها را در بر می‌گیرند. منابع به ریسک‌های نگاشت‌شده و اندازه‌گیری‌شده اختصاص می‌یابند.
    2. 06Proceed or not (MANAGE 1.1)Gate · AI risk committeeA determination is made whether the system meets its purposes and objectives, and whether to proceed. The framework sets no thresholds.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08پایش و رخدادهای پس از استقرارمدلطرح‌های پایش پس از استقرار اجرا می‌شوند. رخدادها و خطاها با بازیگران مرتبط هوش مصنوعی، از جمله جوامع متأثر، به اشتراک گذاشته می‌شوند.
  5. 05 سابقه

    1. 09فهرست سامانه‌های هوش مصنوعیمجموعه‌دادهGOVERN 1.6 سازوکارهایی برای سیاهه‌برداری از سامانه‌های هوش مصنوعی می‌طلبد. کارت مدل رویهٔ رایج است و در این چارچوب نام برده نشده است.

طرح کلی بی‌طرفانهٔ یک استاندارد یا روش خارجی منتشرشده، از نهاد صادرکنندهٔ آن. سابقهٔ عملیات نیست. Nexus هیچ‌یک از گام‌های نشان‌داده‌شده را انجام، گواهی یا تأیید نمی‌کند. هر دروازه یا تصمیم متعلق به طرفی است که منبع نام می‌برد. اقدام‌ها لزوماً مجموعه‌ای مرتب از گام‌ها نیستند. قانون هوش مصنوعی اتحادیهٔ اروپا در این جریان ترسیم نشده است.

09تولیت

چه کسی روش را نگهداری می‌کند.

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10پرسش‌ها

پرسش و پاسخ.

What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
نتایج چگونه بررسی می‌شوند؟
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
آیا مقادیر این صفحه واقعی‌اند؟
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
این روش در کجاهای دیگر به کار می‌رود؟
رصدخانهٔ صفحهٔ مرجع روش هر سکویی را که آن را به کار می‌گیرد فهرست می‌کند.
گزارش‌هامشارکت

شواهد را از همین صفحه ارسال کنید.

Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع می‌دانید می‌تواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.

GCRIهوش مصنوعی و سامانه‌های خودمختارفناوری نماییشواهد Labs
هوش مصنوعی و سامانه‌های خودمختار

یک روش، یک مجموعه‌داده یا یک پرسش بیاورید.

اطلاعات و درخواست‌ها امروز باز است. هر درخواست یک شمارهٔ پیگیری می‌گیرد و گام بعدی را مشخص می‌کند؛ درخواست‌های عضویت، پرداخت‌ها، تخصیص رایانش و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت داوری آن‌ها فراهم باشد.