Skip to content

GCRI · مهندسی

مهندسی ارزیابی و اطمینان‌بخشی هوش مصنوعی

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02روش

آنچه مهندسی ارزیابی و اطمینان‌بخشی هوش مصنوعی در بر می‌گیرد.

  1. 01

    روش‌های محوری

    capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.

  2. 02

    داده‌ها و ابزارها

    evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.

  3. 03

    اعتبارسنجی

    Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

  4. 04

    محدودیت‌ها

    Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

  5. 05

    کاربرد در تصمیم‌های ریسک

    AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.

03رویهٔ مرجع

AI assurance draws on risk frameworks, management systems and evaluation practice.

مرجعآنچه تعیین می‌کند
NIST AI RMFMeasure and manage functions
ISO/IEC 42001نظام مدیریت هوش مصنوعی
EU AI Act conformity requirementsObligations for high-risk systems, applied in stages
OECD AI Incidents MonitorRecord of reported AI incidents
04فرایند

نحوهٔ اجرای فرایند.

Process explorer · Process

AI evaluation and assurance engineering: AI risk management (NIST)

9 steps5 stages1 gate

فرایند

AI evaluation and assurance engineering: AI risk management (NIST)

هستهٔ AI RMF چهار کارکرد دارد: GOVERN، MAP، MEASURE و MANAGE، که GOVERN فراگیر است؛ ترتیب ترسیم‌شده یک خوانش رایج است، نه فهرست وارسی.

  1. 01 حکمرانی

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: بافتار و کاربرد مورد نظرمجموعه‌دادهکارکرد MAP بافتاری را برای چارچوب‌بندی ریسک‌های مرتبط با یک سامانهٔ هوش مصنوعی، شامل مقاصد مورد نظر و پیامدها برای مردم، برقرار می‌کند.
  3. 03 اندازه‌گیری

    1. 03سنجش: ارزیابی ویژگی‌های قابل‌اعتمادمدلAI سامانه‌ها هوش مصنوعی از نظر ویژگی‌های اعتمادپذیری ارزیابی می‌شوند. این سامانه‌ها باید پیش از استقرار و به‌طور منظم در طول بهره‌برداری آزموده شوند.
    2. 04MEASURE: ریسک‌های شناسایی‌شده را در طول زمان پیگیری کنیدمدلسازوکارهایی برای پایش ریسک‌های شناسایی‌شدهٔ هوش مصنوعی در طول زمان برقرار است، از جمله ریسک‌های پیش‌بینی‌نشده و نوظهور.
  4. 04 مدیریت

    1. 05MANAGE: رسیدگی به ریسک‌هاگاممواجهه با ریسک واکنش به رخدادها، بازیابی از آن‌ها و اطلاع‌رسانی دربارهٔ آن‌ها را در بر می‌گیرند. منابع به ریسک‌های نگاشت‌شده و اندازه‌گیری‌شده اختصاص می‌یابند.
    2. 06ادامه یا توقف (MANAGE 1.1)دروازه · دفتر فنی GCRIتعیین می‌شود که آیا سامانه اهداف و مقاصد خود را برآورده می‌کند و آیا باید ادامه یابد. این چارچوب هیچ آستانه‌ای تعیین نمی‌کند.
    3. 07تصمیم استقرارتصمیم · دفتر فنی GCRIسازمانی که مالک سامانه است تصمیم می‌گیرد که آیا و با چه شرایطی آن را مستقر کند.
    4. 08پایش و رخدادهای پس از استقرارمدلطرح‌های پایش پس از استقرار اجرا می‌شوند. رخدادها و خطاها با بازیگران مرتبط هوش مصنوعی، از جمله جوامع متأثر، به اشتراک گذاشته می‌شوند.
  5. 05 سابقه

    1. 09فهرست سامانه‌های هوش مصنوعیمجموعه‌دادهGOVERN 1.6 سازوکارهایی برای سیاهه‌برداری از سامانه‌های هوش مصنوعی می‌طلبد. کارت مدل رویهٔ رایج است و در این چارچوب نام برده نشده است.

طرح کلی بی‌طرفانهٔ یک استاندارد یا روش خارجی منتشرشده، از نهاد صادرکنندهٔ آن. سابقهٔ عملیات نیست. Nexus هیچ‌یک از گام‌های نشان‌داده‌شده را انجام، گواهی یا تأیید نمی‌کند. هر دروازه یا تصمیم متعلق به طرفی است که منبع نام می‌برد. اقدام‌ها لزوماً مجموعه‌ای مرتب از گام‌ها نیستند. قانون هوش مصنوعی اتحادیهٔ اروپا در این جریان ترسیم نشده است.

05در کار ریسک سامانه‌ای

Evidence that an AI system is fit for its use.

Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.

07تولیت

چه کسی این صفحه را نگهداری می‌کند.

Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.

08منابع

Where this page’s references lead.

نهادها و اسنادی که این صفحه بر پایهٔ آن‌ها خوانده می‌شود. وضعیت و ویراست‌ها تغییر می‌کنند؛ هر پیوند به نهاد صادرکننده می‌رود.

09پرسش‌ها

پرسش و پاسخ.

چرا یک نهاد میزبان همهٔ صفحه‌های روش است؟
GCRI میزبان STEM Commons است تا هر روش یک توصیف مرجع واحد داشته باشد. سکوها به آن پیوند می‌دهند و آن را تکرار نمی‌کنند؛ این کار یکنواختی تعاریف را حفظ می‌کند.
چگونه اصلاحی را برای صفحهٔ یک روش پیشنهاد کنم؟
نامه بنویسید به فرم نگرانی درستی‌سنجی بنویسید.
گزارش‌هامشارکت

شواهد را از همین صفحه ارسال کنید.

Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع می‌دانید می‌تواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.

GCRI
⁨Global Centre for Risk and Innovation⁩

یک روش، یک مجموعه‌داده یا یک پرسش بیاورید.

اطلاعات و درخواست‌ها امروز باز است. هر درخواست یک شمارهٔ پیگیری می‌گیرد و گام بعدی را مشخص می‌کند؛ درخواست‌های عضویت، پرداخت‌ها، تخصیص رایانش و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت داوری آن‌ها فراهم باشد.