GCRI · مهندسی
مهندسی ارزیابی و اطمینانبخشی هوش مصنوعی
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.
مهندسی ارزیابی و اطمینانبخشی هوش مصنوعی در شش بخش.
- 01The methodWhat aI evaluation and assurance engineering covers
- 02رویهٔ مرجعاطمینانبخشی هوش مصنوعی بر چارچوبهای ریسک، نظامهای مدیریت و رویهٔ ارزیابی استوار است
- 03In systemic risk workEvidence that an AI system is fit for its use
- 04بهکاررفته درسکوهایی که این روش را به کار میگیرند
- 05تولیتمتولی این صفحه
- 06SourcesWhere this page’s references lead
آنچه مهندسی ارزیابی و اطمینانبخشی هوش مصنوعی در بر میگیرد.
- 01
روشهای محوری
capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.
- 02
دادهها و ابزارها
evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.
- 03
اعتبارسنجی
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
- 04
محدودیتها
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
- 05
کاربرد در تصمیمهای ریسک
AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.
AI assurance draws on risk frameworks, management systems and evaluation practice.
| مرجع | آنچه تعیین میکند |
|---|---|
| NIST AI RMF | Measure and manage functions |
| ISO/IEC 42001 | نظام مدیریت هوش مصنوعی |
| EU AI Act conformity requirements | Obligations for high-risk systems, applied in stages |
| OECD AI Incidents Monitor | Record of reported AI incidents |
نحوهٔ اجرای فرایند.
Process explorer · Process
AI evaluation and assurance engineering: AI risk management (NIST)
9 steps·5 stages·1 gate
فرایند
AI evaluation and assurance engineering: AI risk management (NIST)
هستهٔ AI RMF چهار کارکرد دارد: GOVERN، MAP، MEASURE و MANAGE، که GOVERN فراگیر است؛ ترتیب ترسیمشده یک خوانش رایج است، نه فهرست وارسی.
01 حکمرانی
- 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
02 Map
- 02MAP: بافتار و کاربرد مورد نظرمجموعهدادهکارکرد MAP بافتاری را برای چارچوببندی ریسکهای مرتبط با یک سامانهٔ هوش مصنوعی، شامل مقاصد مورد نظر و پیامدها برای مردم، برقرار میکند.
03 اندازهگیری
- 03سنجش: ارزیابی ویژگیهای قابلاعتمادمدلAI سامانهها هوش مصنوعی از نظر ویژگیهای اعتمادپذیری ارزیابی میشوند. این سامانهها باید پیش از استقرار و بهطور منظم در طول بهرهبرداری آزموده شوند.
- 04MEASURE: ریسکهای شناساییشده را در طول زمان پیگیری کنیدمدلسازوکارهایی برای پایش ریسکهای شناساییشدهٔ هوش مصنوعی در طول زمان برقرار است، از جمله ریسکهای پیشبینینشده و نوظهور.
04 مدیریت
- 05MANAGE: رسیدگی به ریسکهاگاممواجهه با ریسک واکنش به رخدادها، بازیابی از آنها و اطلاعرسانی دربارهٔ آنها را در بر میگیرند. منابع به ریسکهای نگاشتشده و اندازهگیریشده اختصاص مییابند.
- 06ادامه یا توقف (MANAGE 1.1)دروازه · دفتر فنی GCRIتعیین میشود که آیا سامانه اهداف و مقاصد خود را برآورده میکند و آیا باید ادامه یابد. این چارچوب هیچ آستانهای تعیین نمیکند.
- 07تصمیم استقرارتصمیم · دفتر فنی GCRIسازمانی که مالک سامانه است تصمیم میگیرد که آیا و با چه شرایطی آن را مستقر کند.
- 08پایش و رخدادهای پس از استقرارمدلطرحهای پایش پس از استقرار اجرا میشوند. رخدادها و خطاها با بازیگران مرتبط هوش مصنوعی، از جمله جوامع متأثر، به اشتراک گذاشته میشوند.
05 سابقه
- 09فهرست سامانههای هوش مصنوعیمجموعهدادهGOVERN 1.6 سازوکارهایی برای سیاههبرداری از سامانههای هوش مصنوعی میطلبد. کارت مدل رویهٔ رایج است و در این چارچوب نام برده نشده است.
طرح کلی بیطرفانهٔ یک استاندارد یا روش خارجی منتشرشده، از نهاد صادرکنندهٔ آن. سابقهٔ عملیات نیست. Nexus هیچیک از گامهای نشاندادهشده را انجام، گواهی یا تأیید نمیکند. هر دروازه یا تصمیم متعلق به طرفی است که منبع نام میبرد. اقدامها لزوماً مجموعهای مرتب از گامها نیستند. قانون هوش مصنوعی اتحادیهٔ اروپا در این جریان ترسیم نشده است.
Evidence that an AI system is fit for its use.
Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.
- Define the use context before evaluating.
- Monitor after deployment; capability and use drift.
- Record incidents and near misses.
- کاربردها در هوش مصنوعی و سامانههای خودمختار.
سکوهایی که این روش را به کار میگیرند.
چه کسی این صفحه را نگهداری میکند.
Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.
Where this page’s references lead.
نهادها و اسنادی که این صفحه بر پایهٔ آنها خوانده میشود. وضعیت و ویراستها تغییر میکنند؛ هر پیوند به نهاد صادرکننده میرود.
پرسش و پاسخ.
چرا یک نهاد میزبان همهٔ صفحههای روش است؟
چگونه اصلاحی را برای صفحهٔ یک روش پیشنهاد کنم؟
شواهد را از همین صفحه ارسال کنید.
Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع میدانید میتواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.
- ایمیلدرگاه GW-GCRIاز همین صفحه ارسال کنیدشواهد، یک اصلاحیه، یک مورد، یک روش، یک داوری، یک ترجمه یا ورودی نمایه. با برچسب این صفحه میرسد تا ویراستار مسئول آن را دریافت کند.
- Zenodoسپردهٔ بازآن را واگذار کنید و به جامعه ارائه دهیدسابقهٔ خود را با شناسهٔ ORCID خود در Zenodo منتشر کنید و سپس آن را در همانجا به جامعهٔ Reports ارسال کنید. گزینشگران آن را داوری میکنند؛ DOI از آنِ شما میماند.
- گزارشهاGCRIهمهٔ راههای مشارکت را ببینیدانواع مشارکت، نحوهٔ بررسی هر یک، اعتباری که دریافت میکنید، مجوز و آنچه هرگز پذیرفته نمیشود.
هرگز داده شخصی، جزئیات حساس زیرساخت یا چیزی را که حق اشتراکش را ندارید نفرستید. هر مشارکت پیش از استفاده داوری میشود؛ ارسال آن حق مؤلفی یا ویرایشی نمیدهد و حمایت مالی هرگز یافتهای را نمیخرد.
یک روش، یک مجموعهداده یا یک پرسش بیاورید.
اطلاعات و درخواستها امروز باز است. هر درخواست یک شمارهٔ پیگیری میگیرد و گام بعدی را مشخص میکند؛ درخواستهای عضویت، پرداختها، تخصیص رایانش و ثبتنامها تنها زمانی باز میشوند که تیم، شرایط و ظرفیت داوری آنها فراهم باشد.
اسناد حقوقی.
نقشهها، دادهها و ارقام این سایت برای زمینه و اطلاعات عمومی نشان داده میشوند. توصیه، پیشبینی یا هشدار نیستند؛ حدود این اطلاعات در سلب مسئولیتها و اعلامیههای داده بیان شده است.