Skip to content

GCRI · الهندسة

هندسة تقييم الذكاء الاصطناعي وضمانه

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.

02المنهج

What aI evaluation and assurance engineering covers.

  1. 01

    الأساليب الجوهرية

    capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.

  2. 02

    البيانات والأجهزة

    evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.

  3. 03

    التحقق

    Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

  4. 04

    الحدود

    Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

  5. 05

    الاستخدام في قرارات المخاطر

    AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.

03الممارسة المرجعية

AI assurance draws on risk frameworks, management systems and evaluation practice.

المرجعما تضعه
NIST AI RMFMeasure and manage functions
ISO/IEC 42001AI management system
EU AI Act conformity requirementsObligations for high-risk systems, applied in stages
مرصد حوادث الذكاء الاصطناعي لمنظمة التعاون الاقتصادي والتنمية (OECD AI Incidents Monitor)Record of reported AI incidents
04العملية

كيف تُسيَّر العملية.

Process explorer · Process

AI evaluation and assurance engineering: AI risk management (NIST)

9 steps5 stages1 gate

العملية

AI evaluation and assurance engineering: AI risk management (NIST)

تتضمن نواة AI RMF أربع وظائف، هي GOVERN وMAP وMEASURE وMANAGE، وتكون GOVERN شاملة لسائر الوظائف؛ والترتيب المرسوم قراءة شائعة واحدة، وليس قائمة تحقق.

  1. 01 الحوكمة

    1. 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: السياق والاستخدام المقصودمجموعة البياناتتحدد وظيفة MAP السياق اللازم لتأطير المخاطر المتعلقة بنظام ذكاء اصطناعي، بما في ذلك الأغراض المقصودة والآثار على الناس.
  3. 03 القياس

    1. 03MEASURE: تقييم خصائص الجدارة بالثقةالنموذجAI النظم الذكاء الاصطناعي من حيث خصائص الجدارة بالثقة. وينبغي اختبارها قبل النشر وبانتظام أثناء التشغيل.
    2. 04القياس (MEASURE): تتبّع المخاطر المحدَّدة بمرور الوقتالنموذجتوجد آليات لتتبع مخاطر الذكاء الاصطناعي المحددة بمرور الوقت، بما فيها المخاطر غير المتوقعة والناشئة.
  4. 04 الإدارة

    1. 05MANAGE: معالجة المخاطرخطوةمعالجة المخاطر الاستجابة للحوادث والتعافي منها والتواصل بشأنها. وتُوجَّه الموارد إلى المخاطر التي جرى تحديدها وقياسها.
    2. 06المضي قدمًا أو عدمه (MANAGE 1.1)البوابة · المكتب التقني لـ GCRIيُحدَّد ما إذا كان النظام يحقق أغراضه وأهدافه، وما إذا كان ينبغي المضي قدماً. ولا يضع الإطار أي عتبات.
    3. 07قرار النشرالقرار · المكتب الفني في المركز العالمي للمخاطر والابتكار (Global Centre for Risk and Innovation، GCRI)تقرر المنظمة التي تملك النظام ما إذا كانت ستنشره وبأي شروط.
    4. 08الرصد بعد النشر والحوادثالنموذجتُنفَّذ خطط الرصد بعد النشر. وتُشارَك الحوادث والأخطاء مع الجهات الفاعلة المعنية في مجال الذكاء الاصطناعي، بما في ذلك المجتمعات المتضررة.
  5. 05 السجل

    1. 09جرد نظم الذكاء الاصطناعيمجموعة البياناتتطلب GOVERN 1.6 وضع آليات لحصر أنظمة الذكاء الاصطناعي. وتُعد بطاقة النموذج ممارسة شائعة ولا يرد ذكرها في الإطار.

عرض محايد لمعيار أو أسلوب خارجي منشور، صادر عن الجهة المُصدِرة له. وليس سجلًا للتشغيل. ولا يقوم Nexus بأي خطوة معروضة ولا يشهد عليها ولا يوافق عليها. والبوابة أو القرار يعودان إلى الطرف الذي يسمّيه المصدر. وليست الإجراءات بالضرورة مجموعة مرتبة من الخطوات. ولا يظهر قانون الاتحاد الأوروبي للذكاء الاصطناعي في هذا المسار.

05في العمل المتعلق بالمخاطر النظمية

Evidence that an AI system is fit for its use.

Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.

  • Define the use context before evaluating.
  • Monitor after deployment; capability and use drift.
  • Record incidents and near misses.
  • Applications on AI and Autonomous Systems.
07الرعاية

من يتولى صيانة هذه الصفحة.

Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.

09أسئلة

أسئلة وأجوبة.

لماذا تستضيف مؤسسة واحدة كل صفحات الأساليب؟
يستضيف GCRI مشاعات STEM كي يكون لكل أسلوب وصف مرجعي واحد. وترتبط المنصات به بدلًا من تكراره، مما يحافظ على اتساق التعاريف.
كيف أقترح تصحيحًا لصفحة منهجية؟
راسل نموذج الإبلاغ عن شواغل النزاهة مع ذكر المقطع والسبب.
التقاريرساهم

ساهم بأدلة من هذه الصفحة.

Reports هي المطبوعة الفصلية للاتحاد. ويمكن لما تعرفه عن هذا الموضوع أن يصبح دليلًا أو حالة أو تصويبًا في الإصدار التالي، يُنسب إليك ويُنشر بموجب CC BY 4.0 حيثما كان من عملك الخاص.

GCRI
Global Centre for Risk and Innovation

قدّم منهجية أو مجموعة بيانات أو سؤالا.

المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.