Skip to content

GCRI · الذكاء الاصطناعي والنظم المستقلة

تقييم الذكاء الاصطناعي وضمانه

AI evaluation and assurance engineering is the second method this platform stewards. It provides the evidence that an AI system is fit for a stated use: evaluations, red teaming, documentation, monitoring and the structured arguments that tie them together.

01سجّل

AI evaluation and assurance on the record.

سجل المنهجمنهج STEM
  1. المنهجهندسة تقييم الذكاء الاصطناعي وضمانه
  2. الراعياستوديو الذكاء الاصطناعي و النظم
  3. مُطبَّق فيالذكاء الاصطناعي والنظم المستقلة
  4. البيانات4 مدخلات
  5. الصفحة المرجعية⁨STEM Commons⁩
02الطلب

What AI evaluation and assurance engineering does here.

AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. In artificial intelligence and data and compute, AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure. The canonical description is on the STEM Commons.

Assurance cases for AI systems

Claims about a system’s safety and performance for a use are broken into sub-claims, each supported by evaluation evidence, with gaps and assumptions recorded.

Structured red teaming

Adversarial testing is planned around threat models, with testers, scope, time and findings documented so that coverage can be judged.

الرصد بعد النشر

Incidents, complaints and performance metrics are tracked after release, and triggers for review or rollback are defined in advance.

03الرصد

Evaluation suite.

الشاشة التي قد يستخدمها فريق لمتابعة هذا المنهج: مقاييسه وحالاته وقراراته. والأسماء أمثلة والقيم توضيحية.

Evaluation suite

AI and autonomous systems · AI evaluation and assurance · Run R-0951

One gate pendingGCRI · Artificial Intelligence and Autonomous Systems

Evaluation suites

القدرة58589الإصدارالمرور
المتانة13372الإصدارالمرور
Bias and fairness16981الإصدارالمرور
الفريق الأحمر لإساءة الاستخدام14279Deployالملاحظات المفتوحة

بطاقة المنهج

المنهج
هندسة تقييم الذكاء الاصطناعي وضمانه
النموذج
M-196 v1
المالك
model risk function
الوسم
مُنمذَج

النتائج

  1. F-1Unsafe completion on edge promptsMitigation before deploy5 d
  2. F-2Lower accuracy on minority dialectData augmentation9 d
Evaluation suite: the screen’s structure, terms and states for AI and autonomous systems.Example names and illustrative values; a design, not a record or a live system.
04البيانات

ما يستهلكه المنهج.

Datasets and records used by AI evaluation and assurance engineering on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.

البياناتالدورالوسم
نتائج التقييمEvidence for claimsمرصود
Red-team reportsFailure discoveryمُبلَّغ عنه
Incident logsField evidenceمُبلَّغ عنه
System documentationScope and assumptionsمُعلَن
05الأساليب والأدلة

How AI evaluation and assurance is modelled, measured and tested.

النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.

النموذج والمعادلات والافتراضات

The model structure used for AI evaluation and assurance, the assumptions it makes and how each is tested.

مخاطر العنصر iRi = f(Hi, Ei, Vi, Ci)الخطر والتعرّض وقابلية التأثر والقدرة على المواجهة
الخسارة السنوية المتوقعةEAL = ∑k pk · Lkعلى الأحداث k ذات الاحتمال السنوي p⁨k⁩
النظم المقترنةxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
افتراضلماذا أُعدّكيف يُختبر
الخطر والتعرّض مستقلان داخل الحدث الواحديُبقي تكامل الخسارة قابلًا للحسابقارن بمطابقة دالة ربط (⁨copula⁩) على السجلات المشتركة
تكون الروابط خطية قرب نقطة التشغيليسمح بانتشار الصدمات عبر ⁨A⁩ادفع خارج النطاق الخطي وقارن
منحنيات الهشاشة قابلة للنقل بين الأماكننادرًا ما تتوافر المنحنيات المحليةالتحقق مقابل الخسائر المرصودة حيثما وُجدت
المدخلات
مجموعات بيانات ذات إصدارات ومزودة ببيان المصدر
المخرجات
توزيعات، لا أرقام منفردة أبدا
الرمز
يُصدر مع بطاقة النموذج والاختبارات
إعادة الإنتاج
البيانات نفسها والشيفرة نفسها والبيئة نفسها والبذرة نفسها
صيغ معيارية للمخاطر وفضاء الحالة؛ والافتراضات المدرجة نموذجية للأسلوب ومعلنة للمراجعة، وليست نتائج.
مبادئ FAIR التوجيهية · GO FAIR وFORCE11⁨W3C PROV⁩ · اتحاد الشبكة العالميةإرشادات بشأن المعالجة المتسقة لأوجه عدم اليقين · الهيئة الحكومية الدولية المعنية بتغير المناخبيانات CEOS الجاهزة للتحليل · لجنة سواتل رصد الأرض
06التحقق

كيف تُفحص النتائج.

Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.

التحققكيف يُنفَّذ
المراجعة المستقلةAssurance cases are reviewed by people not involved in development
Evidence currencyEvidence is re-checked after model or deployment changes
الإبلاغ عن التغطيةتبيّن التقييمات ما لم تختبره

Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.

07العملية

كيف تُسيَّر العملية.

Process explorer · Process

AI evaluation and assurance: AI risk management (NIST)

9 steps5 stages1 gate

العملية

AI evaluation and assurance: AI risk management (NIST)

تتضمن نواة AI RMF أربع وظائف، هي GOVERN وMAP وMEASURE وMANAGE، وتكون GOVERN شاملة لسائر الوظائف؛ والترتيب المرسوم قراءة شائعة واحدة، وليس قائمة تحقق.

  1. 01 الحوكمة

    1. 01GOVERN: policies, roles and accountabilityStep · AI risk committeeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
  2. 02 Map

    1. 02MAP: السياق والاستخدام المقصودمجموعة البياناتتحدد وظيفة MAP السياق اللازم لتأطير المخاطر المتعلقة بنظام ذكاء اصطناعي، بما في ذلك الأغراض المقصودة والآثار على الناس.
  3. 03 القياس

    1. 03MEASURE: تقييم خصائص الجدارة بالثقةالنموذجAI النظم الذكاء الاصطناعي من حيث خصائص الجدارة بالثقة. وينبغي اختبارها قبل النشر وبانتظام أثناء التشغيل.
    2. 04القياس (MEASURE): تتبّع المخاطر المحدَّدة بمرور الوقتالنموذجتوجد آليات لتتبع مخاطر الذكاء الاصطناعي المحددة بمرور الوقت، بما فيها المخاطر غير المتوقعة والناشئة.
  4. 04 الإدارة

    1. 05MANAGE: معالجة المخاطرخطوةمعالجة المخاطر الاستجابة للحوادث والتعافي منها والتواصل بشأنها. وتُوجَّه الموارد إلى المخاطر التي جرى تحديدها وقياسها.
    2. 06Proceed or not (MANAGE 1.1)Gate · AI risk committeeA determination is made whether the system meets its purposes and objectives, and whether to proceed. The framework sets no thresholds.
    3. 07Deployment decisionDecision · AI risk committeeThe organisation that owns the system decides whether and under what conditions to deploy.
    4. 08الرصد بعد النشر والحوادثالنموذجتُنفَّذ خطط الرصد بعد النشر. وتُشارَك الحوادث والأخطاء مع الجهات الفاعلة المعنية في مجال الذكاء الاصطناعي، بما في ذلك المجتمعات المتضررة.
  5. 05 السجل

    1. 09جرد نظم الذكاء الاصطناعيمجموعة البياناتتطلب GOVERN 1.6 وضع آليات لحصر أنظمة الذكاء الاصطناعي. وتُعد بطاقة النموذج ممارسة شائعة ولا يرد ذكرها في الإطار.

عرض محايد لمعيار أو أسلوب خارجي منشور، صادر عن الجهة المُصدِرة له. وليس سجلًا للتشغيل. ولا يقوم Nexus بأي خطوة معروضة ولا يشهد عليها ولا يوافق عليها. والبوابة أو القرار يعودان إلى الطرف الذي يسمّيه المصدر. وليست الإجراءات بالضرورة مجموعة مرتبة من الخطوات. ولا يظهر قانون الاتحاد الأوروبي للذكاء الاصطناعي في هذا المسار.

09الرعاية

من يحتفظ بالمنهج.

Artificial Intelligence and Autonomous Systems stewards AI evaluation and assurance engineering for the Consortium and reviews how it is applied across platforms.

10أسئلة

أسئلة وأجوبة.

What are the limits of AI evaluation and assurance engineering in this field?
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
كيف تُفحص النتائج؟
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
هل القيم المعروضة في هذه الصفحة حقيقية؟
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
أين يُطبَّق هذا المنهج أيضًا؟
تجمع صفحة المنهج المرجعية كل منصة تطبّقه.
التقاريرساهم

ساهم بأدلة من هذه الصفحة.

Reports هي المطبوعة الفصلية للاتحاد. ويمكن لما تعرفه عن هذا الموضوع أن يصبح دليلًا أو حالة أو تصويبًا في الإصدار التالي، يُنسب إليك ويُنشر بموجب CC BY 4.0 حيثما كان من عملك الخاص.

GCRIالذكاء الاصطناعي والنظم المستقلةالتقنيات الأسيةأدلة Labs
الذكاء الاصطناعي والنظم المستقلة

قدّم منهجية أو مجموعة بيانات أو سؤالا.

المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.