Distribution shift analysis
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
GCRI · الذكاء الاصطناعي والنظم المستقلة
Artificial intelligence and machine learning is the technology this platform stewards for the network. Here it is studied as a technology whose behaviour must be understood: how models learn from data, generalise, fail outside their training distribution and are adapted to specific uses.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence and data and compute, machine learning can scale detection and forecasting across interconnected النظم. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on STEM Commons.
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
General models are adapted to a narrow task with curated data, and the adapted model is evaluated for both task performance and retained safety behaviour.
Feature attribution and probing methods are used to examine which inputs drive a model’s outputs, with their limits as explanations stated.
يتصرف كل وكيل حين يتصرف عدد كافٍ من جهات اتصاله؛ وتحدد التغيرات الصغيرة في العتبة المتوسطة أو لدى السباقين الأوائل ما إذا كان السلوك سيبقى محليا أم يتتالى عبر السكان. نموذج تعليمي بقيم توضيحية معلنة، وليس تنبؤا.
الضوابط
القراءات
| خطوة | حصة من تصرفوا (%) |
|---|---|
| 0 | 2.3 |
| 1 | 6.5 |
| 2 | 16.0 |
| 3 | 28.5 |
| 4 | 47.0 |
| 5 | 65.3 |
| 6 | 80.3 |
| 7 | 93.0 |
| 8 | 99.3 |
| 9 | 100.0 |
| 10 | 100.0 |
No observed data enters this model: it runs on the teaching values set by the controls, to be replaced with a programme’s own evidence.
عبر الركائز الست، بقيادة Nexus Consortium
مجموعات البيانات والسجلات التي يستخدمها الذكاء الاصطناعي وتعلّم الآلة في هذه المنصة، مع دور كلٍّ منها والوسم الذي تحمله قيمها. وتُدرج المصادر في سجل المصادر.
| البيانات | الدور | الوسم |
|---|---|---|
| Training and validation datasets with documentation | Model development | مُعلَن |
| Deployment input logs | Shift detection | مرصود |
| Benchmark suites | Comparison | مُبلَّغ عنه |
النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.
The model structure used for machine learning behaviour, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)الخطر والتعرّض وقابلية التأثر والقدرة على المواجهةEAL = ∑k pk · Lkعلى الأحداث k ذات الاحتمال السنوي pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| افتراض | لماذا أُعدّ | كيف يُختبر |
|---|---|---|
| الخطر والتعرّض مستقلان داخل الحدث الواحد | يُبقي تكامل الخسارة قابلًا للحساب | قارن بمطابقة دالة ربط (copula) على السجلات المشتركة |
| تكون الروابط خطية قرب نقطة التشغيل | يسمح بانتشار الصدمات عبر A | ادفع خارج النطاق الخطي وقارن |
| منحنيات الهشاشة قابلة للنقل بين الأماكن | نادرًا ما تتوافر المنحنيات المحلية | التحقق مقابل الخسائر المرصودة حيثما وُجدت |
تُقيَّم النماذج على بيانات محجوزة تراعي البنية المكانية والزمانية والفئوية. وتُختبر المتانة والمعايرة والإنصاف إلى جانب الدقة.
| التحقق | كيف يُنفَّذ |
|---|---|
| Held-out evaluation | Models are evaluated on data not used for training or tuning |
| Dataset documentation | Training data carry datasheets on origin, consent and limits |
| Drift monitoring | Deployed models are monitored for input and performance drift |
يتراجع الأداء حين تختلف ظروف النشر عن بيانات التدريب. وقد ترمّز النماذج تحيزات وتخفق دون إنذار واضح في الأحداث النادرة.
استوديو الذكاء الاصطناعي و النظم الذكاء الاصطناعي وتعلّم الآلة للاتحاد، وتراجع كيفية تطبيقهما عبر المنصات.
التقارير is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.
This site uses only strictly necessary cookies to work and to remember your privacy choices. Nothing loads from other companies, and we never sell or share your personal information.
This site uses only strictly necessary cookies to work and to remember your privacy choices. Nothing loads from other companies, and we never sell or share your personal information. We run no advertising. You can review your choices at any time through Privacy choices at the foot of every page.