Distribution shift analysis
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
GCRI · زیرەکی دەستکرد و سیستەمە خۆسەرەکان
Artificial intelligence and machine learning is the technology this platform stewards for the network. Here it is studied as a technology whose behaviour must be understood: how models learn from data, generalise, fail outside their training distribution and are adapted to specific uses.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence and data and compute, machine learning can scale detection and forecasting across interconnected سیستەمە. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on STEM Commons.
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
General models are adapted to a narrow task with curated data, and the adapted model is evaluated for both task performance and retained safety behaviour.
Feature attribution and probing methods are used to examine which inputs drive a model’s outputs, with their limits as explanations stated.
هەر ئەیجێنتێک کار دەکات کاتێک پەیوەندییەکانی بەشی پێویست کاریان کردبێت؛ گۆڕانی بچووک لە ئاستی تێکڕا یان جووڵەکەرە پێشەنگەکان یەکلا دەکەنەوە کە ڕەفتارەکە ناوخۆیی دەمێنێتەوە یان بەناو دانیشتواندا زنجیرە دەکات. مۆدێلی فێرکاری بە بەهای نموونەیی ڕاگەیەندراو، نەک پێشبینی.
کۆنترۆڵەکان
خوێندنەوەکان
| هەنگاو | بەشی ئەوانەی کاریان کردووە (%) |
|---|---|
| 0 | 2.3 |
| 1 | 6.5 |
| 2 | 16.0 |
| 3 | 28.5 |
| 4 | 47.0 |
| 5 | 65.3 |
| 6 | 80.3 |
| 7 | 93.0 |
| 8 | 99.3 |
| 9 | 100.0 |
| 10 | 100.0 |
No observed data enters this model: it runs on the teaching values set by the controls, to be replaced with a programme’s own evidence.
لە ناو شەش کۆڵەکەکەدا، بە سەرپەرشتیی Nexus Consortium
Datasets and records used by artificial intelligence and machine learning on this platform, with the role each plays and the label its values carry. Sources are listed in the source register.
| داتا | ڕۆڵ | ناونیشان |
|---|---|---|
| Training and validation datasets with documentation | Model development | DECLARED |
| Deployment input logs | Shift detection | چاودێریکراو |
| Benchmark suites | Comparison | REPORTED |
مۆدێلەکە، گریمانەکانی، داتاکانی و نادڵنیاییەکەی، بەو شێوەیەی زانا یان ئەندازیارێک دەیپشکنێت. پێکهاتەکان ڕێگا بڵاوکراوەکان دەگرنەبەر. بەهاکانی کێشراو نموونەییە، نەک دۆزینەوە.
The model structure used for machine learning behaviour, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)مەترسیدەر، ڕووبەڕووبوون، لاوازی و توانای مامەڵەکردنEAL = ∑k pk · Lkبەسەر ڕووداوەکانی k بە ئەگەری ساڵانەی pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| گریمانە | بۆچی دروست دەکرێت | چۆن تاقی دەکرێتەوە |
|---|---|---|
| مەترسیدەر و ڕووبەڕووبوون لە ناو پێشهاتێکدا سەربەخۆن | ئینتێگراڵی زیان بە ئاسانی دەهێڵێتەوە | بەراورد بکە لەگەڵ گونجاندنی کۆپیولا لەسەر تۆمارە هاوبەشەکان |
| هاوبەستییەکان لە نزیک خاڵی کارکردن هێڵین | ڕێگە دەدات شۆکەکان بڵاو ببنەوە لە A | لە دەرەوەی مەودای هێڵیی شڵەژێنە و بەراورد بکە |
| چەمکەکانی لاوازی لە شوێنێکەوە بۆ شوێنێکی تر دەگوازرێنەوە | چەمکی ناوخۆیی بە دەگمەن بەردەستە | لەگەڵ زیانە چاودێریکراوەکان پشتڕاستی بکەرەوە کە هەن |
Models are evaluated on held-out data that respects spatial, temporal and group structure. Robustness, calibration and fairness are tested alongside accuracy.
| بپشکنە | How it is done |
|---|---|
| Held-out evaluation | Models are evaluated on data not used for training or tuning |
| Dataset documentation | Training data carry datasheets on origin, consent and limits |
| Drift monitoring | Deployed models are monitored for input and performance drift |
Performance degrades when deployment conditions differ from training data. Models can encode biases and fail without clear warning on rare events.
زیرەکی دەستکرد و سیستەم stewards artificial intelligence and machine learning for the Consortium and reviews how it is applied across platforms.
Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
هەرگیز داتای کەسی، وردەکاریی هەستیاری ژێرخان یان هیچ شتێک مەنێرە کە مافی بڵاوکردنەوەت نییە. بەشدارییەک پێش بەکارهێنان پێداچوونەوەی بۆ دەکرێت؛ ناردنی ماف نابەخشێت بە نووسەرایەتی یان بەڕێوەبردنی ڕاگەیاندن، و پاڵپشتی دارایی هەرگیز دۆزینەوەیەک ناکڕێت.
زانیاری و پرسیار ئەمڕۆ کراوەن. پرسیارێک ژمارەی ئاماژەی پێدەدرێت و هەنگاوی دواتر دیاری دەکات؛ داواکاری، پارەدان، تەرخانکردنی کۆمپیوتەر و تۆمارکردن تەنیا کاتێک دەکرێنەوە کە تیم، مەرج و توانای پێداچوونەوەیان هەبێت.
نەخشە، داتا و وێنەکانی ئەم ماڵپەڕە بۆ ناوەڕۆک و زانیاریی گشتی پیشان دراون. ئامۆژگاری، پێشبینی یان ئاگادارکردنەوە نین؛ سنوورەکانی زانیارییەکە لە ڕەتکردنەوەی بەرپرسیارێتی و ئاگاداریی داتادا دەستنیشان کراون.
This site uses only strictly necessary cookies to work and to remember your privacy choices. Nothing loads from other companies, and we never sell or share your personal information.
This site uses only strictly necessary cookies to work and to remember your privacy choices. Nothing loads from other companies, and we never sell or share your personal information. We run no advertising. You can review your choices at any time through Privacy choices at the foot of every page.