Uncertainty on benchmark scores
Bootstrap and analytical intervals are reported with every score, and differences between models are tested before rankings are stated.
GCRI · कृत्रिम बुद्धिमत्ता और स्वायत्त प्रणालियाँ
AI मूल्यांकन के लिए सांख्यिकी
Probability and statistics make AI evaluation trustworthy: confidence intervals on scores, significance of differences between models, calibration of predicted probabilities and sampling designs for audits. In this field they stop small test sets and noisy metrics from being over-read.
01रजिस्टर करें
Statistics for AI evaluation on the record.
पद्धति अभिलेखSTEM पद्धति
- पद्धतिप्रायिकता और सांख्यिकी
- संरक्षकप्रणाली विज्ञान और मॉडलिंग
- इनमें लागूकृत्रिम बुद्धिमत्ता और स्वायत्त प्रणालियाँ
- डेटा3 inputs
- जाँचें3 सत्यापन चरण
- प्रामाणिक पृष्ठSTEM कॉमन्स
02आवेदन
What probability and statistics does here.
Probability and statistics provide the mathematical framework for describing uncertainty and learning from data. They underpin estimation, testing and prediction in every risk discipline. In artificial intelligence and data and compute, statistical methods quantify the likelihood and uncertainty of losses across interconnected प्रणालियाँ. They make the evidence behind risk decisions explicit and reproducible. The canonical description is on STEM Commons.
Calibration assessment
Predicted probabilities are compared with observed outcomes to check whether a model’s confidence matches its accuracy.
Audit sampling
Samples of decisions are drawn with stated designs so that error rates for subgroups can be estimated with known precision.
03पद्धतियाँ और साक्ष्य
How Statistics for AI evaluation is modelled, measured and tested.
मॉडल, उसकी मान्यताएँ, उसका डेटा और उसकी अनिश्चितता, उस रूप में जिसे कोई वैज्ञानिक या अभियंता जाँचेगा। संरचनाएँ प्रकाशित पद्धतियों का अनुसरण करती हैं। लिए गए मान उदाहरणात्मक हैं, निष्कर्ष नहीं।
मॉडल, समीकरण और मान्यताएँ
The model structure used for Statistics for AI evaluation, the assumptions it makes and how each is tested.
तत्व i का जोखिम
Ri = f(Hi, Ei, Vi, Ci)संकट, जोखिम-संपर्क, भेद्यता और सामना करने की क्षमताअपेक्षित वार्षिक हानि
EAL = ∑k pk · Lkवार्षिक प्रायिकता pkयुग्मित प्रणालियाँ
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| धारणा | यह क्यों बनाया जाता है | इसका परीक्षण कैसे होता है |
|---|---|---|
| एक घटना के भीतर संकट और जोखिम-संपर्क स्वतंत्र हैं | नुकसान समाकलन को हल करने योग्य रखता है | संयुक्त अभिलेखों पर कोपुला फ़िट से तुलना करें |
| संचालन बिंदु के पास युग्मन रैखिक हैं | झटकों को A के माध्यम से फैलने देता है | रैखिक सीमा से आगे विक्षोभ दें और तुलना करें |
| भेद्यता वक्र स्थानों के बीच स्थानांतरित होते हैं | स्थानीय वक्र शायद ही कभी उपलब्ध होते हैं | जहाँ प्रेक्षित हानियाँ मौजूद हों, उनके विरुद्ध सत्यापन करें |
- इनपुट
- उद्गम के साथ संस्करणबद्ध डेटासेट
- परिणाम
- वितरण, कभी एकल संख्याएँ नहीं
- Code
- मॉडल कार्ड और परीक्षणों के साथ जारी
- पुनरुत्पादन
- वही डेटा, कोड, परिवेश और सीड
FAIR मार्गदर्शक सिद्धांत · GO FAIR और FORCE11W3C PROV · World Wide Web Consortiumअनिश्चितताओं के सुसंगत उपचार पर मार्गदर्शन · IPCCCEOS विश्लेषण-योग्य डेटा · Committee on Earth Observation Satellites
04डेटा
पद्धति क्या उपभोग करती है।
Datasets and records used by probability and statistics on this platform, with the role each plays and the label its values carry. Sources are listed in स्रोत रजिस्टर.
| डेटा | भूमिका | लेबल |
|---|---|---|
| Evaluation outputs | Score estimation | प्रेक्षित |
| Labelled audit samples | Error estimation | प्रेक्षित |
| Prediction logs | अंशांकन | प्रेक्षित |
05प्रक्रिया
प्रक्रिया कैसे चलती है।
Process explorer · Process
Statistics for AI evaluation: Catastrophe model pipeline
10 steps·5 चरण
प्रक्रिया
Statistics for AI evaluation: Catastrophe model pipeline
आपदा मॉडलों में सामान्यतः संकट, भेद्यता, जोखिम-संपर्क और वित्तीय मॉड्यूल होते हैं, और वे हानि तालिकाएँ, औसत वार्षिक नुकसान, अतिक्रमण वक्र, PML और TVaR उत्पन्न करते हैं।
01 संकट
- 01घटना सूचीडेटासेट · मॉडल विकासकर्तासंकट मॉड्यूल में अनुकरणित घटनाओं की एक बड़ी सूची होती है जो संभावित परिदृश्यों की विस्तृत श्रृंखला का प्रतिनिधित्व करती है।
- 03संकट मॉड्यूलमॉडल · मॉडल विकासकर्ताप्रत्येक घटना के लिए संकट मॉड्यूल स्थानीय संकट तीव्रता देता है जिसे भेद्यता मॉड्यूल पढ़ता है।
02 जोखिम-संपर्क और क्षति
- 02जोखिम-अनावरणDataset · Incident responderजोखिम-संपर्क मॉड्यूल पोर्टफ़ोलियो डेटा रखता है, जैसे स्थान-विशिष्ट जानकारी।
- 04भेद्यता मॉड्यूलमॉडल · मॉडल विकासकर्ताभेद्यता मॉड्यूल किसी घटना से जोखिम-संपर्क वाली परिसंपत्तियों को होने वाली अपेक्षित क्षति का परिमाण निर्धारित करता है।
03 वित्तीय
- 05वित्तीय मॉड्यूलModel · Incident responderवित्तीय मॉड्यूल सभी घटना परिदृश्यों से हानियों की गणना करता है। मूल, सकल और शुद्ध हानियाँ नीचे दिखाए अनुसार भिन्न होती हैं।
- 06घटना हानि तालिकाDataset · Incident responderघटना हानि तालिका प्रत्येक घटना को उसकी वार्षिक घटित होने की प्रायिकता और पोर्टफ़ोलियो के लिए उसकी हानि के साथ सूचीबद्ध करती है।
- 07वार्षिक हानि तालिकाDataset · Incident responderकुछ मॉडल घटना हानियों से अनुकरणित वर्षों का नमूना भी लेते हैं। यह रूपरेखा उनके प्रारूप का वर्णन नहीं करती।
04 मापदंड
- 08अतिक्रमण संभाव्यता वक्रModel · Incident responderघटना वक्र यह संभावना देता है कि किसी वर्ष की सबसे बड़ी हानि किसी राशि से अधिक हो। समग्र वक्र हानियों के योग के लिए यही करता है।
- 09AAL, PML और TVaRModel · Incident responderऔसत वार्षिक हानि घटना प्रायिकता गुणा हानि का योग है। PML घटना वक्र पर एक बिंदु है।
05 परिणामों का उपयोग
- 10परिणामों का उपयोगDecision · Incident responderThe tail metrics are used when considering a portfolio’s exposure and the level of catastrophe reinsurance an insurer requires.
किसी बाहरी मानक या पद्धति की रूपरेखा, उसके सार्वजनिक स्रोतों से। यह वर्णन करती है कि ढाँचा क्या कहता है, किसी संचालन का अभिलेख नहीं। यह नहीं दिखाती कि Nexus या कोई भागीदार कोई चरण निष्पादित, प्रमाणित या स्वीकृत करता है। गेट पद्धति का एक चरण है, कभी Nexus स्वीकृति नहीं।
06सत्यापन
परिणामों की जाँच कैसे होती है।
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
| जाँचें | यह कैसे किया जाता है |
|---|---|
| Interval reporting | Every metric is reported with its uncertainty |
| Multiple comparisons | Comparisons across many tasks are corrected for multiple testing |
| Sample size planning | Audit samples are sized to detect differences of stated magnitude |
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
08प्रबंधकत्व
पद्धति का रखरखाव कौन करता है।
प्रणाली विज्ञान और मॉडलिंग stewards probability and statistics for the Consortium and reviews how it is applied across platforms.
09जुड़ा हुआ
यह पृष्ठ पूरे कंसोर्टियम में कहाँ ले जाता है।
10प्रश्न
प्रश्न और उत्तर।
What are the limits of probability and statistics in this field?
Inference depends on assumptions about independence, distribution and sampling that may not hold. Small or biased samples limit reliability.
परिणामों की जाँच कैसे होती है?
Results are checked through diagnostics, cross-validation and sensitivity to assumptions. Independent replication confirms findings.
क्या इस पृष्ठ के मान वास्तविक हैं?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
यह पद्धति और कहाँ लागू होती है?
समाज को चलाने वाली प्रामाणिक पद्धति पृष्ठ उसे लागू करने वाले हर प्लेटफ़ॉर्म को सूचीबद्ध करता है।
रिपोर्टयोगदान दें
इस पृष्ठ से साक्ष्य का योगदान करें।
रिपोर्ट is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIकृत्रिम बुद्धिमत्ता और स्वायत्त प्रणालियाँघातांकीय प्रौद्योगिकीLabs साक्ष्य
- ईमेलगेटवे GW-GCRIइसे इसी पृष्ठ से भेजेंसाक्ष्य, सुधार, मामला, पद्धति, समीक्षा, अनुवाद या प्रोफ़ाइल इनपुट। यह इस पृष्ठ के टैग के साथ पहुँचता है, ताकि इसे सँभालने वाले संपादक को मिल जाए।
- Zenodoखुला जमाइसे जमा करें और समुदाय को प्रस्तुत करेंअपने ORCID iD के साथ Zenodo पर अपना अभिलेख प्रकाशित करें, फिर वहाँ Reports समुदाय को प्रस्तुत करें। संरक्षक उसकी समीक्षा करते हैं; DOI आपका ही रहता है।
- रिपोर्टGCRIयोगदान के सभी तरीके देखेंयोगदान के प्रकार, प्रत्येक की समीक्षा कैसे होती है, आपको क्या श्रेय मिलता है, लाइसेंस और क्या कभी स्वीकार नहीं किया जाता।
व्यक्तिगत डेटा, संवेदनशील अवसंरचना का विवरण या ऐसी कोई भी सामग्री कभी न भेजें जिसे साझा करने का आपको अधिकार नहीं है। उपयोग से पहले योगदान की समीक्षा होती है; इसे भेजने से लेखकत्व या संपादकीय अधिकार नहीं मिलते, और प्रायोजन कभी किसी निष्कर्ष को नहीं खरीदता।
कृत्रिम बुद्धिमत्ता और स्वायत्त प्रणालियाँ
कोई विधि, डेटासेट या प्रश्न लाएँ।
जानकारी और पूछताछ आज से खुली हैं। हर पूछताछ को एक संदर्भ मिलता है और अगला कदम बताया जाता है; आवेदन, भुगतान, कंप्यूट आवंटन और पंजीकरण तभी खुलते हैं जब उनकी टीम, शर्तें और समीक्षा क्षमता मौजूद हों।
विधिक
कानूनी दस्तावेज़।
इस साइट पर मानचित्र, डेटा और आँकड़े संदर्भ और सामान्य जानकारी के लिए दिखाए जाते हैं। वे सलाह, पूर्वानुमान या चेतावनियाँ नहीं हैं; जानकारी की सीमाएँ अस्वीकरण और डेटा सूचनाओं में बताई गई हैं।