GCRI · अभियांत्रिकी
AI मूल्यांकन और आश्वासन अभियांत्रिकी
AI evaluation and assurance engineering develops methods to test, monitor and provide justified confidence in AI systems. It addresses performance, robustness, safety and societal impact across the system life cycle. Artificial Intelligence and Autonomous Systems stewards this page for the Nexus Consortium.
AI evaluation and assurance engineering in six parts.
- 01The methodWhat aI evaluation and assurance engineering covers
- 02Reference practiceAI assurance draws on risk frameworks, management systems and evaluation practice
- 03In systemic risk workEvidence that an AI system is fit for its use
- 04इनमें लागूइस पद्धति को लागू करने वाले प्लेटफ़ॉर्म
- 05प्रबंधकत्वइस पृष्ठ का अनुरक्षण कौन करता है
- 06SourcesWhere this page’s references lead
What aI evaluation and assurance engineering covers.
- 01
मूल पद्धतियाँ
capability and safety evaluation; red teaming; robustness and adversarial testing; bias and fairness assessment; assurance case development; post-deployment monitoring.
- 02
डेटा और उपकरण
evaluation benchmarks; incident reports; model documentation; deployment logs; human feedback records.
- 03
सत्यापन
Evaluation methods are checked for reliability and relevance to deployment conditions. Independent replication and third-party audits test claims.
- 04
सीमाएँ
Benchmarks may not reflect real-world use or novel capabilities. General-purpose systems have open-ended behaviour that resists complete testing.
- 05
जोखिम निर्णयों में उपयोग
AI assurance determines whether automated systems can be trusted in high-consequence settings. It helps manage risks when AI is embedded across finance, health and infrastructure.
AI assurance draws on risk frameworks, management systems and evaluation practice.
| संदर्भ | यह क्या निर्धारित करता है |
|---|---|
| NIST AI RMF | Measure and manage functions |
| ISO/IEC 42001 | AI management system |
| EU AI Act के अनुरूपता संबंधी अपेक्षाएँ | Obligations for high-risk systems, applied in stages |
| OECD AI Incidents Monitor | Record of reported AI incidents |
प्रक्रिया कैसे चलती है।
Process explorer · Process
AI evaluation and assurance engineering: AI risk management (NIST)
9 steps·5 stages·1 gate
प्रक्रिया
AI evaluation and assurance engineering: AI risk management (NIST)
AI RMF Core के चार कार्य हैं: GOVERN, MAP, MEASURE और MANAGE, जिनमें GOVERN सर्वव्यापी है; चित्र में दिखाया गया क्रम एक प्रचलित पठन है, कोई जाँच-सूची नहीं।
01 शासन
- 01GOVERN: policies, roles and accountabilityStep · the Global Centre for Risk and Innovation (GCRI) technical officeGOVERN is a cross-cutting function. It is infused throughout AI risk management and enables the other functions.
02 Map
- 02MAP: संदर्भ और अभिप्रेत उपयोगडेटासेटMAP कार्य किसी AI प्रणाली से जुड़े जोखिमों को रेखांकित करने का संदर्भ स्थापित करता है, जिसमें अभिप्रेत उद्देश्य और लोगों पर प्रभाव शामिल हैं।
03 मापन
- 03मापन: विश्वसनीय विशेषताओं का मूल्यांकनमॉडल बनाएँAI प्रणालियाँ का मूल्यांकन विश्वसनीयता की विशेषताओं के लिए किया जाता है। परिनियोजन से पहले और संचालन के दौरान नियमित रूप से उनका परीक्षण किया जाना चाहिए।
- 04MEASURE: पहचाने गए जोखिमों पर समय के साथ नज़र रखेंमॉडल बनाएँपहचाने गए AI जोखिमों पर, जिनमें अप्रत्याशित और उभरते जोखिम शामिल हैं, समय के साथ नज़र रखने की क्रियाविधियाँ मौजूद हैं।
04 प्रबंधन
- 05प्रबंधन: जोखिमों का उपचार करेंचरणजोखिम उपचार योजनाओं में घटनाओं पर प्रतिक्रिया, उनसे पुनर्प्राप्ति और उनके बारे में संचार शामिल हैं। संसाधन उन जोखिमों को दिए जाते हैं जिन्हें चिह्नित और मापा गया है।
- 06आगे बढ़ें या नहीं (MANAGE 1.1)द्वार · GCRI तकनीकी कार्यालययह निर्धारित किया जाता है कि प्रणाली अपने उद्देश्यों और लक्ष्यों को पूरा करती है या नहीं, और आगे बढ़ना है या नहीं। यह फ़्रेमवर्क कोई सीमा-मान निर्धारित नहीं करता।
- 07परिनियोजन निर्णयनिर्णय · GCRI तकनीकी कार्यालयप्रणाली का स्वामित्व रखने वाला संगठन यह तय करता है कि परिनियोजन करना है या नहीं और किन शर्तों पर।
- 08परिनियोजन-पश्चात निगरानी और घटनाएँमॉडल बनाएँतैनाती के बाद की निगरानी योजनाएँ लागू की जाती हैं। घटनाएँ और त्रुटियाँ संबंधित AI हितधारकों के साथ साझा की जाती हैं, जिनमें प्रभावित समुदाय भी शामिल हैं।
05 अभिलेख
- 09AI प्रणालियों की सूचीडेटासेटGOVERN 1.6 में AI प्रणालियों की सूची बनाने के लिए तंत्र की अपेक्षा की गई है। मॉडल कार्ड एक प्रचलित पद्धति है, पर फ़्रेमवर्क में उसका नाम नहीं दिया गया है।
किसी प्रकाशित बाहरी मानक या पद्धति की तटस्थ रूपरेखा, उसके जारीकर्ता निकाय से। यह संचालन का अभिलेख नहीं है। Nexus दर्शाए गए किसी भी चरण का निष्पादन, प्रमाणन या अनुमोदन नहीं करता। कोई द्वार या निर्णय उस पक्ष का है जिसका नाम स्रोत में दिया गया है। कार्रवाइयाँ आवश्यक रूप से चरणों का क्रमबद्ध समुच्चय नहीं हैं। EU AI Act इस प्रवाह में नहीं दर्शाया गया है।
Evidence that an AI system is fit for its use.
Assurance builds an argument that a system is acceptably safe for a defined use, backed by evaluations, red teaming, monitoring and incident records. For systemic risk the use context matters most: the same model may be acceptable for drafting and unacceptable for triage.
- Define the use context before evaluating.
- Monitor after deployment; capability and use drift.
- Record incidents and near misses.
- Applications on AI and Autonomous Systems.
वे प्लेटफ़ॉर्म जो इस पद्धति को लागू करते हैं।
इस पृष्ठ का अनुरक्षण कौन करता है।
Artificial Intelligence and Autonomous Systems stewards aI evaluation and assurance engineering: it keeps this description current and reviews how the method is applied across the platforms.
Where this page’s references lead.
वे निकाय और दस्तावेज़ जिनके विरुद्ध यह पृष्ठ पढ़ा जाता है। स्थिति और संस्करण बदलते हैं; हर लिंक जारी करने वाले निकाय तक जाता है।
प्रश्न और उत्तर।
एक ही संस्था प्रत्येक पद्धति पृष्ठ की मेज़बानी क्यों करती है?
मैं किसी पद्धति पृष्ठ में सुधार का सुझाव कैसे दूँ?
इस पृष्ठ से साक्ष्य का योगदान करें।
Reports कंसोर्टियम का त्रैमासिक प्रकाशन है। इस विषय के बारे में आप जो जानते हैं, वह अगले संस्करण में साक्ष्य, एक मामला या एक सुधार बन सकता है, आपको श्रेय देते हुए और जहाँ वह आपका अपना कार्य हो वहाँ CC BY 4.0 के अंतर्गत प्रकाशित।
- ईमेलगेटवे GW-GCRIइसे इसी पृष्ठ से भेजेंसाक्ष्य, सुधार, मामला, पद्धति, समीक्षा, अनुवाद या प्रोफ़ाइल इनपुट। यह इस पृष्ठ के टैग के साथ पहुँचता है, ताकि इसे सँभालने वाले संपादक को मिल जाए।
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- रिपोर्टGCRIयोगदान के सभी तरीके देखेंयोगदान के प्रकार, प्रत्येक की समीक्षा कैसे होती है, आपको क्या श्रेय मिलता है, लाइसेंस और क्या कभी स्वीकार नहीं किया जाता।
व्यक्तिगत डेटा, संवेदनशील अवसंरचना का विवरण या ऐसी कोई भी सामग्री कभी न भेजें जिसे साझा करने का आपको अधिकार नहीं है। उपयोग से पहले योगदान की समीक्षा होती है; इसे भेजने से लेखकत्व या संपादकीय अधिकार नहीं मिलते, और प्रायोजन कभी किसी निष्कर्ष को नहीं खरीदता।
कोई विधि, डेटासेट या प्रश्न लाएँ।
जानकारी और पूछताछ आज से खुली हैं। हर पूछताछ को एक संदर्भ मिलता है और अगला कदम बताया जाता है; आवेदन, भुगतान, कंप्यूट आवंटन और पंजीकरण तभी खुलते हैं जब उनकी टीम, शर्तें और समीक्षा क्षमता मौजूद हों।
कानूनी दस्तावेज़।
इस साइट पर मानचित्र, डेटा और आँकड़े संदर्भ और सामान्य जानकारी के लिए दिखाए जाते हैं। वे सलाह, पूर्वानुमान या चेतावनियाँ नहीं हैं; जानकारी की सीमाएँ अस्वीकरण और डेटा सूचनाओं में बताई गई हैं।