GCRI · الذكاء الاصطناعي والنظم المستقلة
الأمن السيبراني للذكاء الاصطناعي
AI and cybersecurity meet in three ways: AI النظم can be attacked, AI can help attackers, and AI can help defenders. Models can be poisoned, stolen, manipulated or made to leak data; their supply chains of data, weights and libraries carry new risks. This page sets out how these threats work, how AI systems are secured, and what evidence serves the security teams and regulators responsible.
AI cyber security on the record.
AI cyber security: how the risk develops.
Adversarial methods and model exposure. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Models are attack surfaces
Adversarial inputs, prompt injection, data extraction and model theft target the model itself. Classic application vulnerabilities still apply around it.
The AI supply chain is long
Training data, pretrained weights, libraries and plugins come from many sources. Poisoned data or tampered models can introduce hidden behaviour.
AI lowers the cost of some attacks
Generative AI can draft phishing, translate lures and help write code, lowering the skill barrier for some attacks. The size of this effect is studied and debated.
AI assists defence
Machine learning detects anomalies, triages alerts and finds vulnerabilities. Defenders must also secure the AI tools they adopt.
تتابع عبر شبكات مترابطة.
A بصمة الخطر تعطل الأصول المتجاورة في كل طبقة؛ ثم ينشر التفكك والاعتماد بين الطبقات وإجهاد الناجين الإخفاق. ويفصل عرض 3D الطبقات بحسب العمق. نموذج تعليمي بقيم توضيحية معلنة، وليس تنبؤا.
الضوابط
- الأصول حسب الطبقة
- 18
- بصمة الخطر
- 8% من المساحة
- أصول تعتمد على طبقة أخرى
- 60%
- القدرة الاحتياطية (هامش التحمل)
- 30%
القراءات
- الأصول المتأثرة بالخطر
- 7%
- الأصول التي ما زالت تعمل
- 50%
- تضخّم الضرر الأولي
- 6.8 times
- خطوات الاستقرار
- 3
الأرقام والأساليب والمصادر
| خطوة | مراكز البيانات العاملة (%) | الشبكات العاملة (%) | الطاقة العاملة (%) |
|---|---|---|---|
| 0 | 83 | 94 | 100 |
| 1 | 72 | 78 | 94 |
| 2 | 61 | 67 | 50 |
| 3 | 61 | 67 | 22 |
الأساليب
- الشبكات المترابطة Buldyrev وآخرون (2010)، Catastrophic cascade of failures in interdependent networks، Nature 464
- تتالي الأحمال الزائدة Motter and Lai (2002), Physical Review E 66
- حمل البينية Brandes (2001), Journal of Mathematical Sociology 25
- الشبكات متعددة الطبقات Kivela and others (2014), Journal of Complex Networks 2
- الترابطات بين البنى التحتية Rinaldi, Peerenboom and Kelly (2001), IEEE Control Systems 21(6)
- مروحة عدم اليقين (مونت كارلو للمعاملات) Spiegelhalter, Pearson and Short (2011)، Visualising uncertainty about the future، Science 333
- تحليل الحساسية لعامل واحد في كل مرة (مخطط الإعصار) Saltelli and others (2008)، Global Sensitivity Analysis: The Primer، Wiley
البيانات
The model runs on the teaching values set by the controls. To calibrate it for a place, read it against these admitted layers and series, which this page’s map can draw:
- الطرق الرئيسية Natural Earth
- السكك الحديدية Natural Earth
- الموانئ البحرية Natural Earth
- المطارات Natural Earth
- الامتدادات الحضرية Natural Earth
- أضواء الليل الليلة، الانقطاعات (VIIRS Day/Night Band) NASA/NOAA VIIRS (Suomi NPP) · register nasa.gibs.context-live-layers
- الأحداث الطبيعية (NASA EONET) NASA EONET · register nasa.eonet.events
عبر الركائز الست، بقيادة Nexus Consortium
- التجارب Labs
- مُضمَّن في الذكاء الاصطناعي والنظم المستقلة في Foundry
- جرى الاختبار عند الذكاء الاصطناعي والنظم المستقلة في Universe
- مدوَّن في المجال الرقمي والسيبراني والذكاء الاصطناعي في Standards
- نُشر في الذكاء الاصطناعي والنظم المستقلة في Reports
- يُدرَّس في كلية التقنية والنظم الرقمية في Academy
AI changes cyber risk in every domain’s control systems.
Findings are designed for the سلسلة التقنيات الأسية. ISO/IEC 23894 (2023) sets AI risk management guidance; the page publishes no attack techniques.
- Defensive evaluations of AI tools.
- Incident case studies.
How AI cyber security is modelled, measured and tested.
النموذج وافتراضاته وبياناته وعدم اليقين فيه، بالصورة التي يفحصها بها عالم أو مهندس. وتتبع البنى أساليب منشورة. والقيم المرسومة توضيحية، وليست نتائج.
نموذج النظام
The couplings between the systems in AI cyber security: signs of influence, a reinforcing and a balancing loop, and cross-links where stress jumps.
ما الذي يُقاس، ومدى جودة قياسه.
يحمل كل مؤشر وحدته ووتيرته ونوع المصدر الذي يستند إليه ووسم الأدلة الذي ستحمله القيمة. ولا تُعرض أي قيم: فالبرنامج يقدّمها بموجب سلطته الخاصة.
| المؤشر | الوحدة | وتيرة الإصدار | نوع المصدر | الوسم |
|---|---|---|---|---|
| Vulnerabilities reported in AI frameworks and libraries | count of CVE entries | شهري | Vulnerability databases | مُبلَّغ عنه |
| Adversarial robustness | accuracy under a stated attack | per evaluation | Robustness testing | مرصود |
| Models with signed provenance | percent of deployed models | per inventory | Model registries | مُعلَن |
| AI-related security incidents | count by technique | سنوي | Incident reports | مُبلَّغ عنه |
| Time to detect AI system compromise | hours | per incident | Incident response records | مرصود |
| Organisations with AI security policies | percent of surveyed organisations | per survey | Industry surveys | مُبلَّغ عنه |
من أين تأتي الأدلة.
مجموعات بيانات عامة مسمّاة وسجلات مؤسسية، لكلٍّ منها فئة ترخيصها. ولا تُستخدم المصادر المتاحة بموجب اتفاق إلا وفق شروطها، ولا يُعاد نشرها أبدًا.
| المصدر | ما يقدّمه | فئة الترخيص |
|---|---|---|
| MITRE ATLAS | Adversarial tactics and techniques against AI النظم, with case studies | Public, licence to check |
| NIST adversarial machine learning taxonomy | Terminology and taxonomy of attacks and mitigations | Public domain, US government |
| National Vulnerability Database and CVE records | Vulnerabilities in AI software | Public domain, US government |
| ENISA reports on AI cybersecurity | Threat landscape and good practice for securing AI | Public, ENISA terms |
| Joint guidance from national cyber agencies on secure AI system development | Secure design, development, deployment and operation | Public, terms per agency |
من يقرر، وما الذي تخدمه الأدلة.
استوديو الذكاء الاصطناعي و النظم prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| من يقرر | السؤال | الأدلة التي تخدمها هذه الصفحة |
|---|---|---|
| Chief information security officers | How to secure AI systems the organisation builds or buys | Threat models; supply chain checklists |
| National cybersecurity agencies | What guidance to issue on AI security | Incident and vulnerability evidence |
| المطورون | Which defences to build into models and applications | Robustness testing; attack taxonomies |
المخرجات التي يُنتجها هذا الموضوع
- Threat models for AI deployments
- AI supply chain security checklists
- Robustness testing protocols
- Evidence notes on AI-enabled attack trends
What security researchers ask.
- How can inputs be crafted to make a model misbehave, and how robust are defences?
- Can an attacker poison training data or tamper with model weights in the supply chain?
- Can private training data or a model itself be extracted through its outputs?
- How does AI change attackers’ and defenders’ capabilities?
The AI attack surface.
Adversarial examples are inputs altered in ways imperceptible to people that cause models to err. Data poisoning inserts malicious examples into training data to plant backdoors. Membership inference and extraction attacks recover information about training data or replicate a model through repeated queries. For language models, jailbreaks and prompt injection bypass intended restrictions.
On the other side, AI can help attackers find vulnerabilities, write malware variants and craft convincing phishing at scale, and help defenders triage alerts, analyse code and detect anomalies. The balance between the two is an open research question.
Security engineering for AI.
- 01
Red-teaming
Structured attempts to break a system, combining الأمن السيبراني والتشفير and artificial intelligence and machine learning expertise. Red-teaming finds problems but cannot prove their absence.
- 02
نمذجة التهديدات
Mapping assets, adversaries and attack paths across data, training, deployment and supply chain.
- 03
Robustness testing
Measuring performance under adversarial perturbation. Robustness to known attacks does not imply robustness to new ones.
- 04
Supply-chain integrity
Provenance of datasets, models and dependencies, with signing and verification. Provenance tooling is still maturing.
كيف يُدرس، وما لا تستطيع المناهج قوله.
- 01الأمن السيبراني والتشفيرنمذجة التهديدات لتطبيقات الذكاء الاصطناعي · سلامة سلسلة إمداد النماذج · اختبار الدفاع ضد الحقنمُطبَّق هنا
- 02هندسة تقييم الذكاء الاصطناعي وضمانهحالات الضمان لنظم الذكاء الاصطناعي · الاختبار العدائي المنظم · الرصد بعد النشرمُطبَّق هنا
- 03الذكاء الاصطناعي وتعلم الآلةتحليل تحول التوزيع · الضبط الدقيق لاستخدام محدد · أساليب قابلية التفسيرمُطبَّق هنا
- 04الحوسبة عالية الأداء والسحابية والطرفيةإتاحة الحوسبة للبحوث العامة · قياس طاقة أعباء العملمُطبَّق هنا
Where this page’s references lead.
الهيئات والوثائق التي تُقرأ هذه الصفحة في ضوئها. وتتغير الحالات والإصدارات؛ ويقود كل رابط إلى الهيئة المُصدِرة.
أسئلة وأجوبة.
What is data poisoning?
What is MITRE ATLAS?
Does AI make cyberattacks easier?
Does the platform publish attack techniques?
How do I report a vulnerability?
Is open release of model weights a security risk?
Can AI defend against AI-enabled attacks?
ساهم بأدلة من هذه الصفحة.
التقارير is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- البريد الإلكترونيالبوابة GW-GCRIأرسله من هذه الصفحةدليل أو تصحيح أو حالة أو أسلوب أو مراجعة أو ترجمة أو مدخل لملف قُطري. يصل موسومًا بهذه الصفحة، فيتلقاه المحرر المسؤول عنها.
- Zenodoإيداع مفتوحأودِعه وقدّمه إلى المجتمعانشر سجلك الخاص على Zenodo بمعرّف ORCID iD الخاص بك، ثم قدّمه إلى مجتمع Reports هناك. يراجعه القيّمون، ويبقى معرّف DOI ملكًا لك.
- التقاريرGCRIاطّلع على جميع سبل المساهمةأنواع المساهمات، وكيفية مراجعة كل منها، والإسناد الذي تحصل عليه، والترخيص، وما لا يُقبل أبداً.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
قدّم منهجية أو مجموعة بيانات أو سؤالا.
المعلومات والاستفسارات متاحة اليوم. ويحصل الاستفسار على رقم مرجعي ويحدد الخطوة التالية؛ ولا تُفتح الطلبات والمدفوعات وتخصيصات الحوسبة والتسجيلات إلا حين يتوافر فريقها وشروطها وقدرة المراجعة.
الوثائق القانونية.
تُعرض الخرائط والبيانات والأشكال في هذا الموقع للسياق والمعلومات العامة. وهي ليست نصيحة ولا توقعات ولا إنذارات؛ وحدود المعلومات مبيّنة في إخلاءات المسؤولية وإشعارات البيانات.