Skip to content

GCRI · Labs

یادگیری ماشین در علوم آزمایشگاهی

Machine learning is both a tool and an object of study in this lab. It assists literature screening, experimental design, image and sequence analysis and simulation, and it needs its own evaluation discipline: leakage, distribution shift and opaque failure modes are research risks to be tested, not assumed away.

02درخواست

هوش مصنوعی و یادگیری ماشین در اینجا چه می‌کنند.

Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In research and evidence, methods and modelling and innovation, machine learning can scale detection and forecasting across interconnected systems. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.

Assisted screening for systematic reviews

طبقه‌بند‌ها سوابق را برای غربالگری انسانی اولویت‌بندی می‌کنند؛ فراخوانی (recall) در برابر نمونه‌ای که کاملاً غربالگری شده سنجیده می‌شود و قاعدهٔ توقف پیش از آغاز غربالگری در پروتکل مرور بیان می‌شود.

Surrogate models to guide experiments

Models trained on simulations or past runs suggest which experiments to run next, using uncertainty to balance exploration and confirmation, and every suggestion is tested physically before it counts.

Image and signal analysis in the lab

Segmentation and classification models are validated against expert annotation from other sites and instruments, with failure cases catalogued and shared alongside the model.

03پایش

آموزش مدل.

صفحه‌ای که یک تیم برای پیگیری این روش به کار می‌برد: سنجه‌ها، وضعیت‌ها و تصمیم‌های آن. نام‌ها نمونه‌اند و مقادیر صرفاً نمایشی‌اند.

Model training

Labs · یادگیری ماشین در آزمایشگاه · اجرای R-4300

Drift on one sliceGCRI · Labs

Evaluation by slice

همه0.790.047294قبول
منطقهٔ A0.840.041004بازبینی
منطقهٔ B0.790.12594بازبینی
رستهٔ نادر0.670.1467زیر حد نصاب

کارت روش

روش
هوش مصنوعی و یادگیری ماشین
تقسیم
time-based, no leakage
ویژگی‌ها
22
برچسب
مدل‌سازی‌شده

پایداری جمعیت

Model training: the screen’s structure, terms and states for Labs.Example names and illustrative values; a design, not a record or a live system.
04داده

آنچه روش مصرف می‌کند.

مجموعه‌داده‌ها و سوابقی که هوش مصنوعی و یادگیری ماشین در این سکو به کار می‌برند، همراه با نقش هر یک و برچسبی که مقادیر آن دارند. منابع در فهرست منابع.

دادهنقشبرچسب
Annotated benchmark datasetsآموزش و ارزیابیگزارش‌شده
خروجی‌های ابزارهای آزمایشگاهیInputs to analysis modelsمشاهده‌شده
Simulation archivesTraining surrogate modelsمدل‌سازی‌شده
Model and dataset cardsIntended use and known limitsDECLARED
05روش‌ها و شواهد

How machine learning in laboratory science is modelled, measured and tested.

مدل، مفروضات، داده‌ها و عدم قطعیت آن، به شکلی که دانشمند یا مهندس بررسی می‌کند. ساختارها از روش‌های منتشرشده پیروی می‌کنند. مقادیر ترسیم‌شده تبیینی‌اند، نه یافته.

مدل، معادلات و مفروضات

The model structure used for machine learning in laboratory science, the assumptions it makes and how each is tested.

ریسک عنصر iRi = f(Hi, Ei, Vi, Ci)مخاطره، مواجهه، آسیب‌پذیری و ظرفیت مقابله
زیان سالانهٔ مورد انتظارEAL = ∑k pk · Lkover events k with annual probability pk
سامانه‌های جفت‌شدهxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
فرضچرا ساخته می‌شودچگونه آزموده می‌شود
مخاطره و مواجهه در یک رویداد مستقل‌اندانتگرال زیان را تحت‌کنترل نگه می‌داردمقایسه با برازش مفصل بر سوابق مشترک
جفت‌شدگی‌ها نزدیک نقطهٔ کار خطی‌انداجازه می‌دهد شوک‌ها از طریق A منتشر شوندفراتر از دامنهٔ خطی آشفته کنید و مقایسه کنید
منحنی‌های آسیب‌پذیری میان مکان‌ها منتقل می‌شوندمنحنی‌های محلی به‌ندرت در دسترس‌انداعتبارسنجی در برابر زیان‌های مشاهده‌شده در جاهایی که وجود دارند
ورودی‌ها
مجموعه‌داده‌های نسخه‌دار با خاستگاه
خروجی‌ها
توزیع‌ها، هرگز تک‌رقم‌ها
کد
منتشرشده با کارت مدل و آزمون‌ها
بازتولید
همان داده، کد، محیط و بذر
فرمول‌بندی‌های استاندارد ریسک و فضای حالت؛ مفروضات فهرست‌شده نمونهٔ روش‌اند، برای داوری بیان شده‌اند و نتیجه نیستند.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06اعتبارسنجی

نتایج چگونه بررسی می‌شوند.

مدل‌ها بر دادهٔ کنارگذاشته‌شده‌ای ارزیابی می‌شوند که ساختار مکانی، زمانی و گروهی را رعایت می‌کند. استواری، واسنجی و انصاف در کنار دقت آزموده می‌شوند.

بررسیچگونه انجام می‌شود
Leakage auditSplits are made by subject, site or time as the question requires, and preprocessing is fitted on training data only
External validationPerformance is reported on data from a different source or period
Calibration and robustnessProbabilities are checked for calibration, and performance under plausible perturbations is reported
Reporting checklistStudies are reported against REFORMS, TRIPOD+AI or the relevant domain checklist

عملکرد هنگامی که شرایط استقرار با داده‌های آموزش متفاوت باشد افت می‌کند. مدل‌ها ممکن است سوگیری‌ها را در خود رمزگذاری کنند و در رخدادهای نادر بدون هشدار روشن از کار بیفتند.

07فرایند

نحوهٔ اجرای فرایند.

Process explorer · Process

Machine learning in laboratory science: AI risk management (NIST)

9 steps5 stages1 gate

فرایند

Machine learning in laboratory science: AI risk management (NIST)

هستهٔ AI RMF چهار کارکرد دارد: GOVERN، MAP، MEASURE و MANAGE، که GOVERN فراگیر است؛ ترتیب ترسیم‌شده یک خوانش رایج است، نه فهرست وارسی.

  1. 01 حکمرانی

    1. 01GOVERN: سیاست‌ها، نقش‌ها و پاسخ‌گوییگام · پژوهشگر اصلیGOVERN یک کارکرد فراگیر است. این کارکرد در سراسر مدیریت ریسک هوش مصنوعی نفوذ دارد و سایر کارکردها را امکان‌پذیر می‌سازد.
  2. 02 Map

    1. 02MAP: بافتار و کاربرد مورد نظرمجموعه‌دادهکارکرد MAP بافتاری را برای چارچوب‌بندی ریسک‌های مرتبط با یک سامانهٔ هوش مصنوعی، شامل مقاصد مورد نظر و پیامدها برای مردم، برقرار می‌کند.
  3. 03 اندازه‌گیری

    1. 03سنجش: ارزیابی ویژگی‌های قابل‌اعتمادمدلAI سامانه‌ها هوش مصنوعی از نظر ویژگی‌های اعتمادپذیری ارزیابی می‌شوند. این سامانه‌ها باید پیش از استقرار و به‌طور منظم در طول بهره‌برداری آزموده شوند.
    2. 04MEASURE: ریسک‌های شناسایی‌شده را در طول زمان پیگیری کنیدمدلسازوکارهایی برای پایش ریسک‌های شناسایی‌شدهٔ هوش مصنوعی در طول زمان برقرار است، از جمله ریسک‌های پیش‌بینی‌نشده و نوظهور.
  4. 04 مدیریت

    1. 05MANAGE: رسیدگی به ریسک‌هاگاممواجهه با ریسک واکنش به رخدادها، بازیابی از آن‌ها و اطلاع‌رسانی دربارهٔ آن‌ها را در بر می‌گیرند. منابع به ریسک‌های نگاشت‌شده و اندازه‌گیری‌شده اختصاص می‌یابند.
    2. 06Proceed or not (MANAGE 1.1)Gate · Principal investigatorA determination is made whether the system meets its purposes and objectives, and whether to proceed. The framework sets no thresholds.
    3. 07تصمیم استقرارتصمیم · محقق اصلیسازمانی که مالک سامانه است تصمیم می‌گیرد که آیا و با چه شرایطی آن را مستقر کند.
    4. 08پایش و رخدادهای پس از استقرارمدلطرح‌های پایش پس از استقرار اجرا می‌شوند. رخدادها و خطاها با بازیگران مرتبط هوش مصنوعی، از جمله جوامع متأثر، به اشتراک گذاشته می‌شوند.
  5. 05 سابقه

    1. 09فهرست سامانه‌های هوش مصنوعیمجموعه‌دادهGOVERN 1.6 سازوکارهایی برای سیاهه‌برداری از سامانه‌های هوش مصنوعی می‌طلبد. کارت مدل رویهٔ رایج است و در این چارچوب نام برده نشده است.

طرح کلی بی‌طرفانهٔ یک استاندارد یا روش خارجی منتشرشده، از نهاد صادرکنندهٔ آن. سابقهٔ عملیات نیست. Nexus هیچ‌یک از گام‌های نشان‌داده‌شده را انجام، گواهی یا تأیید نمی‌کند. هر دروازه یا تصمیم متعلق به طرفی است که منبع نام می‌برد. اقدام‌ها لزوماً مجموعه‌ای مرتب از گام‌ها نیستند. قانون هوش مصنوعی اتحادیهٔ اروپا در این جریان ترسیم نشده است.

09تولیت

چه کسی روش را نگهداری می‌کند.

هوش مصنوعی و سامانه‌های خودمختار متولی هوش مصنوعی و یادگیری ماشین برای کنسرسیوم است و چگونگی کاربرد آن را در سکوها بازبینی می‌کند.

11پرسش‌ها

پرسش و پاسخ.

محدودیت‌های هوش مصنوعی و یادگیری ماشین در این حوزه چیست؟
عملکرد هنگامی که شرایط استقرار با داده‌های آموزش متفاوت باشد افت می‌کند. مدل‌ها ممکن است سوگیری‌ها را در خود رمزگذاری کنند و در رخدادهای نادر بدون هشدار روشن از کار بیفتند.
نتایج چگونه بررسی می‌شوند؟
مدل‌ها بر دادهٔ کنارگذاشته‌شده‌ای ارزیابی می‌شوند که ساختار مکانی، زمانی و گروهی را رعایت می‌کند. استواری، واسنجی و انصاف در کنار دقت آزموده می‌شوند.
آیا مقادیر این صفحه واقعی‌اند؟
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
این روش در کجاهای دیگر به کار می‌رود؟
رصدخانهٔ صفحهٔ مرجع روش هر سکویی را که آن را به کار می‌گیرد فهرست می‌کند.
گزارش‌هامشارکت

شواهد را از همین صفحه ارسال کنید.

Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع می‌دانید می‌تواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.

GCRIآزمایشگاه‌هاشواهد Labsروش‌ها و فنی
آزمایشگاه‌ها

یک روش، یک مجموعه‌داده یا یک پرسش بیاورید.

اطلاعات و درخواست‌ها امروز باز است. هر درخواست یک شمارهٔ پیگیری می‌گیرد و گام بعدی را مشخص می‌کند؛ درخواست‌های عضویت، پرداخت‌ها، تخصیص رایانش و ثبت‌نام‌ها تنها زمانی باز می‌شوند که تیم، شرایط و ظرفیت داوری آن‌ها فراهم باشد.