Skip to content

GCRI · Labs

Машинное обучение в лабораторной науке

Машинное обучение в этой лаборатории является одновременно инструментом и объектом изучения. Оно помогает при отборе литературы, планировании экспериментов, анализе изображений и последовательностей и в моделировании, а также требует собственной дисциплины оценки: утечка данных, сдвиге распределения и непрозрачные режимы отказа представляют собой исследовательские риски, которые нужно проверять, а не считать несуществующими.

02Заявка

Что здесь делают искусственный интеллект и машинное обучение.

Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In research and evidence, methods and modelling and innovation, machine learning can scale detection and forecasting across interconnected systems. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on the STEM Commons.

Assisted screening for systematic reviews

Classifiers prioritise records for human screening; recall is measured against a fully screened sample, and the stopping rule is stated in the review protocol before screening starts.

Surrogate models to guide experiments

Models trained on simulations or past runs suggest which experiments to run next, using uncertainty to balance exploration and confirmation, and every suggestion is tested physically before it counts.

Image and signal analysis in the lab

Модели сегментации и классификации проверяются на экспертной разметке, полученной на других площадках и приборах; случаи сбоев каталогизируются и публикуются вместе с моделью.

03Мониторинг

Обучение модели.

Экран, который команда использовала бы для следования этому методу: его показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.

Обучение модели

Labs · Machine learning in laboratory · Run R-4300

Drift on one sliceGCRI · Labs

Оценка по срезам

Все0.790.047294Пролёт
Регион A0.840.041004Рецензирование
Регион B0.790.12594Рецензирование
Редкий класс0.670.1467Ниже порога

Карточка метода

Метод
Искусственный интеллект и машинное обучение
Разделение
по времени, без утечки
Особенности
22
Метка
СМОДЕЛИРОВАНО

Стабильность населения

Model training: the screen’s structure, terms and states for Labs.Example names and illustrative values; a design, not a record or a live system.
04Данные

Что потребляет метод.

Используемые на этой платформе наборы данных и записи по направлению «Искусственный интеллект и машинное обучение», с ролью каждого и меткой, которую несут его значения. Источники перечислены в реестре источников.

ДанныеРольМетка
Аннотированные эталонные наборы данныхОбучение и оценкаСООБЩЕНО
Выходные данные лабораторных приборовInputs to analysis modelsНАБЛЮДАЕМО
Архивы моделированияTraining surrogate modelsСМОДЕЛИРОВАНО
Model and dataset cardsIntended use and known limitsЗАДЕКЛАРИРОВАНО
05Методы и доказательная база

How machine learning in laboratory science is modelled, measured and tested.

Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.

Модель, уравнения и допущения

Структура модели, используемой для машинного обучения в лабораторной науке, допущения, которые она делает, и способ проверки каждого из них.

Риск элемента iRi = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагирования
Ожидаемый годовой ущербEAL = ∑k pk · Lkover events k with annual probability pk
Связанные системыxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
ДопущениеЗачем это создаётсяКак это проверяется
В пределах события опасность и подверженность независимыДелает интеграл убытков вычислимымСравнить с подгонкой копулы по совместным записям
Вблизи рабочей точки связи линейныПозволяет потрясениям распространяться через AВыйдите за пределы линейного диапазона и сравните
Кривые уязвимости переносятся между местамиМестные кривые редко доступныПроверять по наблюдаемым убыткам там, где они есть
Исходные данные
версионированные наборы данных с указанием происхождения
Результаты
распределения, а не отдельные числа
Код
выпускается вместе с карточкой модели и тестами
Воспроизведение
те же данные, код, среда и начальное значение
Стандартные формулировки риска и пространства состояний; перечисленные допущения типичны для метода и приведены для рецензирования, а не как результаты.
Руководящие принципы FAIR · GO FAIR и FORCE11W3C PROV · Консорциум Всемирной паутиныРуководство по единообразному учёту неопределённостей · МГЭИКCEOS Analysis Ready Data · Комитет по спутникам наблюдения Земли
06Валидация

Как проверяются результаты.

Модели оцениваются на отложенных данных с учётом пространственной, временной и групповой структуры. Устойчивость, калибровка и справедливость проверяются наряду с точностью.

ПроверкаКак это делается
Аудит утечекSplits are made by subject, site or time as the question requires, and preprocessing is fitted on training data only
External validationПоказатели эффективности приводятся на основе данных из другого источника или за другой период
Calibration and robustnessВероятности проверяются на калибровку, а результативность при правдоподобных возмущениях отражается в отчётности
Reporting checklistИсследования представляются в соответствии с REFORMS, TRIPOD+AI или соответствующим предметным контрольным перечнем

Эффективность снижается, когда условия развёртывания отличаются от обучающих данных. Модели могут кодировать предвзятость и давать сбои без явного предупреждения при редких событиях.

07Процесс

Как устроен процесс.

Process explorer · Process

Machine learning in laboratory science: AI risk management (NIST)

9 steps5 stages1 gate

Процесс

Machine learning in laboratory science: AI risk management (NIST)

Ядро AI RMF содержит четыре функции: GOVERN, MAP, MEASURE и MANAGE, причём GOVERN является сквозной; показанный порядок представляет собой одно из распространённых прочтений, а не контрольный перечень.

  1. 01 Управление

    1. 01GOVERN: политики, роли и подотчётностьШаг · Главный исследовательGOVERN является сквозной функцией. Она пронизывает всё управление рисками ИИ и обеспечивает работу остальных функций.
  2. 02 Map

    1. 02MAP: контекст и предполагаемое использованиеНабор данныхФункция MAP устанавливает контекст для определения рисков, связанных с системой ИИ, включая предполагаемые цели и воздействие на людей.
  3. 03 Измерение

    1. 03MEASURE: оценка характеристик, обеспечивающих довериеМодельAI системы ИИ оцениваются на соответствие характеристикам надёжности. Их следует тестировать перед внедрением и регулярно в ходе эксплуатации.
    2. 04MEASURE: отслеживание выявленных рисков во времениМодельДействуют механизмы отслеживания выявленных рисков ИИ во времени, включая непредвиденные и возникающие риски.
  4. 04 Управление

    1. 05MANAGE: обработка рисковШагОбработка риска охватывают реагирование на инциденты, восстановление после них и информирование о них. Ресурсы направляются на выявленные и измеренные риски.
    2. 06Продолжать или нет (MANAGE 1.1)Контрольный этап · Руководитель исследованияОпределяется, соответствует ли система своим целям и задачам и следует ли продолжать работу. Рамочный подход не устанавливает пороговых значений.
    3. 07Решение о внедренииРешение · Главный исследовательОрганизация, которой принадлежит система, решает, развёртывать ли её и на каких условиях.
    4. 08Мониторинг после внедрения и инцидентыМодельПланы мониторинга после внедрения реализуются. Информация об инцидентах и ошибках передаётся соответствующим участникам сферы ИИ, включая затронутые сообщества.
  5. 05 Запись

    1. 09Инвентаризация систем ИИНабор данныхGOVERN 1.6 требует механизмов инвентаризации систем ИИ. Карточка модели является распространённой практикой и в рамочном документе не названа.

Нейтральное описание опубликованного внешнего стандарта или метода, составленное по материалам выпустившей его организации. Не является записью об эксплуатации. Nexus не выполняет, не сертифицирует и не утверждает ни один из показанных шагов. Контрольная точка или решение относятся к стороне, названной в источнике. Действия не обязательно образуют упорядоченный набор шагов. Закон ЕС об ИИ (EU AI Act) в этой схеме не отражён.

09Ведение и сопровождение

Кто ведёт метод.

«Искусственным интеллектом и автономными системами» ведёт и сопровождает искусственный интеллект и машинное обучение для Консорциума и проводит рецензирование их применения на платформах.

11Вопросы

Вопросы и ответы.

Каковы пределы искусственного интеллекта и машинного обучения в этой области?
Эффективность снижается, когда условия развёртывания отличаются от обучающих данных. Модели могут кодировать предвзятость и давать сбои без явного предупреждения при редких событиях.
Как проверяются результаты?
Модели оцениваются на отложенных данных с учётом пространственной, временной и групповой структуры. Устойчивость, калибровка и справедливость проверяются наряду с точностью.
Значения на этой странице реальные?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Где ещё применяется этот метод?
Observatory Каноническая страница метода перечисляет все применяющие его платформы.
ОтчётыВнести вклад

Поделитесь доказательствами с этой страницы.

Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.

GCRIЛабораторииДоказательная база LabsМетоды и технические материалы
Лаборатории

Предложите метод, набор данных или вопрос.

Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.

Правовая информация

Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.