GCRI · Искусственный интеллект и автономные системы
ИИ в науке
Machine learning now predicts protein structures, emulates weather and climate models, screens materials and helps analyse vast datasets. It can speed discovery, and it can also produce results that are hard to reproduce, overfit or rest on data leakage. This page sets out how AI is used in science, where it fails, how its results are checked, and what evidence serves the researchers, funders and journals involved.
AI in science in seven parts.
- 01ВопросAI in science: how the risk develops
- 02По всем областямAI changes how each domain’s science is done
- 03ИндикаторыЧто измеряется и насколько хорошо
- 04ИсточникиОткуда берётся доказательная база
- 05РешенияКто принимает решения и чему служит доказательная база
- 06Ключевые вопросыWhat scientists ask about AI in research
- 07МеханизмыHow discovery and error both scale
AI in science: how the risk develops.
Discovery and reproducibility. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Learning from data replaces some simulation
Models trained on simulations or observations can emulate expensive calculations quickly. They are reliable within the range of their training data and uncertain outside it.
Leakage inflates results
When information from the test set reaches training, through duplicates, time overlap or preprocessing, reported accuracy overstates real performance. Leakage is a known cause of irreproducible ML science.
Openness enables checking
Results can be verified only when code, data, models and settings are shared. Proprietary models and data limit independent checks.
Scientists stay accountable
AI can suggest hypotheses and draft text, but researchers remain responsible for methods, interpretation and integrity. Journals and funders are setting rules for AI use.
Реестр моделей.
Экран, который команда использовала бы для отслеживания этой темы: её показатели, состояния и решения. Названия приведены для примера, а значения иллюстративны.
Реестр моделей
AI in science · Model registry · Release gate
Модели
| M-489 triage assistant | Государственная услуга | Высокий | 20 of 24 suites | Заблокировано |
| M-530 flood nowcast | Наука | Средний | 12 из 12 | Выпущено |
| M-079 document search | Внутренний | Низкий | 8 of 8 | Выпущено |
| M-881 agent planner | Агентный | Высокий | 11 of 16 | Оценивается |
Карточка модели
- Назначение
- поддержка сортировки, решает человек
- Вне рамок
- решения о праве на получение услуг
- Известные ограничения
- более низкая точность в редких случаях
- Владелец
- Владелец модели
Журнал инцидентов
- D-19INCВыдуманная ссылка в резюме
- D-8MITДобавлена привязка к извлечённым источникам
- D-3INCВнедрение инструкций через загруженный файл
- D-1MITПрава инструмента сужены
Evaluation scores
vs release threshold
AI changes how each domain’s science is done.
- ВодаВзаимосвязиML models now rival process models in some prediction tasks.What to watchBenchmarks against process models
- ЗдравоохранениеВзаимосвязиAI supports protein and pathogen research, raising dual-use questions.What to watchBiosecurity review of tools
- БиоразнообразиеВзаимосвязиAutomated species identification scales monitoring.What to watchIdentification accuracy by region
Studies of AI in science are designed for the серию «Методы и техника». Reproducibility requires code, data and model versions, recorded under NS-12 of the proposed Nexus Standards.
- Replications of AI-based results.
- Benchmarks with documented data.
How AI in science is modelled, measured and tested.
Модель, её допущения, данные и неопределённость в том виде, в каком их проверил бы учёный или инженер. Структуры следуют опубликованным методам. Показанные значения являются иллюстративными, а не результатами.
Модель, уравнения и допущения
The model structure used for AI in science, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)опасность, подверженность, уязвимость и потенциал реагированияEAL = ∑k pk · Lkпо событиям k с годовой вероятностью pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Допущение | Зачем это создаётся | Как это проверяется |
|---|---|---|
| В пределах события опасность и подверженность независимы | Делает интеграл убытков вычислимым | Сравнить с подгонкой копулы по совместным записям |
| Вблизи рабочей точки связи линейны | Позволяет потрясениям распространяться через A | Выйдите за пределы линейного диапазона и сравните |
| Кривые уязвимости переносятся между местами | Местные кривые редко доступны | Проверять по наблюдаемым убыткам там, где они есть |
- Исходные данные
- версионированные наборы данных с указанием происхождения
- Результаты
- распределения, а не отдельные числа
- Код
- выпускается вместе с карточкой модели и тестами
- Воспроизведение
- те же данные, код, среда и начальное значение
Что измеряется и насколько хорошо.
Каждый показатель указывает свою единицу, периодичность, тип источника и метку доказательной базы, которую несло бы значение. Значения не показываются: программа предоставляет их под собственную ответственность.
| Индикатор | Единица | Периодичность | Тип источника | Метка |
|---|---|---|---|---|
| Studies sharing code and data | percent of published ML studies | на каждое рецензирование | Publication audits | НАБЛЮДАЕМО |
| Leakage issues identified in reviews | count by type | на каждое рецензирование | Reproducibility studies | СООБЩЕНО |
| Out-of-distribution performance | error on held-out regimes | per evaluation | Оценка моделей | НАБЛЮДАЕМО |
| Emulator error against reference simulation | error metric | per evaluation | Validation runs | НАБЛЮДАЕМО |
| Journals with AI use policies | количество | ежегодно | Publisher policies | ЗАДЕКЛАРИРОВАНО |
| Compute used for scientific model training | floating point operations | per model | Model documentation | ОЦЕНЕНО |
Откуда берётся доказательная база.
Названные публичные наборы данных и институциональные записи, каждый со своим классом лицензии. Источники по соглашению используются только на их условиях и никогда не публикуются повторно.
| Источник | Что он даёт | Класс лицензии |
|---|---|---|
| Protein Data Bank and AlphaFold Protein Structure Database | Experimental and predicted protein structures | Open, CC0 and CC BY 4.0 respectively |
| WeatherBench and related benchmarks | Standard evaluation of data-driven weather models | Open, licence per benchmark (to check) |
| Princeton reproducibility studies on ML-based science | Survey of leakage and reproducibility failures | Licence per publication |
| Materials Project | Computed materials properties for screening | Открыто, CC BY 4.0 |
| Publisher and funder policies on AI use | Rules on authorship, disclosure and review | Public, terms per publisher |
Кто принимает решения и чему служит доказательная база.
Студия «Искусственный интеллект и автономные Системная prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| Кто принимает решение | Вопрос | Доказательная база, которую обслуживает эта страница |
|---|---|---|
| Research teams | Whether an ML result is robust enough to publish | Leakage checklists; validation protocols |
| Journals and reviewers | What evidence to require for ML-based claims | Reporting guidance; reproducibility evidence |
| Организации, финансирующие исследования | How to fund open models, data and compute for science | Openness and compute evidence |
Результаты, которые даёт эта тема
- Leakage and reproducibility checklists for ML studies
- Validation protocols for scientific emulators
- Guidance on reporting AI use in research
- Case studies of AI in specific sciences
What scientists ask about AI in research.
- Does the AI-assisted result hold when tested independently, by experiment or observation?
- Is the model, data and code available so others can reproduce it?
- Has data leakage between training and evaluation inflated reported performance?
- Does the model extrapolate beyond the conditions its training data covered?
How discovery and error both scale.
Machine learning finds patterns in large datasets faster than people can, and surrogate models can emulate expensive simulations, allowing many more scenarios to be explored. In fields with good data and clear validation, such as structural biology, the gains have been substantial.
The risks are equally systematic. Leakage between training and test data has produced inflated results across many disciplines. Models trained on past data may not respect physical laws when extrapolating. Generative системы can fabricate plausible references or data. And when models and data are proprietary, results cannot be checked.
Keeping AI-assisted science reproducible.
- 01
Reporting standards
Checklists covering data splits, leakage checks, baselines and uncertainty. Standards help only if journals and reviewers enforce them.
- 02
Physics-informed and hybrid models
Combining learned components with known physical constraints, using искусственный интеллект и машинное обучение and high-performance, cloud and edge computing. Constraints reduce but do not remove extrapolation risk.
- 03
Uncertainty estimation
Ensembles and Bayesian methods from теорию вероятностей и статистику to flag predictions the model is unsure of. Uncertainty estimates can themselves be miscalibrated.
- 04
Open artefacts
Publishing code, data and model weights where rights allow, so others can reproduce and challenge results.
Как это изучается и чего методы не могут сказать.
- 01Искусственный интеллект и машинное обучениеАнализ сдвига распределения · Дообучение для конкретного применения · Методы интерпретируемостиПрименяется здесь
- 02Теория вероятностей и статистикаНеопределённость оценок на эталонных тестах · Оценка калибровки · Выборка для аудитаПрименяется здесь
- 03Высокопроизводительные, облачные и периферийные вычисленияДоступ к вычислительным ресурсам для общественных исследований · Измерение энергопотребления рабочих нагрузокПрименяется здесь
- 04Инженерия оценки и обеспечения уверенности в ИИОбоснования для обеспечения уверенности в системах ИИ · Структурированное тестирование «красной командой» · Мониторинг после развёртыванияПрименяется здесь
Where this page’s references lead.
Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.
Вопросы и ответы.
What is data leakage in machine learning?
Can AI replace scientific simulation?
How should AI use in research be reported?
Can AI replace experiments?
What is data leakage?
Does the platform review scientific papers?
Are AI-generated hypotheses credited?
Поделитесь доказательствами с этой страницы.
Отчёты is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoОткрытый депозитДепонируйте и подайте в сообществоОпубликуйте собственную запись на Zenodo со своим идентификатором ORCID iD, затем подайте её в сообщество Reports. Кураторы проверяют её; DOI остаётся за вами.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.