GCRI · 人工知能と自律システム
科学における AI
Machine learning now predicts protein structures, emulates weather and climate models, screens materials and helps analyse vast datasets. It can speed discovery, and it can also produce results that are hard to reproduce, overfit or rest on data leakage. This page sets out how AI is used in science, where it fails, how its results are checked, and what evidence serves the researchers, funders and journals involved.
AI in science: how the risk develops.
Discovery and reproducibility. The dossier below sets out how the risk develops, what is measured, where the data come from, how it is modelled and who decides.
Learning from data replaces some simulation
Models trained on simulations or observations can emulate expensive calculations quickly. They are reliable within the range of their training data and uncertain outside it.
Leakage inflates results
When information from the test set reaches training, through duplicates, time overlap or preprocessing, reported accuracy overstates real performance. Leakage is a known cause of irreproducible ML science.
Openness enables checking
Results can be verified only when code, data, models and settings are shared. Proprietary models and data limit independent checks.
Scientists stay accountable
AI can suggest hypotheses and draft text, but researchers remain responsible for methods, interpretation and integrity. Journals and funders are setting rules for AI use.
モデルレジストリ。
このテーマを追跡するためにチームが使う画面：その指標、状態、決定。名前は例であり、値はイメージです。
モデル・レジストリ
AI in science · Model registry · Release gate
モデル
| M-489 triage assistant | 公共サービス | 高 | 20 of 24 suites | 阻害中 |
| M-530 flood nowcast | 科学 | 中 | 12 / 12 | 公開済み |
| M-079 document search | 内部 | 低 | 8 of 8 | 公開済み |
| M-881 agent planner | エージェント型 | 高 | 11 of 16 | 評価中 |
モデルカード
- 想定用途
- トリアージ支援、判断は人が行う
- 対象外
- 適格性の決定
- 既知の限界
- まれな事例での精度が低い
- オーナー
- モデルの所有者
インシデントログ
- D-19INC要約に実在しない引用が含まれる
- D-8MIT検索拡張による根拠づけを追加
- D-3INCアップロードされたファイルによるプロンプトインジェクション
- D-1MITツール権限を縮小
Evaluation scores
vs release threshold
AI changes how each domain’s science is done.
- 水結合ML models now rival process models in some prediction tasks.What to watchBenchmarks against process models
- 健康結合AI supports protein and pathogen research, raising dual-use questions.What to watchBiosecurity review of tools
- 生物多様性結合Automated species identification scales monitoring.What to watchIdentification accuracy by region
Studies of AI in science are designed for the 手法と技術シリーズ. Reproducibility requires code, data and model versions, recorded under NS-12 of the proposed Nexus Standards.
- Replications of AI-based results.
- Benchmarks with documented data.
How AI in science is modelled, measured and tested.
モデル、その仮定、データ、不確実性を、科学者やエンジニアが確認する形で示します。構造は公表された手法に従っています。描かれた値は例示であり、知見ではありません。
モデル、方程式、仮定
The model structure used for AI in science, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)ハザード、エクスポージャー、脆弱性、対処能力EAL = ∑k pk · Lk年間確率 pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| 仮定 | 作られる理由 | 検証の方法 |
|---|---|---|
| 一つの事象の中では、ハザードとエクスポージャーは独立している | 損失の積分を扱いやすく保つ | 同時記録に当てはめたコピュラと比較 |
| 結合は動作点の近くで線形である | ショックを A を通じて伝播させる | 線形範囲を超えて摂動を与えて比較する |
| 脆弱性曲線は場所を越えて適用できる | 地域固有の曲線はめったに得られない | 観測された損失がある場合はそれに照らして検証 |
- 入力
- 来歴付きのバージョン管理されたデータセット
- 成果物
- 分布であり、単一の数値ではない
- コード
- モデルカードと試験とともに公開
- 再現
- 同じデータ、コード、環境、シード
何を、どの程度うまく測定しているか。
各指標には、その単位、更新頻度、背後にある出典の種類、値が持つことになるエビデンスのラベルが付いています。値は表示しません：プログラムが自らの権限のもとで値を提供します。
| 指標 | 単位 | 周期 | 出典の種類 | ラベル |
|---|---|---|---|---|
| Studies sharing code and data | percent of published ML studies | レビューごと | Publication audits | 観測 |
| Leakage issues identified in reviews | count by type | レビューごと | Reproducibility studies | 報告値 |
| Out-of-distribution performance | error on held-out regimes | per evaluation | モデル評価 | 観測 |
| Emulator error against reference simulation | error metric | per evaluation | Validation runs | 観測 |
| Journals with AI use policies | 件数 | 年次 | Publisher policies | 申告済み |
| Compute used for scientific model training | floating point operations | per model | Model documentation | 推定 |
エビデンスの出所。
名前の明示された公開データセットと機関の記録。それぞれにライセンス区分があります。合意に基づく出典は、その条件のもとでのみ使用し、再公開することはありません。
| 出典 | 提供するもの | ライセンス区分 |
|---|---|---|
| Protein Data Bank and AlphaFold Protein Structure Database | Experimental and predicted protein structures | Open, CC0 and CC BY 4.0 respectively |
| WeatherBench and related benchmarks | Standard evaluation of data-driven weather models | Open, licence per benchmark (to check) |
| Princeton reproducibility studies on ML-based science | Survey of leakage and reproducibility failures | Licence per publication |
| Materials Project | Computed materials properties for screening | オープン、CC BY 4.0 |
| Publisher and funder policies on AI use | Rules on authorship, disclosure and review | Public, terms per publisher |
誰が決め、エビデンスが何に役立つか。
人工知能と自律 システム prepares evidence. The decisions below are taken by the authorities named, under their own rules, and never by the platform.
| 誰が決定するか | 質問 | このページが提供するエビデンス |
|---|---|---|
| Research teams | Whether an ML result is robust enough to publish | Leakage checklists; validation protocols |
| Journals and reviewers | What evidence to require for ML-based claims | Reporting guidance; reproducibility evidence |
| 研究資金提供者 | How to fund open models, data and compute for science | Openness and compute evidence |
このトピックが生み出す成果物
- Leakage and reproducibility checklists for ML studies
- Validation protocols for scientific emulators
- Guidance on reporting AI use in research
- Case studies of AI in specific sciences
What scientists ask about AI in research.
- Does the AI-assisted result hold when tested independently, by experiment or observation?
- Is the model, data and code available so others can reproduce it?
- Has data leakage between training and evaluation inflated reported performance?
- Does the model extrapolate beyond the conditions its training data covered?
How discovery and error both scale.
Machine learning finds patterns in large datasets faster than people can, and surrogate models can emulate expensive simulations, allowing many more scenarios to be explored. In fields with good data and clear validation, such as structural biology, the gains have been substantial.
The risks are equally systematic. Leakage between training and test data has produced inflated results across many disciplines. Models trained on past data may not respect physical laws when extrapolating. Generative システム can fabricate plausible references or data. And when models and data are proprietary, results cannot be checked.
Keeping AI-assisted science reproducible.
- 01
Reporting standards
Checklists covering data splits, leakage checks, baselines and uncertainty. Standards help only if journals and reviewers enforce them.
- 02
Physics-informed and hybrid models
Combining learned components with known physical constraints, using 人工知能と機械学習 and high-performance, cloud and edge computing. Constraints reduce but do not remove extrapolation risk.
- 03
Uncertainty estimation
Ensembles and Bayesian methods from 確率と統計 to flag predictions the model is unsure of. Uncertainty estimates can themselves be miscalibrated.
- 04
Open artefacts
Publishing code, data and model weights where rights allow, so others can reproduce and challenge results.
どのように研究され、手法が言えないことは何か。
Where this page’s references lead.
このページの読解の基準となる機関と文書。状態と版は変わります。各リンクは発行機関へ移動します。
質問と回答。
What is data leakage in machine learning?
Can AI replace scientific simulation?
How should AI use in research be reported?
Can AI replace experiments?
What is data leakage?
Does the platform review scientific papers?
Are AI-generated hypotheses credited?
このページからエビデンスを提供する。
報告書 is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
- メールゲートウェイ GW-GCRIこのページから送信するエビデンス、訂正、事例、手法、レビュー、翻訳、プロファイルへの入力。このページのタグが付いて届くため、担当の編集者が受け取ります。
- Zenodoオープンな寄託寄託してコミュニティに提出するORCID iD を使って Zenodo に自分の記録を公開し、そこから Reports コミュニティに提出してください。キュレーターが審査し、DOI は引き続きあなたのものです。
- 報告書GCRI貢献のすべての方法を見る貢献の種類、それぞれの審査方法、受け取るクレジット、ライセンス、決して受け付けないもの。
個人データ、重要インフラの機微な詳細、共有する権利のないものは決して送らないでください。寄稿は利用前にレビューされます。送付によって著作者としての権利や編集上の権利が生じることはなく、スポンサーシップで調査結果を買うことは決してできません。
手法、データセット、または問いを持ち込んでください。
情報提供と問い合わせは本日から受け付けています。問い合わせには参照番号が付き、次の手順が示されます。申請、支払い、計算資源の割り当て、登録は、担当チーム、規約、審査体制が整ってから開始します。
法的文書。
このサイトの地図、データ、図表は、背景と一般的な情報として示すものです。助言、予報、警報ではありません。情報の限界は免責事項とデータに関する注意事項に記載しています。