GCRI · Инновации и технологические изменения
Оценка технологий
Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.
The workspace for technology assessment.
Конвейер инноваций
GCRI · Этапы-ворота · Пример интерфейса, не запись
По уровню готовности
Критерии готовности
пилот и этап-ворота
Проблемы пилота
- I-1Лицензия на данные для пилотной площадкиПроверить9 дн.
- I-2Протокол наблюдателя подписанГотово8 дн.
GCRI · Конвейер инноваций. Конвейер инноваций: примеры названий и иллюстративные значения, не запись.
Four questions behind every assessment.
A fourth question runs through all three: what would make the technology fail, and has that been looked for?
How mature is it?
Evidence on maturity in the intended setting, not in the most favourable one.
Has it been tested?
Независимые испытания на соответствие заявленным целям с указанием условий испытаний.
What exactly is claimed?
Capability statements separated into measured, estimated and asserted.
Readiness levels, what they measure and what they leave out.
Technology readiness levels run from one, basic principles observed, to nine, a system proven in its operational environment. NASA introduced them; ISO 16290:2013 defines them for space systems, and many agencies use adapted versions. A readiness level describes maturity in a stated environment. It says nothing about cost, safety in a different setting, social acceptance or whether an organisation can operate the technology.
| Вопрос | Доказательная база, отвечающая на вопрос | Common gap |
|---|---|---|
| Does it work as claimed? | Independent tests against a pre-registered plan, on held-out data or in a representative environment | Vendor benchmarks on data the system was tuned to |
| Does it work here? | Trials in the target context, with local users and conditions | Transfer from a different climate, language or infrastructure |
| What does it depend on? | Bills of materials, supply and energy needs, skills required | Hidden dependence on a single supplier or service |
| How does it fail? | Adversarial and stress tests; incident records | Testing only the expected cases |
Reporting capability honestly.
- Report performance with confidence intervals and on the population it will serve, not only on aggregate test sets.
- Check for contamination: test data that leaked into training inflates scores, a known problem for AI benchmarks.
- For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
- Separate a demonstration, a pilot and sustained operation; each is a different claim.
The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.
Assessment reports, not approvals.
An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.
How capability is reported.
- Measured capability is published with workload, data size, hardware, configuration, software version and interval
- Peak, sustained, available and allocated capacity are reported separately
- Device counts and specifications are descriptors, not application results
- Energy, cooling and water use are tracked, with measurements kept apart from estimates
- Отказы и ограничения, обнаруженные при испытаниях, фиксируются в отчётах, а не исключаются из них
От плана оценки до зафиксированного результата.
- 01
План оценки
Objectives, metrics, conditions and stop rules agreed before testing.
- 02
Контролируемый тест
Experiments in Labs test environments or the annual Universe programme, with independent observation.
- 03
Recorded result
Results with their method, limits and evidence label, published where rights allow.
Тестирование не является сертификацией.
An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.
Where this page’s references lead.
Органы и документы, с которыми сопоставляется эта страница. Статусы и редакции меняются; каждая ссылка ведёт к выпускающему органу.
- Уровни технологической готовности (NASA)
- ISO 16290:2013 Space systems, definition of the technology readiness levels and their criteria of assessment (ISO)
- Collins and others, TRIPOD+AI statement, BMJ 385 (2024)
- OECD Framework for Anticipatory Governance of Emerging Technologies (OECD, 2024)
- European Parliamentary Technology Assessment network (EPTA)
- Рамочная программа NIST по управлению рисками ИИ 1.0 (NIST AI 100-1, 2023) и Профиль генеративного ИИ (NIST AI 600-1, 2024)
- NS-11, Верификация и мониторинг, предлагаемый стандарт
Вопросы и ответы.
Can a vendor cite a GCRI assessment in marketing?
Кто оплачивает оценку?
Are negative results published?
Does GCRI use readiness levels?
Можно ли оспорить оценку?
Поделитесь доказательствами с этой страницы.
Reports является ежеквартальным изданием Консорциума. Ваши знания по этой теме могут стать доказательством, кейсом или исправлением в следующем выпуске с указанием вашего авторства и публикацией по лицензии CC BY 4.0, если это ваша собственная работа.
- Электронная почтаШлюз GW-GCRIОтправьте с этой страницыДоказательная база, исправление, случай, метод, рецензия, перевод или вклад в профиль. Материал приходит с пометкой этой страницы, поэтому его получает редактор, отвечающий за неё.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- ОтчётыGCRIВсе способы внести вкладВиды вклада, порядок рецензирования каждого из них, указание авторства, лицензия и то, что никогда не принимается.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Предложите метод, набор данных или вопрос.
Информация и запросы открыты уже сегодня. Запрос получает номер и указывает следующий шаг; заявки, платежи, выделение вычислительных ресурсов и регистрации открываются только тогда, когда существуют их команда, условия и возможности для проверки.
Юридические документы.
Карты, данные и рисунки на этом сайте приводятся для контекста и общей информации. Они не являются советом, прогнозом или предупреждением; ограничения информации изложены в Оговорках и уведомлениях о данных.