GCRI · نوآوری و تحول فناورانه
ارزیابی فناوری
Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.
The workspace for technology assessment.
خط لولهٔ نوآوری
GCRI · دروازههای مرحلهای · رابط نمونه، نه یک رکورد
بر پایهٔ سطح آمادگی
معیارهای آمادگی
آزمایشی در برابر دروازه
مسائل آزمایشی
- I-1پروانهٔ داده برای سایت آزمایشیبرای بررسی9 روز
- I-2پروتکل ناظر امضا شدانجامشده8 روز
GCRI · خط لولهٔ نوآوری. خط لولهٔ نوآوری: نامهای نمونه و مقادیر تبیینی، نه یک رکورد.
Four questions behind every assessment.
A fourth question runs through all three: what would make the technology fail, and has that been looked for?
سطح بلوغ آن چقدر است؟
Evidence on maturity in the intended setting, not in the most favourable one.
Has it been tested?
Independent tests against stated objectives, with the test conditions reported.
What exactly is claimed?
Capability statements separated into measured, estimated and asserted.
Readiness levels, what they measure and what they leave out.
Technology readiness levels run from one, basic principles observed, to nine, a system proven in its operational environment. NASA introduced them; ISO 16290:2013 defines them for space systems, and many agencies use adapted versions. A readiness level describes maturity in a stated environment. It says nothing about cost, safety in a different setting, social acceptance or whether an organisation can operate the technology.
| پرسش | Evidence that answers it | شکاف رایج |
|---|---|---|
| Does it work as claimed? | Independent tests against a pre-registered plan, on held-out data or in a representative environment | Vendor benchmarks on data the system was tuned to |
| Does it work here? | Trials in the target context, with local users and conditions | Transfer from a different climate, language or infrastructure |
| به چه چیزی بستگی دارد؟ | Bills of materials, supply and energy needs, skills required | Hidden dependence on a single supplier or service |
| چگونه شکست میخورد؟ | Adversarial and stress tests; incident records | Testing only the expected cases |
Reporting capability honestly.
- عملکرد را با بازههای اطمینان و بر جمعیتی که به آن خدمت خواهد کرد گزارش کنید، نه فقط بر مجموعههای آزمون تجمیعی.
- Check for contamination: test data that leaked into training inflates scores, a known problem for AI benchmarks.
- For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
- Separate a demonstration, a pilot and sustained operation; each is a different claim.
The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.
Assessment reports, not approvals.
An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.
How capability is reported.
- Measured capability is published with workload, data size, hardware, configuration, software version and interval
- Peak, sustained, available and allocated capacity are reported separately
- Device counts and specifications are descriptors, not application results
- Energy, cooling and water use are tracked, with measurements kept apart from estimates
- Failures and limitations found during testing are reported, not removed
From evaluation plan to recorded result.
- 01
Evaluation plan
Objectives, metrics, conditions and stop rules agreed before testing.
- 02
آزمون کنترلشده
Experiments in Labs test environments or the annual Universe programme, with independent observation.
- 03
Recorded result
Results with their method, limits and evidence label, published where rights allow.
Testing is not certification.
An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.
Where this page’s references lead.
نهادها و اسنادی که این صفحه بر پایهٔ آنها خوانده میشود. وضعیت و ویراستها تغییر میکنند؛ هر پیوند به نهاد صادرکننده میرود.
- سطوح آمادگی فناوری (NASA)
- ISO 16290:2013 Space systems, definition of the technology readiness levels and their criteria of assessment (ISO)
- Collins and others, TRIPOD+AI statement, BMJ 385 (2024)
- OECD Framework for Anticipatory Governance of Emerging Technologies (OECD, 2024)
- European Parliamentary Technology Assessment network (EPTA)
- NIST AI Risk Management Framework 1.0 (NIST AI 100-1, 2023) and the Generative AI Profile (NIST AI 600-1, 2024)
- NS-11، راستیآزمایی و پایش، یک استاندارد پیشنهادی
پرسش و پاسخ.
Can a vendor cite a GCRI assessment in marketing?
Who pays for an assessment?
Are negative results published?
Does GCRI use readiness levels?
Can an assessment be challenged?
شواهد را از همین صفحه ارسال کنید.
Reports نشریهٔ فصلی کنسرسیوم است. آنچه دربارهٔ این موضوع میدانید میتواند در ویراست بعدی به شواهد، یک مورد یا یک اصلاح تبدیل شود، به نام شما ثبت شود و در صورتی که کار خود شما باشد تحت CC BY 4.0 منتشر شود.
- ایمیلدرگاه GW-GCRIاز همین صفحه ارسال کنیدشواهد، یک اصلاحیه، یک مورد، یک روش، یک داوری، یک ترجمه یا ورودی نمایه. با برچسب این صفحه میرسد تا ویراستار مسئول آن را دریافت کند.
- Zenodoسپردهٔ بازآن را واگذار کنید و به جامعه ارائه دهیدسابقهٔ خود را با شناسهٔ ORCID خود در Zenodo منتشر کنید و سپس آن را در همانجا به جامعهٔ Reports ارسال کنید. گزینشگران آن را داوری میکنند؛ DOI از آنِ شما میماند.
- گزارشهاGCRIهمهٔ راههای مشارکت را ببینیدانواع مشارکت، نحوهٔ بررسی هر یک، اعتباری که دریافت میکنید، مجوز و آنچه هرگز پذیرفته نمیشود.
هرگز داده شخصی، جزئیات حساس زیرساخت یا چیزی را که حق اشتراکش را ندارید نفرستید. هر مشارکت پیش از استفاده داوری میشود؛ ارسال آن حق مؤلفی یا ویرایشی نمیدهد و حمایت مالی هرگز یافتهای را نمیخرد.
یک روش، یک مجموعهداده یا یک پرسش بیاورید.
اطلاعات و درخواستها امروز باز است. هر درخواست یک شمارهٔ پیگیری میگیرد و گام بعدی را مشخص میکند؛ درخواستهای عضویت، پرداختها، تخصیص رایانش و ثبتنامها تنها زمانی باز میشوند که تیم، شرایط و ظرفیت داوری آنها فراهم باشد.
اسناد حقوقی.
نقشهها، دادهها و ارقام این سایت برای زمینه و اطلاعات عمومی نشان داده میشوند. توصیه، پیشبینی یا هشدار نیستند؛ حدود این اطلاعات در سلب مسئولیتها و اعلامیههای داده بیان شده است.