GCRI · Inovação e mudança tecnológica
Avaliação de tecnologias
Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.
O espaço de trabalho para a avaliação de tecnologia.
Pipeline de inovação
GCRI · Portas de etapa · Exemplo de interface, não um registo
Por nível de maturidade
Critérios de prontidão
piloto vs porta
Problemas do piloto
- I-1Data licence for pilot siteTo check9 d
- I-2Observer protocol signedDone8 d
GCRI · Pipeline de inovação. Pipeline de inovação: nomes de exemplo e valores ilustrativos, não um registro.
Quatro perguntas por trás de cada avaliação.
A fourth question runs through all three: what would make the technology fail, and has that been looked for?
Qual é o seu grau de maturidade?
Evidence on maturity in the intended setting, not in the most favourable one.
Foi testado?
Independent tests against stated objectives, with the test conditions reported.
What exactly is claimed?
Declarações de capacidade separadas em medidas, estimadas e afirmadas.
Níveis de prontidão, o que medem e o que deixam de fora.
Os níveis de maturidade tecnológica vão de um, princípios básicos observados, a nove, um sistema comprovado em seu ambiente operacional. A NASA os introduziu; a ISO 16290:2013 os define para sistemasespaciais, e muitas agências usam versões adaptadas. Um nível de maturidade descreve a maturidade em um ambiente declarado. Nada diz sobre custo, segurança em outro contexto, aceitação social ou se uma organização é capaz de operar a tecnologia.
| Pergunta | Evidências que respondem a ela | Common gap |
|---|---|---|
| Funciona como alegado? | Independent tests against a pre-registered plan, on held-out data or in a representative environment | Vendor benchmarks on data the system was tuned to |
| Funciona aqui? | Testes no contexto-alvo, com usuários e condições locais | Transferência de um clima, idioma ou infraestrutura diferente |
| What does it depend on? | Bills of materials, supply and energy needs, skills required | Dependência oculta de um único fornecedor ou serviço |
| Como ele falha? | Adversarial and stress tests; incident records | Testing only the expected cases |
Reporting capability honestly.
- Report performance with confidence intervals and on the population it will serve, not only on aggregate test sets.
- Verificar a contaminação: dados de teste que vazaram para o treinamento inflam as pontuações, um problema conhecido dos benchmarks de IA.
- For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
- Distinga uma demonstração, um piloto e uma operação sustentada; cada um é uma afirmação diferente.
The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.
Relatórios de avaliação, não aprovações.
An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.
How capability is reported.
- A capacidade medida é publicada com carga de trabalho, volume de dados, hardware, configuração, versão do software e intervalo
- As capacidades de pico, sustentada, disponível e alocada são informadas separadamente
- Contagens de dispositivos e especificações são descritores, não resultados de aplicação
- O uso de energia, refrigeração e água é monitorado, com as medições mantidas separadas das estimativas
- Falhas e limitações encontradas durante os testes são relatadas, não removidas
Do plano de avaliação ao resultado registrado.
- 01
Evaluation plan
Objetivos, métricas, condições e regras de interrupção acordados antes dos testes.
- 02
Controlled test
Experimentos em ambientes de teste do Labs ou no programa anual Universo , com observação independente.
- 03
Recorded result
Resultados com seu método, limites e rótulo de evidências, publicados quando os direitos o permitem.
Testing is not certification.
An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.
Where this page’s references lead.
Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.
- Níveis de maturidade tecnológica (NASA)
- ISO 16290:2013 Sistemas espaciais, definição dos níveis de maturidade tecnológica e de seus critérios de avaliação (ISO)
- Collins e outros, declaração TRIPOD+AI, BMJ 385 (2024)
- Estrutura da OCDE para a Governança Antecipatória de Tecnologias Emergentes (OCDE, 2024)
- European Parliamentary Technology Assessment network (EPTA)
- NIST AI Risk Management Framework 1.0 (NIST AI 100-1, 2023) e o Generative AI Profile (NIST AI 600-1, 2024)
- NS-11, Verificação e monitoramento, uma norma proposta
Perguntas e respostas.
Can a vendor cite a GCRI assessment in marketing?
Quem paga por uma avaliação?
Os resultados negativos são publicados?
O GCRI usa níveis de prontidão?
Uma avaliação pode ser contestada?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.