Skip to content

GCRI · Inovação e mudança tecnológica

Avaliação de tecnologias

Claims about technology are easy to make and hard to check. Technology assessment at The Global Centre for Risk and Innovation (GCRI) asks what a technology actually does, under which conditions, on what evidence and with what limits. Institutions can then tell a demonstration from a dependable capability before they adopt, procure or regulate. Part of innovation and technological change.

01Espaço de trabalho

O espaço de trabalho para a avaliação de tecnologia.

Pipeline de inovação

GCRI · Portas de etapa · Exemplo de interface, não um registo

Gate review in 8 dGCRI · GCRI

Por nível de maturidade

TRL 2 a 301
Ciclo de revisão de métodosconceito testado
TRL 4 a 502
Auditoria de rótulos de evidênciasvalidação em laboratório
Construção do Modelo Nacionalvalidação em laboratório
TRL 6 a 701
Planejamento da edição do relatóriopiloto com o responsável
Revisão de adoção01
Desenho anual da missãoo responsável decide

Critérios de prontidão

piloto vs porta

Evidência de efeito85 of 70 requiredSalvaguardas60 of 80 requiredCusto operacional conhecido40 of 60 requiredCompromisso do responsável43 of 75 required

Problemas do piloto

  1. I-1Data licence for pilot siteTo check9 d
  2. I-2Observer protocol signedDone8 d
Pipeline de inovação.Interface ilustrativa; não são dados ao vivo.

GCRI · Pipeline de inovação. Pipeline de inovação: nomes de exemplo e valores ilustrativos, não um registro.

02O que é examinado

Quatro perguntas por trás de cada avaliação.

A fourth question runs through all three: what would make the technology fail, and has that been looked for?

Prontidão

Qual é o seu grau de maturidade?

Evidence on maturity in the intended setting, not in the most favourable one.

Validação

Foi testado?

Independent tests against stated objectives, with the test conditions reported.

Claims

What exactly is claimed?

Declarações de capacidade separadas em medidas, estimadas e afirmadas.

03Escalas de prontidão

Níveis de prontidão, o que medem e o que deixam de fora.

Os níveis de maturidade tecnológica vão de um, princípios básicos observados, a nove, um sistema comprovado em seu ambiente operacional. A NASA os introduziu; a ISO 16290:2013 os define para sistemasespaciais, e muitas agências usam versões adaptadas. Um nível de maturidade descreve a maturidade em um ambiente declarado. Nada diz sobre custo, segurança em outro contexto, aceitação social ou se uma organização é capaz de operar a tecnologia.

PerguntaEvidências que respondem a elaCommon gap
Funciona como alegado?Independent tests against a pre-registered plan, on held-out data or in a representative environmentVendor benchmarks on data the system was tuned to
Funciona aqui?Testes no contexto-alvo, com usuários e condições locaisTransferência de um clima, idioma ou infraestrutura diferente
What does it depend on?Bills of materials, supply and energy needs, skills requiredDependência oculta de um único fornecedor ou serviço
Como ele falha?Adversarial and stress tests; incident recordsTesting only the expected cases
04Measurement practice

Reporting capability honestly.

  • Report performance with confidence intervals and on the population it will serve, not only on aggregate test sets.
  • Verificar a contaminação: dados de teste que vazaram para o treinamento inflam as pontuações, um problema conhecido dos benchmarks de IA.
  • For prediction models in health and similar settings, follow reporting guides such as TRIPOD+AI (2024).
  • Distinga uma demonstração, um piloto e uma operação sustentada; cada um é uma afirmação diferente.

The OECD’s Framework for Anticipatory Governance of Emerging Technologies of 2024 and parliamentary technology assessment offices, networked through EPTA, provide models of assessment that look beyond performance to values and institutions.

05GCRI’s part

Relatórios de avaliação, não aprovações.

An assessment records what was tested, how and with what result. It confers no status and is never a condition of procurement. Assessments are designed for the Labs Evidence series and, when they concern readiness for national deployment, the Foundry Build and Readiness series; evidence would follow NS-11 of the proposed Nexus Standards. Providers can submit test plans; independent researchers can submit replications.

06Measurement rules

How capability is reported.

  • A capacidade medida é publicada com carga de trabalho, volume de dados, hardware, configuração, versão do software e intervalo
  • As capacidades de pico, sustentada, disponível e alocada são informadas separadamente
  • Contagens de dispositivos e especificações são descritores, não resultados de aplicação
  • O uso de energia, refrigeração e água é monitorado, com as medições mantidas separadas das estimativas
  • Falhas e limitações encontradas durante os testes são relatadas, não removidas
07How tests run

Do plano de avaliação ao resultado registrado.

  1. 01

    Evaluation plan

    Objetivos, métricas, condições e regras de interrupção acordados antes dos testes.

  2. 02

    Controlled test

    Experimentos em ambientes de teste do Labs ou no programa anual Universo , com observação independente.

  3. 03

    Recorded result

    Resultados com seu método, limites e rótulo de evidências, publicados quando os direitos o permitem.

08Limites

Testing is not certification.

An assessment describes what was tested and found. It is not accreditation, certification, endorsement or approval for use. Evaluation never depends on a provider’s contribution. Providers start at technology and infrastructure providers. See also responsible technology and the Labs Evidence report series.

10Perguntas

Perguntas e respostas.

Can a vendor cite a GCRI assessment in marketing?
Only as a factual citation of the published result, with its scope and limits, and never as certification or endorsement. Misrepresentation can be reported to the integrity address.
Quem paga por uma avaliação?
Terms are set out for each testbed call or agreement. Payment never buys a result, and evaluation never depends on a high contribution.
Os resultados negativos são publicados?
Yes, where rights allow. A technology that fails a test produces a result as valid as one that passes.
O GCRI usa níveis de prontidão?
Readiness is described with evidence for the specific setting. Where a recognised readiness scale is referenced, it is named and the evidence for the level is shown.
Uma avaliação pode ser contestada?
Sim. Provedores, pesquisadores e o público podem contestar uma avaliação publicada pela via de integridade. Uma correção aceita cria uma nova versão registrada, com o seu histórico.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

GCRI
O Global Centre for Risk and Innovation

Traga um método, um conjunto de dados ou uma pergunta.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.