Skip to content

GCRI · Reports

Série de labs e foundry

Labs and foundry reports record technical tests: prototypes, software, sensors, data pipelines and procedures exercised under stated conditions. Test evidence is easy to overstate, because a passed test under controlled conditions is read as readiness for use. This page sets out how test reports are structured, reviewed and archived, how readiness levels are evidenced rather than declared, and what such evidence can support for those deciding whether to adopt or fund a technology.

02A pergunta

Séries de Labs e Foundry: como o risco se desenvolve.

Evidências de testes técnicos e de prontidão. O dossiê a seguir expõe como o risco se desenvolve, o que é medido, de onde vêm os dados, como são modelados e quem decide.

Mecanismo

Test conditions narrow the claim

Um teste estabelece o comportamento nas condições testadas, com as entradas, o ambiente e a versão utilizados. Os Relatórios que omitem essas condições levam os leitores a generalizar além delas.

Mecanismo

Readiness declared not shown

Os níveis de maturidade tecnológica costumam ser atribuídos pelo próprio desenvolvedor. Sem as evidências que cada nível exige, uma declaração de maturidade passa do relatório de testes à decisão de compra sem verificação.

Mecanismo

Resultados negativos desaparecem

Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.

Mecanismo

As versões subjacentes mudam

Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.

03Monitoramento

Mesa de produção da série.

A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.

Mesa de produção de séries

Labs and foundry series · Annual synthesis · Edition 7

Data check behind planGCRI · Reports

Edições em produção

Síntese anualGlobalVerificação de dados81W10
Perfil de país 7PaísRevisão por pares97W16
Perspectiva hídricaSetorialEm redação32W38
Nota metodológica 4MétodosLançado100concluído

Verificação de dados, síntese anual

Valores rastreados, %79 of 100 requiredRótulos atribuídos, %95 de 100 exigidosIncerteza declarada, %73 de 100 exigidos

Fluxo de trabalho da edição

  1. Esboçoconselho
  2. Rascunhoautores
  3. Verificação de dadoscada valor
  4. Revisão por paresduas rodadas
  5. Editorialdecision
  6. VersãoDOI
  7. Correçõesversionado
Series production desk: the screen’s structure, terms and states for Labs and foundry series.Example names and illustrative values; a design, not a record or a live system.
04Nos cinco domínios

Labs and Foundry editions report what was tested and built for each domain.

05Métodos e evidência

How labs and foundry series is modelled, measured and tested.

O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.

Modelo, equações e pressupostos

The model structure used for labs and foundry series, the assumptions it makes and how each is tested.

Risco do elemento iRi = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamento
Perda anual esperadaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemas acopladosxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
PressupostoPorque é feitoComo é testado
A ameaça e a exposição são independentes dentro de um eventoMantém tratável o integral de perdasComparar com um ajuste de cópula sobre registros conjuntos
Os acoplamentos são lineares perto do ponto de funcionamentoPermite que os choques se propaguem através de APerturbar para além do intervalo linear e comparar
As curvas de vulnerabilidade transferem-se entre lugaresAs curvas locais raramente estão disponíveisValidar face às perdas observadas quando existam
Entradas
conjuntos de dados versionados com proveniência
Resultados
distribuições, nunca números isolados
Código
publicado com a ficha de modelo e os testes
Reprodução
mesmos dados, código, ambiente e semente
Formulações padrão de risco e de espaço de estados; os pressupostos listados são típicos do método, indicados para revisão, não resultados.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Indicadores

O que é medido e com que qualidade.

Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.

IndicadorUnidadeCadênciaTipo de fonteRótulo
Test protocols registered before testingpercentual de relatóriospor relatórioRegistros do RegistryOBSERVADO
Test reports with archived code, data and configurationpercentual de relatóriospor relatórioRepository deposit recordsOBSERVADO
Readiness level claimed and evidence attachednível alegado; sim ou não para evidênciaspor relatórioRelatório e anexo de evidênciasDECLARADO
Negative and inconclusive results publishedcontagem por períodoanualCatálogo de sériesREPORTADO
Versão do sistema testado identificadapercentual de relatóriospor relatórioMetadados do relatórioOBSERVADO
Independent technical review completedsim ou não, com a função do revisorpor relatórioRegistro de revisãoDECLARADO
07Fontes

De onde vêm as evidências.

Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.

FonteO que ofereceClasse de licença
ZenodoArchived test data, configurations and software releases with DOIsMetadados CC0, licença por registro
Software HeritagePreserved source code at the exact revision testedCode under its own licence
OSF RegistriesProtocolos de teste e planos de análise pré-registradosMetadata CC0, licence per registration
protocols.ioMétodos passo a passo publicados, com versões e DOIsLicence per protocol, mostly CC BY
NIST National Vulnerability DatabaseKnown vulnerabilities for software components under testDomínio público
08Decisões

Quem decide, e a que servem as evidências.

Reports prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.

Quem decideA perguntaEvidências a que esta página serve
Procurement and adoption boardsWhether a tested technology is ready for a pilot or operational useReadiness evidence annexes, test conditions and known limitations
Innovation funders and programme managersSe deve financiar a próxima etapa de desenvolvimentoNível de maturidade com suas evidências, resultados negativos e riscos em aberto
Painéis de revisão técnicaWhether a test report is complete and its conclusions follow from the evidenceRegistered protocols, archived data and version identifiers
Standards and conformity assessment bodiesSe os métodos de teste são adequados para um futuro standardProcedimentos de teste documentados e sua reprodutibilidade

Produtos que este tema gera

  • Test reports stating conditions, versions and acceptance criteria
  • Anexos de evidências de prontidão que associam cada nível às suas evidências
  • Archived configurations and data for each test
  • A register of negative and inconclusive results
09Questões centrais

O que a série pergunta.

Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.

  • What exactly was tested, under which protocol, with which data and in which environment?
  • What passed, what failed and what was not tested?
  • As evidências sustentam o próximo passo indicado, e somente esse passo?
  • Quais observações ou sinais justificam análise adicional e qual é a sua confiabilidade?
10Escopo

O que a série abrange.

Three series report evidence from building, testing and observing.

Laboratórios

Experimentos e ambientes de teste

Resultados de protocolos concluídos, incluindo resultados nulos e negativos.

Foundry

Build and readiness

Evidence about Foundry systems against stated readiness criteria, never as certification.

Signals

Observação

Sinais do monitoramento, identificados por fonte e confiança, que levam à análise e não à ação.

The series follows the logic of test and evaluation practice in engineering: a claim is only as good as the protocol that tested it, and readiness is always readiness for something specific. A tool that has passed a laboratory test is not ready for field use, and a system that worked in one exercise has not shown that it will work in every setting. Editions state these limits next to each result.

11Como as edições são construídas

Como as edições são construídas e seus limites.

  1. 01

    Protocolos

    Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.

  2. 02

    Ambientes

    As condições de teste são descritas; os resultados de um ambiente de testes podem não ser transferíveis para a operação real.

  3. 03

    Critérios de prontidão

    Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.

  4. 04

    Qualidade do sinal

    Observatory signals state their source, coverage and false-alarm characteristics where known.

12Métodos

Como é estudado e o que os métodos não podem dizer.

  1. Engenharia, interoperabilidade e gestão responsável de dadosPublicação estruturada em JATS XML · Identificadores persistentes em todo o registroAplicado aqui
  2. Quantificação da incerteza e validação de modelosLinguagem calibrada nas avaliações · Classificações da certeza das evidênciasAplicado aqui
  3. Probabilidade e estatísticaMetanálise com heterogeneidade declarada · Viés de estudos pequenos e de publicaçãoAplicado aqui
13Where this page’s references

Where this page’s references lead.

Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.

14Perguntas

Perguntas e respostas.

O que é um nível de maturidade tecnológica?
A scale describing how far a technology has progressed from basic principles to demonstrated operation. Each level requires specific evidence; a level stated without that evidence is a declaration, not a demonstration.
Why publish failed tests?
Because a record of successes alone misleads. Negative and inconclusive results show where a technology does not work and stop others repeating the same test.
Does a passed test mean a system is safe?
Não. Significa que o sistema atendeu aos critérios declarados nas condições declaradas. A segurança depende do uso, do contexto e de condições que o teste pode não ter abrangido.
Does a readiness report mean a system is approved?
Não. Prontidão é a aptidão para uma etapa seguinte declarada dentro de um escopo declarado. Não é aprovação, certificação nem uma declaração de que um serviço está em operação.
Os testes que falham são publicados?
Sim. Resultados negativos e nulos fazem parte das evidências, e omiti-los superestimaria a prontidão.
Os fornecedores podem publicar resultados na série?
Results appear only from protocols run under the programme’s review. Vendor claims are labelled Institution-reported if cited at all.
Are observatory signals warnings?
Não. Elas estimulam a análise. Os alertas permanecem com as autoridades competentes.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

GCRIRelatóriosRisco e resiliência de sistemas globaisRisco e Resiliência dos Sistemas NacionaisTrimestral do país
Relatórios

Traga um método, um conjunto de dados ou uma pergunta.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.