GCRI · Reports
Série de labs e foundry
Labs and foundry reports record technical tests: prototypes, software, sensors, data pipelines and procedures exercised under stated conditions. Test evidence is easy to overstate, because a passed test under controlled conditions is read as readiness for use. This page sets out how test reports are structured, reviewed and archived, how readiness levels are evidenced rather than declared, and what such evidence can support for those deciding whether to adopt or fund a technology.
Séries de Labs e Foundry no registro.
Séries de Labs e Foundry: como o risco se desenvolve.
Evidências de testes técnicos e de prontidão. O dossiê a seguir expõe como o risco se desenvolve, o que é medido, de onde vêm os dados, como são modelados e quem decide.
Test conditions narrow the claim
Um teste estabelece o comportamento nas condições testadas, com as entradas, o ambiente e a versão utilizados. Os Relatórios que omitem essas condições levam os leitores a generalizar além delas.
Readiness declared not shown
Os níveis de maturidade tecnológica costumam ser atribuídos pelo próprio desenvolvedor. Sem as evidências que cada nível exige, uma declaração de maturidade passa do relatório de testes à decisão de compra sem verificação.
Resultados negativos desaparecem
Failed and inconclusive tests are seldom written up, so the published record overstates success rates and others repeat tests that have already failed.
As versões subjacentes mudam
Software and hardware change after testing. A result cited without the version tested is attached to a system that may no longer exist in that form.
Mesa de produção da série.
A tela que uma equipe usaria para acompanhar esta matéria: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.
Mesa de produção de séries
Labs and foundry series · Annual synthesis · Edition 7
Edições em produção
| Síntese anual | Global | Verificação de dados | 81 | W10 |
| Perfil de país 7 | País | Revisão por pares | 97 | W16 |
| Perspectiva hídrica | Setorial | Em redação | 32 | W38 |
| Nota metodológica 4 | Métodos | Lançado | 100 | concluído |
Verificação de dados, síntese anual
Fluxo de trabalho da edição
- Esboçoconselho
- Rascunhoautores
- Verificação de dadoscada valor
- Revisão por paresduas rodadas
- Editorialdecision
- VersãoDOI
- Correçõesversionado
Labs and Foundry editions report what was tested and built for each domain.
Editions carry verification evidence under NS-11 of the proposed Nexus Standards. A test result is not an approval.
- Resultados negativos.
- Replications.
How labs and foundry series is modelled, measured and tested.
O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.
Modelo, equações e pressupostos
The model structure used for labs and foundry series, the assumptions it makes and how each is tested.
Ri = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamentoEAL = ∑k pk · Lkover events k with annual probability pkxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Pressuposto | Porque é feito | Como é testado |
|---|---|---|
| A ameaça e a exposição são independentes dentro de um evento | Mantém tratável o integral de perdas | Comparar com um ajuste de cópula sobre registros conjuntos |
| Os acoplamentos são lineares perto do ponto de funcionamento | Permite que os choques se propaguem através de A | Perturbar para além do intervalo linear e comparar |
| As curvas de vulnerabilidade transferem-se entre lugares | As curvas locais raramente estão disponíveis | Validar face às perdas observadas quando existam |
- Entradas
- conjuntos de dados versionados com proveniência
- Resultados
- distribuições, nunca números isolados
- Código
- publicado com a ficha de modelo e os testes
- Reprodução
- mesmos dados, código, ambiente e semente
O que é medido e com que qualidade.
Cada indicador leva sua unidade, sua periodicidade, o tipo de fonte por trás dele e a etiqueta de evidência que um valor levaria. Nenhum valor é mostrado: um programa os fornece sob sua própria autoridade.
| Indicador | Unidade | Cadência | Tipo de fonte | Rótulo |
|---|---|---|---|---|
| Test protocols registered before testing | percentual de relatórios | por relatório | Registros do Registry | OBSERVADO |
| Test reports with archived code, data and configuration | percentual de relatórios | por relatório | Repository deposit records | OBSERVADO |
| Readiness level claimed and evidence attached | nível alegado; sim ou não para evidências | por relatório | Relatório e anexo de evidências | DECLARADO |
| Negative and inconclusive results published | contagem por período | anual | Catálogo de séries | REPORTADO |
| Versão do sistema testado identificada | percentual de relatórios | por relatório | Metadados do relatório | OBSERVADO |
| Independent technical review completed | sim ou não, com a função do revisor | por relatório | Registro de revisão | DECLARADO |
De onde vêm as evidências.
Conjuntos de dados públicos nomeados e registros institucionais, cada um com sua classe de licença. As fontes obtidas por acordo só são usadas nos seus termos e nunca são republicadas.
| Fonte | O que oferece | Classe de licença |
|---|---|---|
| Zenodo | Archived test data, configurations and software releases with DOIs | Metadados CC0, licença por registro |
| Software Heritage | Preserved source code at the exact revision tested | Code under its own licence |
| OSF Registries | Protocolos de teste e planos de análise pré-registrados | Metadata CC0, licence per registration |
| protocols.io | Métodos passo a passo publicados, com versões e DOIs | Licence per protocol, mostly CC BY |
| NIST National Vulnerability Database | Known vulnerabilities for software components under test | Domínio público |
Quem decide, e a que servem as evidências.
Reports prepara evidências. As decisões abaixo são tomadas pelas autoridades indicadas, segundo suas próprias regras, e nunca pela plataforma.
| Quem decide | A pergunta | Evidências a que esta página serve |
|---|---|---|
| Procurement and adoption boards | Whether a tested technology is ready for a pilot or operational use | Readiness evidence annexes, test conditions and known limitations |
| Innovation funders and programme managers | Se deve financiar a próxima etapa de desenvolvimento | Nível de maturidade com suas evidências, resultados negativos e riscos em aberto |
| Painéis de revisão técnica | Whether a test report is complete and its conclusions follow from the evidence | Registered protocols, archived data and version identifiers |
| Standards and conformity assessment bodies | Se os métodos de teste são adequados para um futuro standard | Procedimentos de teste documentados e sua reprodutibilidade |
Produtos que este tema gera
- Test reports stating conditions, versions and acceptance criteria
- Anexos de evidências de prontidão que associam cada nível às suas evidências
- Archived configurations and data for each test
- A register of negative and inconclusive results
O que a série pergunta.
Technical claims about tools and systems need evidence that others can inspect. A system that is said to work under stress should show the test that proved it, the conditions of the test and what failed. Publishing that evidence, including negative results, guards against overstated readiness and helps institutions judge what a tool can and cannot do.
- What exactly was tested, under which protocol, with which data and in which environment?
- What passed, what failed and what was not tested?
- As evidências sustentam o próximo passo indicado, e somente esse passo?
- Quais observações ou sinais justificam análise adicional e qual é a sua confiabilidade?
O que a série abrange.
Three series report evidence from building, testing and observing.
Experimentos e ambientes de teste
Resultados de protocolos concluídos, incluindo resultados nulos e negativos.
Build and readiness
Evidence about Foundry systems against stated readiness criteria, never as certification.
Observação
Sinais do monitoramento, identificados por fonte e confiança, que levam à análise e não à ação.
The series follows the logic of test and evaluation practice in engineering: a claim is only as good as the protocol that tested it, and readiness is always readiness for something specific. A tool that has passed a laboratory test is not ready for field use, and a system that worked in one exercise has not shown that it will work in every setting. Editions state these limits next to each result.
Como as edições são construídas e seus limites.
- 01
Protocolos
Each result cites a protocol registered before the test, so outcomes cannot be selected after the fact.
- 02
Ambientes
As condições de teste são descritas; os resultados de um ambiente de testes podem não ser transferíveis para a operação real.
- 03
Critérios de prontidão
Readiness is assessed against criteria for a stated next step. It is not approval, bankability or certification.
- 04
Qualidade do sinal
Observatory signals state their source, coverage and false-alarm characteristics where known.
Como é estudado e o que os métodos não podem dizer.
- 01Engenharia, interoperabilidade e gestão responsável de dadosPublicação estruturada em JATS XML · Identificadores persistentes em todo o registroAplicado aqui
- 02Quantificação da incerteza e validação de modelosLinguagem calibrada nas avaliações · Classificações da certeza das evidênciasAplicado aqui
- 03Probabilidade e estatísticaMetanálise com heterogeneidade declarada · Viés de estudos pequenos e de publicaçãoAplicado aqui
Where this page’s references lead.
Os organismos e documentos à luz dos quais esta página é lida. O estado e as edições mudam; cada ligação leva ao organismo emissor.
Perguntas e respostas.
O que é um nível de maturidade tecnológica?
Why publish failed tests?
Does a passed test mean a system is safe?
Does a readiness report mean a system is approved?
Os testes que falham são publicados?
Os fornecedores podem publicar resultados na série?
Are observatory signals warnings?
Contribua com evidências a partir desta página.
Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.
- E-mailPortal GW-GCRIEnvie desta páginaEvidência, uma correção, um caso, um método, uma revisão, uma tradução ou uma contribuição ao perfil. Chega marcada com esta página, de modo que o editor responsável a receba.
- ZenodoOpen depositDeposit it and submit to the communityPublish your own record on Zenodo with your ORCID iD, then submit it to the Reports community there. Curators review it; the DOI stays yours.
- RelatóriosGCRIVer todas as formas de contribuirOs tipos de contribuição, como cada um é revisado, o crédito que você recebe, a licença e o que nunca é aceito.
Nunca envie dados pessoais, detalhes sensíveis de infraestrutura nem nada que você não tenha o direito de compartilhar. Uma contribuição é revisada antes do uso. Enviá-la não confere autoria nem direitos editoriais, e o patrocínio nunca compra uma constatação.
Traga um método, um conjunto de dados ou uma pergunta.
A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.
Documentos jurídicos.
Os mapas, dados e números deste site são apresentados como contexto e informação geral. Não são aconselhamento, previsões nem avisos; os limites da informação estão expostos nos Avisos legais e nos Avisos sobre dados.