Skip to content

GCRI · Labs

Aprendizado de máquina na ciência de laboratório

O aprendizado de máquina é, neste laboratório, ao mesmo tempo ferramenta e objeto de estudo. Ele auxilia a triagem da literatura, o desenho experimental, a análise de imagens e sequências e a simulação, e exige uma disciplina própria de avaliação: vazamento de dados, mudança de distribuição e modos de falha opacos são riscos de pesquisa a serem testados, não a serem presumidos como inexistentes.

02Candidatura

O que a inteligência artificial e o aprendizado de máquina fazem aqui.

A inteligência artificial e o aprendizado de máquina desenvolvem algoritmos que aprendem padrões a partir de dados para classificar, prever ou gerar resultados. São cada vez mais usados na detecção de ameaças, na previsão e no apoio à decisão, e são, eles próprios, uma fonte de risco. Em pesquisa e evidências, métodos e modelagem e inovação, o aprendizado de máquina pode ampliar a detecção e a previsão em sistemasinterconectados. Seus próprios modos de falha devem ser ponderados quando resultados automatizados orientam decisões de consequência. A descrição canônica está em o STEM Commons.

Triagem assistida para revisões sistemáticas

Classificadores priorizam registros para triagem humana; a revocação é medida em relação a uma amostra totalmente triada, e a regra de parada é declarada no protocolo de revisão antes do início da triagem.

Modelos substitutos para orientar experimentos

Models trained on simulations or past runs suggest which experiments to run next, using uncertainty to balance exploration and confirmation, and every suggestion is tested physically before it counts.

Análise de imagens e sinais no laboratório

Segmentation and classification models are validated against expert annotation from other sites and instruments, with failure cases catalogued and shared alongside the model.

03Monitoramento

Treinamento de modelos.

A tela que uma equipe usaria para acompanhar este método: suas medidas, estados e decisões. Os nomes são exemplos e os valores são ilustrativos.

Treinamento de modelos

Labs · Aprendizado de máquina em laboratório · Execução R-4300

Drift on one sliceGCRI · Labs

Avaliação por fatia

Tudo0.790.047294Aprovado
Região A0.840.041004Análise
Região B0.790.12594Análise
Classe rara0.670.1467Abaixo do patamar

Ficha do método

Método
Inteligência artificial e aprendizado de máquina
Divisão
baseado no tempo, sem vazamento
Funcionalidades
22
Rótulo
MODELADO

Estabilidade da população

Model training: the screen’s structure, terms and states for Labs.Example names and illustrative values; a design, not a record or a live system.
04Dados

O que o método consome.

Conjuntos de dados e registros usados pela inteligência artificial e pelo aprendizado de máquina nesta plataforma, com o papel que cada um desempenha e a etiqueta que seus valores levam. As fontes estão listadas no registro de fontes.

DadosFunçãoRótulo
Annotated benchmark datasetsTreinamento e avaliaçãoREPORTADO
Laboratory instrument outputsInsumos para modelos de análiseOBSERVADO
Arquivos de simulaçãoTraining surrogate modelsMODELADO
Model and dataset cardsUso pretendido e limites conhecidosDECLARADO
05Métodos e evidência

Como o aprendizado de máquina na ciência de laboratório é modelado, medido e testado.

O modelo, os seus pressupostos, os seus dados e a sua incerteza, na forma que um cientista ou engenheiro verificaria. As estruturas seguem métodos publicados. Os valores representados são ilustrativos, não conclusões.

Modelo, equações e pressupostos

The model structure used for machine learning in laboratory science, the assumptions it makes and how each is tested.

Risco do elemento iRi = f(Hi, Ei, Vi, Ci)ameaça, exposição, vulnerabilidade e capacidade de enfrentamento
Perda anual esperadaEAL = ∑k pk · Lkover events k with annual probability pk
Sistemas acopladosxt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error
PressupostoPorque é feitoComo é testado
A ameaça e a exposição são independentes dentro de um eventoMantém tratável o integral de perdasComparar com um ajuste de cópula sobre registros conjuntos
Os acoplamentos são lineares perto do ponto de funcionamentoPermite que os choques se propaguem através de APerturbar para além do intervalo linear e comparar
As curvas de vulnerabilidade transferem-se entre lugaresAs curvas locais raramente estão disponíveisValidar face às perdas observadas quando existam
Entradas
conjuntos de dados versionados com proveniência
Resultados
distribuições, nunca números isolados
Código
publicado com a ficha de modelo e os testes
Reprodução
mesmos dados, código, ambiente e semente
Formulações padrão de risco e de espaço de estados; os pressupostos listados são típicos do método, indicados para revisão, não resultados.
FAIR guiding principles · GO FAIR and FORCE11W3C PROV · World Wide Web ConsortiumGuidance on consistent treatment of uncertainties · IPCCCEOS Analysis Ready Data · Committee on Earth Observation Satellites
06Validação

Como os resultados são verificados.

Os modelos são avaliados com dados reservados que respeitam a estrutura espacial, temporal e de grupos. A robustez, a calibração e a equidade são testadas ao lado da exatidão.

VerificarComo é feito
Auditoria de vazamentosSplits are made by subject, site or time as the question requires, and preprocessing is fitted on training data only
Validação externaPerformance is reported on data from a different source or period
Calibration and robustnessProbabilities are checked for calibration, and performance under plausible perturbations is reported
Lista de verificação de relatóriosOs estudos são relatados segundo o REFORMS, o TRIPOD+AI ou a lista de verificação do domínio pertinente

O desempenho se degrada quando as condições de implantação diferem dos dados de treinamento. Os modelos podem codificar vieses e falhar sem aviso claro em eventos raros.

07Processo

Como decorre o processo.

Process explorer · Process

Aprendizado de máquina na ciência de laboratório: gestão de riscos de IA (NIST)

9 steps5 stages1 gate

Processo

Aprendizado de máquina na ciência de laboratório: gestão de riscos de IA (NIST)

O núcleo do AI RMF tem quatro funções, GOVERN, MAP, MEASURE e MANAGE, com GOVERN de caráter transversal; a ordem representada é uma leitura comum, não uma lista de verificação.

  1. 01 Governar

    1. 01GOVERN: políticas, papéis e responsabilizaçãoEtapa · Pesquisador principalGOVERN é uma função transversal. Ela permeia toda a gestão de riscos de IA e viabiliza as demais funções.
  2. 02 Map

    1. 02MAP: contexto e uso pretendidoConjunto de dadosA função MAP estabelece o contexto para delimitar os riscos relacionados a um sistema de IA, incluindo finalidades pretendidas e impactos sobre as pessoas.
  3. 03 Medir

    1. 03MEDIR: avaliar as características de confiabilidadeModeloAI sistemas de IA são avaliados quanto a características de confiabilidade. Devem ser testados antes da implantação e regularmente em operação.
    2. 04MEASURE: acompanhar os riscos identificados ao longo do tempoModeloHá mecanismos para acompanhar ao longo do tempo os riscos de IA identificados, incluindo riscos imprevistos e emergentes.
  4. 04 Gerenciar

    1. 05GERIR: tratar os riscosPassoTratamento do risco abrangem a resposta a incidentes, a recuperação e a comunicação sobre eles. Os recursos são destinados a riscos mapeados e medidos.
    2. 06Prosseguir ou não (MANAGE 1.1)Etapa de controle · Pesquisador principalDetermina-se se o sistema cumpre seus propósitos e objetivos e se deve prosseguir. O quadro não estabelece limiares.
    3. 07Decisão de implantaçãoDecisão · Pesquisador principalA organização proprietária do sistema decide se o implanta e em que condições.
    4. 08Monitoramento pós-implantação e incidentesModeloPlanos de monitoramento pós-implantação são executados. Incidentes e erros são compartilhados com os atores de IA relevantes, inclusive as comunidades afetadas.
  5. 05 Registro

    1. 09Inventário de sistemas de IAConjunto de dadosGOVERN 1.6 pede mecanismos para inventariar sistemas de IA. O cartão de modelo é prática comum e não é mencionado na estrutura.

Esboço neutro de uma norma ou método externo publicado, conforme o órgão emissor. Não é um registro de operação. O Nexus não executa, certifica nem aprova nenhuma etapa mostrada. Uma etapa de controle ou decisão pertence à parte indicada pela fonte. As ações não constituem necessariamente um conjunto ordenado de etapas. A Lei de IA da UE não é representada neste fluxo.

09Gestão responsável

Quem mantém o método.

Inteligência artificial e sistemas autônomos é guardião da inteligência artificial e do aprendizado de máquina para o Consortium e revisa como são aplicados nas plataformas.

11Perguntas

Perguntas e respostas.

Quais são os limites da inteligência artificial e do aprendizado de máquina neste campo?
O desempenho se degrada quando as condições de implantação diferem dos dados de treinamento. Os modelos podem codificar vieses e falhar sem aviso claro em eventos raros.
Como os resultados são verificados?
Os modelos são avaliados com dados reservados que respeitam a estrutura espacial, temporal e de grupos. A robustez, a calibração e a equidade são testadas ao lado da exatidão.
Os valores desta página são reais?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
Onde mais este método é aplicado?
A página canônica do método lista todas as plataformas que o aplicam.
RelatóriosContribuir

Contribua com evidências a partir desta página.

Reports é a publicação trimestral do Consortium. O que você sabe sobre este tema pode se tornar evidência, um caso ou uma correção na próxima edição, com crédito a você e publicado sob CC BY 4.0 quando for obra sua.

GCRILaboratóriosEvidências de LabsMétodos e documentos técnicos
Laboratórios

Traga um método, um conjunto de dados ou uma pergunta.

A informação e os pedidos estão abertos hoje. Um pedido recebe uma referência e indica o próximo passo; candidaturas, pagamentos, alocações de computação e registros só abrem quando existem a equipa, os termos e a capacidade de revisão.