Distribution shift analysis
Model performance is compared between training data and deployment data to detect shifts in inputs or labels that reduce accuracy, with monitoring set up to catch drift.
GCRI · Inteligencia artificial y sistemas autónomos
Comportamiento del aprendizaje automático
Artificial intelligence and machine learning is the technology this platform stewards for the network. Here it is studied as a technology whose behaviour must be understood: how models learn from data, generalise, fail outside their training distribution and are adapted to specific uses.
01Registro
Machine learning behaviour on the record.
Registro del métodoMétodo CTIM
- MétodoInteligencia artificial y aprendizaje automático
- CustodioEstudio de Inteligencia artificial y sistemas
- Se aplica enInteligencia artificial y sistemas autónomos
- Datos3 inputs
- Comprobaciones3 pasos de validación
- Página canónicaProcomún CTIM
02Solicitud
Lo que aportan aquí la inteligencia artificial y el aprendizaje automático.
Artificial intelligence and machine learning develop algorithms that learn patterns from data to classify, predict or generate outputs. They are increasingly used for hazard detection, forecasting and decision support, and are themselves a source of risk. In artificial intelligence and data and compute, machine learning can scale detection and forecasting across interconnected sistemas. Its own failure modes must be weighed when automated outputs inform consequential decisions. The canonical description is on STEM Commons.
Fine-tuning for a specific use
General models are adapted to a narrow task with curated data, and the adapted model is evaluated for both task performance and retained safety behaviour.
Interpretability methods
Feature attribution and probing methods are used to examine which inputs drive a model’s outputs, with their limits as explanations stated.
03Simulador
Un modelo de umbral del comportamiento colectivo.
Cada agente actúa cuando lo han hecho suficientes de sus contactos; pequeños cambios en el umbral medio o en los primeros en moverse deciden si el comportamiento se queda local o se propaga en cascada por la población. Modelo didáctico con valores ilustrativos declarados, no una predicción.
Controles
- Umbral medio (proporción de vecinos)
- 18%
- Dispersión de los umbrales
- 8 puntos
- Primeros en moverse
- 2,0 % de las personas
- Contactos por persona
- 8
Lecturas
- Proporción de quienes actuaron al final
- 100%
- Cascada mundial
- Sí
- Pasos hasta la liquidación
- 10
Cifras, métodos y fuentes
| Paso | Proporción que ha actuado (%) |
|---|---|
| 0 | 2.3 |
| 1 | 6.5 |
| 2 | 16.0 |
| 3 | 28.5 |
| 4 | 47.0 |
| 5 | 65.3 |
| 6 | 80.3 |
| 7 | 93.0 |
| 8 | 99.3 |
| 9 | 100.0 |
| 10 | 100.0 |
Métodos
- Modelos de umbral del comportamiento colectivo Granovetter (1978), American Journal of Sociology 83
- Cascadas globales en redes aleatorias Watts (2002), PNAS 99
- Contagios complejos Centola and Macy (2007), American Journal of Sociology 113
- Sensibilidad de un factor a la vez (tornado) Saltelli and others (2008), Global Sensitivity Analysis: The Primer, Wiley
Datos
No observed data enters this model: it runs on the teaching values set by the controls, to be replaced with a programme’s own evidence.
En los seis pilares, bajo la dirección de Nexus Consortium
- Experimentos Laboratorios
- Integrado en Inteligencia artificial y sistemas autónomos en Foundry
- Probado en Inteligencia artificial y sistemas autónomos en Universe
- Codificado en Riesgo digital, cibernético y de la IA en Standards
- Publicado en Inteligencia artificial y sistemas autónomos en Reports
- Se imparte en Facultad de Tecnología y Sistemas Digitales en Academy
04Datos
Lo que consume el método.
Conjuntos de datos y registros utilizados por la inteligencia artificial y el aprendizaje automático en esta plataforma, con la función que desempeña cada uno y la etiqueta que llevan sus valores. Las fuentes se enumeran en el registro de fuentes.
| Datos | Función | Etiqueta |
|---|---|---|
| Training and validation datasets with documentation | Model development | DECLARADO |
| Deployment input logs | Shift detection | OBSERVADO |
| Benchmark suites | Comparison | NOTIFICADO |
05Métodos y evidencia
How machine learning behaviour is modelled, measured and tested.
El modelo, sus supuestos, sus datos y su incertidumbre, en la forma en que un científico o un ingeniero los comprobaría. Las estructuras siguen métodos publicados. Los valores representados son ilustrativos, no hallazgos.
Modelo, ecuaciones y supuestos
The model structure used for machine learning behaviour, the assumptions it makes and how each is tested.
Riesgo del elemento i
Ri = f(Hi, Ei, Vi, Ci)amenaza, exposición, vulnerabilidad y capacidad de afrontamientoPérdida anual esperada
EAL = ∑k pk · Lksobre los eventos k con probabilidad anual pkSistemas acoplados
xt+1 = A xt + B ut + εtA carries the couplings, u the shock, ε the error| Supuesto | Por qué se hace | Cómo se prueba |
|---|---|---|
| La amenaza y la exposición son independientes dentro de un evento | Mantiene manejable la integral de pérdidas | Comparar con un ajuste de cópula sobre registros conjuntos |
| Los acoplamientos son lineales cerca del punto de operación | Permite que las perturbaciones se propaguen a través de A | Perturbar más allá del rango lineal y comparar |
| Las curvas de vulnerabilidad se transfieren entre lugares | Las curvas locales rara vez están disponibles | Validar frente a las pérdidas observadas cuando existan |
- Entradas
- conjuntos de datos versionados con procedencia
- Resultados
- distribuciones, nunca cifras únicas
- Código
- publicado con la ficha de modelo y las pruebas
- Reproducción
- mismos datos, código, entorno y semilla
Principios rectores FAIR · GO FAIR y FORCE11W3C PROV · World Wide Web ConsortiumOrientación para un tratamiento coherente de las incertidumbres · IPCCCEOS Analysis Ready Data · Comité sobre Satélites de Observación de la Tierra
06Validación
Cómo se verifican los resultados.
Los modelos se evalúan con datos reservados que respetan la estructura espacial, temporal y de grupos. La robustez, la calibración y la equidad se prueban junto con la exactitud.
| Verificación | Cómo se hace |
|---|---|
| Held-out evaluation | Models are evaluated on data not used for training or tuning |
| Dataset documentation | Training data carry datasheets on origin, consent and limits |
| Drift monitoring | Deployed models are monitored for input and performance drift |
El desempeño se degrada cuando las condiciones de despliegue difieren de los datos de entrenamiento. Los modelos pueden incorporar sesgos y fallar sin aviso claro ante eventos poco frecuentes.
07Conexiones
Temas que se basan en este método.
08Custodia responsable
Quién mantiene el método.
Estudio de Inteligencia artificial y sistemas es el custodio de la inteligencia artificial y el aprendizaje automático para el Consortium y revisa cómo se aplican en las distintas plataformas.
09Preguntas
Preguntas y respuestas.
¿Cuáles son los límites de la inteligencia artificial y el aprendizaje automático en este campo?
El desempeño se degrada cuando las condiciones de despliegue difieren de los datos de entrenamiento. Los modelos pueden incorporar sesgos y fallar sin aviso claro ante eventos poco frecuentes.
¿Cómo se verifican los resultados?
Los modelos se evalúan con datos reservados que respetan la estructura espacial, temporal y de grupos. La robustez, la calibración y la equidad se prueban junto con la exactitud.
¿Son reales los valores de esta página?
The data names, roles and checks are real descriptions of practice. The canvas shows a design of the method’s use, not a run; no result is reported here.
¿Dónde más se aplica este método?
La página canónica del método enumera todas las plataformas que lo aplican.
serie ReportsContribuir
Aporte evidencia desde esta página.
serie Reports is the Consortium’s quarterly publication. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work.
GCRIInteligencia artificial y sistemas autónomosTecnología exponencialEvidencia de Labs
- Correo electrónicoPasarela GW-GCRIEnvíelo desde esta páginaEvidencia, una corrección, un caso, un método, una revisión, una traducción o un aporte a un perfil. Llega etiquetado con esta página, de modo que lo recibe el editor responsable.
- ZenodoDepósito abiertoDeposítelo y envíelo a la comunidadPublique su propio registro en Zenodo con su ORCID iD y luego envíelo a la comunidad de Reports allí. Los curadores lo revisan; el DOI sigue siendo suyo.
- serie ReportsGCRIVer todas las formas de contribuirLos tipos de contribución, cómo se revisa cada uno, qué crédito recibe, la licencia y qué nunca se acepta.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Inteligencia artificial y sistemas autónomos
Aporte un método, un conjunto de datos o una pregunta.
La información y las consultas están abiertas hoy. Una consulta recibe una referencia e indica el siguiente paso; las solicitudes, pagos, asignaciones de cómputo y registros solo se abren cuando existen su equipo, sus condiciones y la capacidad de revisión.
Legal
Documentos jurídicos.
Los mapas, datos y cifras de este sitio se muestran como contexto e información general. No son consejos, pronósticos ni avisos; los límites de la información se exponen en los Descargos de responsabilidad y los Avisos sobre datos.