Magíster en Inteligencia Artificial
Salir de la clase

Curso 11 · Unidad 4

Observabilidad y deriva

4 hrs · Falla silenciosa · SLOs — UAI

Tesis

Un sistema de IA puede fallar sin errores

  • Observabilidad de servicio ≠ observabilidad del modelo.
  • Deriva: covariables, objetivo, concepto.
  • Etiqueta tardía → indicadores sustitutos.
  • SLOs, presupuestos de error y runbooks.

Al finalizar

Resultados de aprendizaje

  • Instrumentar ambas capas de observabilidad.
  • Aplicar pruebas de deriva con control de falsas alarmas.
  • Definir SLOs, alertas accionables y respuesta.

Bloque 1 · 60 min

Dos capas

Teoría

Falla silenciosa y dos capas

  • Beyer et al. (2016), SRE caps. 4 y 6: SLOs y error budgets — alertas accionables.
  • Observabilidad de servicio ≠ del modelo: uptime verde con preds sesgadas = falla silenciosa.
  • Gama et al. (2014): concept drift — cambia P(y|x); hay que detectar y adaptar.

Instrumentación

Dos capas que no se sustituyen

Uptime verde con predicciones sesgadas = falla silenciosa.

Detalle

Qué medir en cada capa

  • Disponibilidad, latencia p95/p99, errores, saturación, costo.
  • Distribución de inputs/preds, desempeño con etiqueta, por subgrupo.
  • Muestreo y retención de predicciones.

Bloque 2 · 60 min

Deriva

Teoría

Concept drift

  • Gama et al. (2014): tipología y estrategias de adaptación ante deriva.
  • Covariables / objetivo / concepto — no confundir con estacionalidad.
  • Etiqueta tardía → indicadores sustitutos y muestreo para etiquetado.

Detección

Tipología y pruebas

  • Covariables / objetivo / concepto.
  • Ventana, frecuencia, comparaciones múltiples.
  • Deriva ≠ estacionalidad.

Definiciones

Léxico de observabilidad

  • Falla silenciosa — el servicio está up pero las predicciones ya no sirven.
  • Deriva de concepto — cambia P(y|x); distinta de estacionalidad o bug de infra.
  • Indicador sustituto — señal temprana cuando la etiqueta llega tarde o nunca.
  • SLO / error budget — umbral de servicio que dispara alerta accionable y runbook.

Deriva

Uptime verde, distribución distinta

Hay que instrumentar la capa del modelo, no solo la del servicio.

Bloque 3 · 60 min

Etiqueta tardía

Proxies

Cuando la verdad llega tarde o nunca

  • Indicadores sustitutos.
  • Muestreo para etiquetado manual.
  • Monitoreo desagregado y equidad.

Eval

Tres niveles también en ops

Uptime (servicio) ≠ calidad (modelo) ≠ resultado de negocio.

Bloque 4 · 60 min

Eval 2

Entregable

SLOs y runbooks

  • Presupuestos de error.
  • Alertas sin fatiga.
  • Manual de operación e incidentes.
  • Caso Chile: fraude o cobranza — etiqueta a 30–90 días; definir proxy y SLO de alerta.

Lecturas

Para profundizar

  • Gama et al. (2014) — gama2014conceptdrift
  • Beyer et al. (2016), SRE caps. 4 y 6 — beyer2016sre (OA en sre.google)

Cierre

Preguntas

Siguiente: plataformas gestionadas (Unidad 5)