U05 · 4 hrs
Evaluación, monitoreo y superficie de riesgo
Métricas de sistema, deriva y controles arquitectónicos.
Resultados de aprendizaje
- Especificar evaluación en tres niveles (componente, sistema, organización).
- Diseñar puesta en producción con reversión automática.
- Identificar superficie de riesgo y controles proporcionales.
Estructura de la sesión
Tres niveles de evaluación (60 min)
Métricas de componente/sistema/resultado y métricas de vigilancia.
Evaluación en línea (60 min)
Sombra, canaria, experimentación controlada y criterios de rollback.
Evaluación de sistemas generativos (60 min)
Sets de dominio, jueces LLM y evaluación humana estructurada.
Superficie de riesgo (60 min)
OOD, deriva, inyección indirecta y fuga por salida; controles de diseño.
Lecturas
- Huyen (2022), caps. 6 y 9 — huyen2022designing
- Greshake et al. (2023) — greshake2023injection
- Breck et al. (2017) — breck2017mltest