U06 · 4 hrs
Operación de sistemas generativos
Cuotas, secretos, costo y operación de GenAI.
Resultados de aprendizaje
- Definir presupuesto de tokens/costo y alertas accionables.
- Montar evaluación continua de salidas generativas.
- Operar incidentes de calidad con degradación controlada.
Estructura de la sesión
Economía del token (60 min)
In/out, caché, reintentos, presupuesto diario y kill-switch.
Calidad continua (60 min)
Golden set, muestreo de tráfico, abstención y deriva de prompts.
Guardrails (60 min)
Validación de salida, límites de herramienta y human-in-the-loop.
Runbook GenAI (60 min)
Síntomas de costo/calidad, pin de prompt/modelo, canaria atrás y postmortem.
Lecturas
- Huyen (2022) — huyen2022designing (serving / monitoreo)
- Kapoor et al. (2024) — kapoor2024agents
- Greshake et al. (2023) — greshake2023injection