Curso 11 · Unidad 6

Operación de GenAI

4 hrs · Costo · calidad · guardrails — UAI

Tesis

Operar GenAI es operar incertidumbre acotada

Costo y latencia son variables de producto, no de infra sola.
Calidad deriva: prompts, datos, modelo y tráfico cambian juntos.
Guardrails = política + medición + rollback, no un filtro mágico.
El runbook debe incluir “qué hacer cuando el modelo inventa”.

Al finalizar

Resultados de aprendizaje

Definir presupuesto de tokens/costo y alertas accionables.
Montar evaluación continua de salidas (sample + jueces + humano).
Operar incidentes de calidad con criterios de degradación.

Bloque 1 · 60 min

Economía

Teoría

Operar incertidumbre acotada

Huyen (2022): serving y monitoreo — costo/latencia son variables de producto.
Kapoor et al. (2024): medir agentes/sistemas por costo, no solo success rate.
Greshake et al. (2023): contenido externo amplía superficie — guardrails fuera del prompt.

Costo

Tokens como unidad operativa

In/out, caché de prefijo, reintentos.
Presupuesto diario y kill-switch.
Trade-off modelo chico local vs API cerrado.

Definiciones

Léxico de operación GenAI

Presupuesto de tokens — límite operativo (diario/por tarea) con kill-switch cuando se excede.
Eval continua — muestreo de tráfico + golden set + señales (parseo, abstención, juez).
Guardrail — política + medición + rollback; no un filtro único en el prompt.
Runbook GenAI — síntomas y acciones cuando el modelo inventa, encarece o degrada calidad.

Economía

Costo como variable de producto

Kapoor et al.: medir sistemas por costo, no solo por success rate.

Bloque 2 · 60 min

Calidad

Eval continua

No solo uptime

Golden set + tráfico muestreado.
Abstención y schema inválido como señales.
Deriva de prompts versionados (curso 09).

Bloque 3 · 60 min

Guardrails

Control

Tres capas, no un filtro

Sin medición y rollback, la política es cosmética.

Capas

Proporcional al riesgo

Validación de salida y límites de herramienta.
Human-in-the-loop donde el riesgo lo exige.
Degradación: plantillas, modelo menor, cola.

Bloque 4 · 60 min

Cierre

Operación

Runbook GenAI

Síntomas: alza de costo, caída de parseo, quejas de tono.
Acciones: pin de prompt/modelo, canaria atrás, postmortem.
Puente al design doc del curso 10.

Obs

Operar también es observar

Costo y calidad GenAI: instrumentar servicio y modelo.

Entregable

Runbook del capstone

Caso Chile/LATAM del design doc: 3 síntomas GenAI + acción + rollback.
Presupuesto de tokens/día y umbral de alerta.
Degradación: plantilla / modelo local / cola humana.
Adjuntar al DESIGN.md (labs/capstone/) — puente 08→11.

Lecturas

Para profundizar

Huyen (2022) — huyen2022designing (serving / monitoreo)
Kapoor et al. (2024) — kapoor2024agents
Greshake et al. (2023) — greshake2023injection; puente eval agéntica (curso 09)

Cierre

Preguntas

Cierre del arco 08–11 · Magíster en IA UAI