Curso 10 · Unidad 5

Evaluación y superficie de riesgo

4 hrs · Tres niveles · online · GenAI · controles — UAI

Tesis

Componente ≠ sistema ≠ resultado organizacional

Declarar los tres niveles y sus relaciones.
Shadow / canary / experimentación con criterios de rollback.
GenAI: sets propios + jueces con sesgos conocidos.
Controles proporcionales al riesgo (no seguridad ofensiva).

Al finalizar

Resultados de aprendizaje

Especificar estrategia de evaluación en tres niveles.
Diseñar puesta en producción con reversión explícita.
Identificar superficie de riesgo y controles.

Bloque 1 · 60 min

Tres niveles

Teoría

Evaluar en tres niveles

Huyen (2022), caps. 6 y 9: métricas de componente ≠ sistema ≠ organización.
Breck et al. (2017): checklist de tests/monitoreo antes de llamar “producción”.
Goodhart: cuando la métrica deja de ser buena — declarar vigilancia.

Métricas

Componente · sistema · organización

Divergencias habituales entre niveles.
Goodhart: cuando la métrica deja de ser buena.
Métricas de vigilancia.

Ilustración

Tres niveles que no coinciden solos

Una métrica de componente buena puede fallar a nivel sistema u organización.

Bloque 2 · 60 min

Online

Despliegue

Sombra, canaria, experimentación

Unidad de aleatorización, potencia, horizonte.
Métricas sustitutas y su validación.
Criterios de reversión automática.

Despliegue

Canaria con rollback explícito

Sin criterio de reversión no hay experimentación online, hay ruleta.

Definiciones

Léxico de evaluación en producción

Nivel de evaluación — componente, sistema u organización; cada uno con métricas propias (Huyen, 2022).
Canaria — exponer una fracción del tráfico a la nueva versión con promoción o rollback automático.
Shadow — correr el nuevo sistema en paralelo sin afectar la decisión del usuario.
Superficie de riesgo — vías por las que el sistema puede fallar o ser abusado (OOD, inyección, fuga).

Bloque 3 · 60 min

Generativos

Eval GenAI

Instrumentos y límites

Sets de dominio (no solo leaderboards).
Jueces LLM: sesgos de longitud/estilo.
Evaluación humana estructurada.
Puente a labs del curso 09 (trayectorias).

Bloque 4 · 60 min

Riesgo

Teoría

Superficie de riesgo en GenAI

Greshake et al. (2023): inyección indirecta cuando el sistema lee contenido externo.
Controles proporcionales al riesgo de la decisión — no “seguridad ofensiva” en clase.
OOD, deriva y fuga por la salida son requisitos de diseño.

Controles

Superficie de ataque / falla

OOD, deriva, envenenamiento.
Inyección indirecta en sistemas que leen contenido.
Fuga por la salida.
Diseño proporcional al riesgo de la decisión.

Riesgo

Capas de riesgo del sistema

OOD, inyección y fuga: el prompt no es el perímetro.

Taller

Estrategia de eval del design doc

Caso banca Chile: score de riesgo de crédito — qué mide componente vs organización.
Definir canaria (% tráfico) y umbral de rollback (error / latencia / costo).
Listar 3 controles proporcionales al riesgo de la decisión.
Sin números inventados: declarar supuestos.

Lecturas

Para profundizar

Huyen (2022), caps. 6 y 9 — huyen2022designing
Greshake et al. (2023) — greshake2023injection
Breck et al. (2017) — breck2017mltest

Cierre

Preguntas

Siguiente: design doc, revisión y defensa (Unidad 6)