U06 · 4 hrs
Evaluación agéntica, robustez y límites del control
Trayectorias, costo por tarea e inyección de instrucciones.
Resultados de aprendizaje
- Evaluar trayectorias (completitud, costo, pasos, tool errors).
- Explicar por qué el modelo no distingue instrucción de contenido.
- Proponer controles arquitectónicos fuera del prompt.
Estructura de la sesión
Evaluación de trayectorias (60 min)
Resultado ≠ trayectoria. Criticar success rate sin costo.
Evaluación práctica (60 min)
Set de tareas, repeticiones, jueces LLM y validez externa de AgentBench et al.
Manipulación de instrucciones (60 min)
Inyección directa e indirecta. Superficies en agentes que leen web/correo/docs.
Límites del control y cierre (60 min)
Defensas por prompt no bastan. Privilegio mínimo, validación programática, confirmación humana.
Lecturas
- Greshake et al. (2023) — greshake2023injection
- Kapoor et al. (2024) — kapoor2024agents
- Zheng et al. (2023) — zheng2023judge