Guion profesor · U06
Evaluación agéntica, robustez y límites del control
Objetivo de la sesión
Trayectorias, costo por tarea e inyección de instrucciones.
Guion por bloques
Bloque 1 — Evaluación de trayectorias (60 min)
Resultado ≠ trayectoria. Criticar success rate sin costo.
- Demo viva: proyectar un caso corto; pedir predicción de la falla antes de correr el modelo.
- Pregunta disparadora: “¿Qué evidencia descartaría tu intuición sobre este prompt/agente?”
- Contingencia: si cae el proveedor cloud, usar LM Studio / Ollama; comparar calidad es contenido, no fracaso.
Bloque 2 — Evaluación práctica (60 min)
Set de tareas, repeticiones, jueces LLM y validez externa de AgentBench et al.
- Demo viva: proyectar un caso corto; pedir predicción de la falla antes de correr el modelo.
- Pregunta disparadora: “¿Qué evidencia descartaría tu intuición sobre este prompt/agente?”
- Contingencia: si cae el proveedor cloud, usar LM Studio / Ollama; comparar calidad es contenido, no fracaso.
Bloque 3 — Manipulación de instrucciones (60 min)
Inyección directa e indirecta. Superficies en agentes que leen web/correo/docs.
- Demo viva: proyectar un caso corto; pedir predicción de la falla antes de correr el modelo.
- Pregunta disparadora: “¿Qué evidencia descartaría tu intuición sobre este prompt/agente?”
- Contingencia: si cae el proveedor cloud, usar LM Studio / Ollama; comparar calidad es contenido, no fracaso.
Bloque 4 — Límites del control y cierre (60 min)
Defensas por prompt no bastan. Privilegio mínimo, validación programática, confirmación humana.
- Demo viva: proyectar un caso corto; pedir predicción de la falla antes de correr el modelo.
- Pregunta disparadora: “¿Qué evidencia descartaría tu intuición sobre este prompt/agente?”
- Contingencia: si cae el proveedor cloud, usar LM Studio / Ollama; comparar calidad es contenido, no fracaso.
Checklist cierre
- Articulación con la unidad siguiente / curso vecino.
- Recordar lectura previa de la próxima sesión.
- Recoger dudas sobre lab autónomo.
Se requiere sesión profesor
Iniciar sesión para ver guiones y soluciones.