U02 · 4 hrs
El prompt como artefacto de ingeniería
Sensibilidad al formato, pruebas, versionado y regresión.
Resultados de aprendizaje
- Medir sensibilidad a variaciones semánticamente neutras del formato.
- Versionar prompts y correr pruebas de regresión.
- Detectar degradación por cambio de versión del modelo.
Estructura de la sesión
Sensibilidad al formato (60 min)
Evidencia de Sclar et al.: separadores, mayúsculas y orden pueden mover el desempeño tanto como cambiar de modelo.
Conjuntos de prueba y variabilidad (60 min)
Casos difíciles, criterios automatizables, repeticiones y tamaño para detectar diferencias relevantes.
Versionamiento y regresión (60 min)
Prompt en el repo junto al código. Suites que corren al cambiar prompt o modelo.
Optimización sistemática (Taller 1) (60 min)
Evaluación 1: prompt versionado + batería de pruebas + análisis de sensibilidad.
Lecturas
- Sclar et al. (2024) — sclar2024sensitivity
- Schulhoff et al. (2024) — schulhoff2024prompt
Lab — prompt como artefacto
Guardá el prompt en labs/09/u02/prompts/v1.md. Suite YAML de casos. Script que llama al endpoint local y reporta pass rate + varianza.