U06 · 4 hrs
Evaluación de modelos generativos
Sets propios, modelos jueces y validez externa.
Resultados de aprendizaje
- Construir un set de evaluación de dominio.
- Usar modelo juez con mitigación de sesgos.
Estructura de la sesión
Evaluaciones públicas y límites (60 min)
Contaminación, saturación, validez externa.
Set propio (60 min)
Tarea, muestreo (incl. difíciles), tamaño y potencia.
Jueces y evaluación humana (60 min)
Sesgos de longitud/posición/estilo; concordancia.
Propiedades específicas (Eval 3) (60 min)
Fidelidad a fuente, alucinación, sensibilidad al formato.
Lecturas
- Zheng et al. (2023) — zheng2023judge