Curso 08 · Unidad 6

Evaluación generativa

4 hrs · Sets de dominio · jueces — UAI

Tesis

El leaderboard no es tu producto

Benchmarks públicos saturan y se contaminan.
Un set de dominio con casos difíciles mide lo que importa.
El juez LLM hereda sesgos; hay que mitigarlos y contrastar.
Propiedades (fidelidad, alucinación) se definen operativamente.

Al finalizar

Resultados de aprendizaje

Construir un set de evaluación de dominio.
Usar modelo juez con mitigación de sesgos.
Medir propiedades específicas (Eval 3).

Mapa

Público vs dominio

El ranking relativo no certifica tu tarea; el set propio sí puede.

Definiciones

Léxico de evaluación

Set de dominio — batería versionada de casos (felices, límite, OOD) alineada a tu tarea.
LLM-as-a-judge — modelo que puntúa salidas; requiere mitigar sesgos y contrastar con humano.
Contaminación — overlap entre datos de entrenamiento y el benchmark público.
Propiedad operativa — fidelidad/alucinación/formato definidos con umbral medible, no eslogan.

Bloque 1 · 60 min

Públicos

Límites

Evaluaciones públicas

Contaminación de entrenamiento.
Saturación y validez externa.
Qué sí sirven: ranking relativo, no certificación.

Bloque 2 · 60 min

Set propio

Diseño

Tarea, muestreo y potencia

Incluir casos difíciles y OOD.
Tamaño vs intervalo de confianza.
Versionar el set como artefacto.

Método

Golden set → corrida → rúbrica

Eval-first: el veredicto lo da el set + la rúbrica (labs/RUBRIC.md).

Bloque 3 · 60 min

Jueces

Teoría

LLM-as-a-judge

Zheng et al. (2023): MT-Bench / Arena — el juez LLM se acerca al humano, con sesgos.
Sesgos documentados: posición, longitud, auto-preferencia de familia.
Mitigar: swap de orden, rúbricas, y medir concordancia humano–juez.

Ilustración

Tres sesgos del juez

Sin swap / rúbrica / concordancia humano, el score del juez es frágil.

LLM-as-judge

Sesgos y concordancia

Longitud, posición, estilo.
Rúbricas explícitas y doble ciego cuando importe.
Concordancia humano–juez como gate.

Bloque 4 · 60 min

Propiedades

Eval 3

Fidelidad, alucinación, formato

Caso Chile: 20 tickets soporte (ES) — fidelidad a política + formato JSON.
Definir umbral; contrastar juez vs 5 labels humanos.
Puente a labs/09 (regresión + labs/RUBRIC.md).

Lecturas

Para profundizar

Zheng et al. (2023), Judging LLM-as-a-Judge — zheng2023judge

Cierre

Preguntas

Siguiente: multimodalidad, riesgos e integración (Unidad 7)