Magíster en Inteligencia Artificial
Salir de la clase

Curso 08 · Unidad 2

Post-entrenamiento

4 hrs · Pretrain · SFT · alineación — UAI

Tesis

Atribuí el comportamiento a la etapa correcta

  • Pretrain ≠ seguir instrucciones.
  • SFT enseña formato y tareas; no “conoce” todo.
  • Alineación (RLHF/DPO) mueve preferencias — con costos.
  • Atribuir el síntoma a la etapa evita “más prompt” como única respuesta.

Al finalizar

Resultados de aprendizaje

  • Describir etapas del pipeline de un modelo de instrucción.
  • Atribuir comportamientos a pretrain / SFT / alineación.
  • Reconocer impuesto de alineación y sesgo de longitud.

Mapa

Tres etapas, tres responsabilidades

Atribuir el síntoma a la etapa evita “más prompt” como única respuesta.

Bloque 1 · 60 min

Pre-entrenamiento

Base

Objetivo auto-supervisado

  • Brown et al. (2020): el LM aprende a continuar; el few-shot emerge del pretrain.
  • Corpus, filtrado y contaminación de benchmarks son riesgos de validez.
  • Límite: el pretrain no garantiza obediencia a tu schema ni a políticas.

Bloque 2 · 60 min

SFT

Teoría

InstructGPT en una diapositiva

  • Ouyang et al. (2022): SFT + RLHF mejora seguimiento de instrucciones vs GPT-3.
  • La etiqueta humana define el objetivo; sesgos del labeler entran al modelo.
  • Qué se gana: formato, tareas, estilo. Qué no: hechos frescos ni abstención garantizada.

Instrucción

De continuación a seguimiento

  • Datos de instrucción: humanos, sintéticos o destilación.
  • Evaluar con set de dominio, no solo con demos de chat.
  • Si el fallo es de conocimiento fresco → no es (solo) un problema de SFT.

Bloque 3 · 60 min

Alineación

Teoría

RLHF vs DPO

  • RLHF: modelo de recompensa + política (pipeline largo, inestable).
  • Rafailov et al. (2023) DPO: optimiza preferencias sin entrenar reward explícito.
  • Trade-offs comunes: impuesto de alineación, complacencia, sesgo de longitud.

Preferencias

Qué diagnosticar en clase

  • ¿El modelo “no sabe” o “no quiere” (preferencia / rechazo)?
  • Constitutional / principios: otra vía, mismos trade-offs de especificación.
  • Atribuir el síntoma a pretrain / SFT / alineación antes de “más prompt”.

Definiciones

Léxico del pipeline

  • Pre-entrenamiento — objetivo auto-supervisado de continuación; base de conocimiento y few-shot.
  • SFT — fine-tune con instrucciones etiquetadas; enseña formato y tareas, no hechos frescos garantizados.
  • Alineación (RLHF/DPO) — optimiza preferencias humanas; puede imponer impuesto de alineación.
  • Impuesto de alineación — pérdida de capacidad o diversidad al ganar preferencia / rechazo.

Trade-off

Preferencia ↑ no es gratis

Antes de “más prompt”, atribuí el síntoma a la etapa.

Ilustración

Instrucción ≠ preferencia

SFT enseña a seguir el formato; la alineación mueve qué se prefiere decir.

Bloque 4 · 60 min

Taller de atribución

Taller

Atribuir el síntoma

  • 3 fallos (schema, hecho fresco, rechazo de tono): ¿pretrain, SFT o alineación?
  • Caso Chile: asistente SII que “no quiere” dar montos — ¿política o conocimiento?
  • Lab: comparar abierto (HF/LM) vs cerrado en la misma consigna.
  • Eval-first: anotar etapa atribuida + evidencia (labs/RUBRIC.md).

Lecturas

Para profundizar

  • Ouyang et al. (2022), InstructGPT — ouyang2022instruct
  • Rafailov et al. (2023), DPO — rafailov2023dpo
  • Brown et al. (2020) §§1–3 — brown2020fewshot

Cierre

Preguntas

Siguiente: vías de adaptación (Unidad 3)