U02 · 4 hrs
El pipeline de post-entrenamiento
Pre-entrenamiento, instrucción, alineación y destilación.
Resultados de aprendizaje
- Describir etapas del pipeline de un modelo de instrucción.
- Atribuir comportamientos a pretrain / SFT / alineación.
- Reconocer impuesto de alineación y sesgo de longitud.
Estructura de la sesión
Pre-entrenamiento (60 min)
Objetivo auto-supervisado, filtrado de corpus, contaminación de benchmarks.
Ajuste por instrucciones (60 min)
De continuación a seguimiento de instrucciones; datos sintéticos y destilación.
Alineación por preferencias (60 min)
RLHF vs DPO; constitutional AI; costos de alineación.
Razonamiento y taller de atribución (60 min)
Modelos de razonamiento extendido; taller: atribuir comportamientos a etapas.
Lecturas
- Ouyang et al. (2022) — ouyang2022instruct
- Brown et al. (2020) §§1–3 — brown2020fewshot
- Rafailov et al. (2023) DPO — rafailov2023dpo