U01 · 4 hrs
Arquitectura y comportamiento del transformer generativo
Atención, tokenización, decodificación y leyes de escalamiento.
Resultados de aprendizaje
- Explicar generación autorregresiva y atribuir comportamientos a ella.
- Determinar efectos de la tokenización en español y en costo.
- Configurar decodificación (temperatura, top-p) según la tarea.
Estructura de la sesión
Del LM al transformer generativo (60 min)
Modelado autorregresivo, atención y costo cuadrático, decoder-only vs encoder.
Tokenización y ventana de contexto (60 min)
Subpalabras, efectos en español/números, KV-cache y degradación por posición (lost in the middle).
Generación y control de la salida (60 min)
Temperatura, nucleus sampling, salida estructurada, límites del determinismo.
Escalamiento (60 min)
Leyes de escalamiento y asignación óptima de cómputo (Kaplan / Chinchilla).
Lecturas
- Vaswani et al. (2017) — vaswani2017attention
- Liu et al. (2024) Lost in the Middle — liu2024lostmiddle
Lab local — tokenización y decodificación
Con LM Studio: medí tokens de un párrafo en español vs inglés; variá temperature/top_p y registrá diversidad en 10 corridas.