U05 · 4 hrs
Inferencia — costo, latencia y contexto
TTFT, cuantización, caché de prefijo y contexto extenso.
Resultados de aprendizaje
- Descomponer latencia (TTFT vs TPOT) y estimar costo unitario.
- Medir efecto de cuantización sobre calidad.
Estructura de la sesión
Anatomía de la latencia (60 min)
Prefill vs decode; qué importa según la UI.
Anatomía del costo (60 min)
Tokens in/out, caché de prefijo, proyección mensual.
Optimización (60 min)
Cuantización, batching, tamaño de modelo como variable de diseño.
Contexto extenso (Eval 2) (60 min)
Contexto largo vs RAG; medición comparativa.
Lecturas
- Liu et al. (2024) — liu2024lostmiddle
- Lewis et al. (2020) — lewis2020rag
- Dettmers et al. (2023) — dettmers2023qlora