Curso 08 · Unidad 5

Inferencia: costo y latencia

4 hrs · TTFT · TPOT · cuantización — UAI

Tesis

La UX la define la cola de decode

TTFT y TPOT no son intercambiables según la interfaz.
El costo unitario se diseña; no se “descubre” en prod.
Cuantización es un trade-off de calidad medible.
Contexto largo ≠ siempre mejor que RAG.

Al finalizar

Resultados de aprendizaje

Descomponer latencia (TTFT vs TPOT) y estimar costo unitario.
Medir efecto de cuantización sobre calidad.
Comparar contexto extenso vs recuperación.

Bloque 1 · 60 min

Latencia

Anatomía

TTFT y TPOT no son lo mismo

Chat siente TTFT; batch y streaming largos viven en TPOT.

Definiciones

Léxico de inferencia

TTFT — time to first token: latencia hasta el primer token (chat la siente primero).
TPOT — time per output token: ritmo de decode tras el primero.
Cuantización — bajar precisión de pesos/activaciones para memoria/throughput; calidad se mide.
Kill-switch de presupuesto — corte automático cuando tokens/costo exceden el umbral.

Producto

Prefill vs decode

Qué siente el usuario en chat vs batch.
p95/p99 como presupuesto de producto.
Medición local con LM Studio / OpenAI-compatible.

Bloque 2 · 60 min

Costo

Unidad

Tokens in/out y proyección

Caché de prefijo y reintentos.
Proyección mensual con tráfico realista.
Kill-switch de presupuesto.

Bloque 3 · 60 min

Optimización

Teoría

Cuantización como trade-off

Dettmers et al. (2023) QLoRA: cuantizar pesos libera VRAM para adaptar.
En inferencia: menor precisión ↔ más throughput / menos memoria.
La calidad se mide en el set propio, no en el claim del blog.

Ilustración

Precisión ↔ memoria

Bajar bits libera VRAM; la calidad se valida en el set propio.

Palancas

Cuantización, batching, tamaño

Calidad post-cuantización en set propio.
Batching vs latencia interactiva.
Modelo chico + herramientas vs modelo grande solo.

Bloque 4 · 60 min

Contexto

Teoría

Contexto largo no sustituye retrieval

Liu et al. (2024): desempeño cae cuando la evidencia está “en el medio”.
Lewis et al. (2020): RAG separa índice actualizable de generación.
Costo: tokens de contexto vs retrieve + prompt corto — medir en la misma tarea.

Contexto

Largo ≠ mejor ubicado

Misma evidencia: el medio del contexto es el punto ciego típico.

Eval 2

Contexto largo vs RAG

Caso Chile: FAQ normativa larga vs RAG sobre BOLETÍN/SII — misma pregunta.
Medir TTFT/TPOT + tokens (labs/RUBRIC.md · costo).
Declarar supuestos de tráfico; sin inventar precios.

Lecturas

Para profundizar

Liu et al. (2024), Lost in the Middle — liu2024lostmiddle
Lewis et al. (2020), RAG — lewis2020rag
Dettmers et al. (2023), QLoRA — dettmers2023qlora

Cierre

Preguntas

Siguiente: evaluación de modelos generativos (Unidad 6)