Curso 10 · Unidad 2

Patrones de arquitectura

4 hrs · Inferencia, composición y falla — UAI

Tesis

El patrón se deriva de los NFR

Batch / online / streaming / precómputo no son gusto: son presupuesto.
Los sistemas son compuestos: modelos + reglas + recuperación + humano.
Diseñá asumiendo que el modelo y el proveedor fallan.
RAG aquí es arquitectura; el prompting fino vive en el curso 09.

Al finalizar

Resultados de aprendizaje

Seleccionar régimen de inferencia desde los NFR.
Diseñar topologías compuestas defendibles.
Especificar RAG como patrón (indexación → contexto).
Incorporar resiliencia y degradación elegante.

Bloque 1 · 60 min

Regímenes

Teoría

De modelos a sistemas compuestos

Zaharia et al. (2024): el estado del arte se mueve a compound AI systems (varios componentes + control).
Huyen (2022), caps. 7–8: batch/online/streaming se eligen desde NFR, no desde moda.
Diseñar asumiendo falla del modelo y del proveedor.

Inferencia

Elegir el ritmo de la predicción

Batch: costo bajo, frescura limitada.
Online: latencia estricta, costo por request.
Streaming: UX de tokens; otra curva de falla.
Precómputo / feature store: frescura vs carga.

Definiciones

Léxico de patrones

Régimen de inferencia — cuándo y con qué frescura se calcula la predicción (batch, online, streaming, precómputo).
Sistema compuesto — varios componentes (modelo, reglas, retrieval, humano) bajo control explícito (Zaharia et al., 2024).
Degradación elegante — comportamiento seguro y útil cuando el modelo o el proveedor fallan.
RAG (patrón) — retrieval + generación como arquitectura con NFR por etapa, no como “mejor prompt”.

Concepto

El régimen sale del NFR

Batch · online · streaming · precómputo — cada uno cambia costo, latencia y frescura.

Bloque 2 · 60 min

Composición I

Patrones

Cascada, ruteo, ensamblado

Cascada por costo o por confianza.
Ruteo por tipo de entrada / tenant.
Ensamblado y votación: cuándo vale el gasto.
Reglas duras antes o después del modelo.

Bloque 3 · 60 min

RAG y tools

Teoría

RAG como patrón de sistema

Lewis et al. (2020): retrieval + generación para conocimiento externo al peso del modelo.
Gao et al. (2024) survey §§1–3: indexación → retrieval → generación — cada etapa con NFR propios.
Aquí es arquitectura; el prompting fino vive en el curso 09.

Arquitectura

RAG como patrón, no como prompt

Cada etapa tiene NFR propios: frescura del índice, recall, latencia, costo.

Detalle

Qué diseñar en cada etapa

Indexación, segmentación, retrieval, rerank, ensamblaje.
Verificación posterior y jueces: sesgos conocidos.
Tools: misma disciplina de esquemas que en agentes.
Delimitar vs Prompt Engineering (curso 09).

Bloque 4 · 60 min

Falla

Taller

Comportamiento cuando algo cae

Caché, timeouts, reintentos, rate limits, breakers.
Degradación elegante y default seguro.
Caso Chile: asistente de consultas a normativa SII — ¿batch nocturno del índice o online con timeout?
Ejercicio: rediseñar bajo un NFR más duro (latencia o costo) y declarar supuestos.

Falla

Fiabilidad compuesta

Cascada de componentes: el producto de hops acota el uptime útil.

Lecturas

Para profundizar

Zaharia et al. (2024) — zaharia2024compound (BAIR blog, OA)
Lewis et al. (2020) — lewis2020rag
Gao et al. (2024) survey — gao2024ragsurvey; Huyen (2022) caps. 7–8

Cierre

Preguntas

Siguiente: datos como infraestructura (Unidad 3)