Generative AI y Large Language Models

La unidad establece la base mecánica del curso. Aunque la arquitectura transformer se estudia en Deep Learning, este curso la retoma desde un ángulo distinto: no cómo se construye, sino qué de su construcción explica el comportamiento que el usuario observa. La distinción es operativa, porque los modos de falla más frecuentes en aplicación —la sensibilidad al orden de la información en el contexto, la degradación con longitud, el comportamiento errático ante entradas mal tokenizadas, el costo cuadrático en la longitud de la secuencia— son consecuencias directas de decisiones arquitectónicas.

Se trabaja la tokenización como fuente subestimada de problemas: el hecho de que el modelo no opera sobre caracteres ni sobre palabras tiene consecuencias sobre el conteo, sobre el manejo de números, sobre idiomas distintos del inglés y sobre el costo, que se factura en unidades que no coinciden con ninguna categoría lingüística. Para un programa dictado en español, esta observación tiene consecuencia económica directa y conviene cuantificarla en aula.

La unidad cierra con las leyes de escalamiento y el resultado sobre asignación óptima de cómputo entre tamaño del modelo y volumen de datos, que explica por qué la trayectoria del campo dejó de consistir en construir modelos cada vez mayores.

Estructura de la sesión

• Bloque 1 (60 min) — Del modelo de lenguaje al transformer generativo. Modelado autorregresivo. Atención y su costo. Arquitectura de sólo decodificador. Diferencia con los modelos de tipo codificador estudiados en NLP.
• Bloque 2 (60 min) — Tokenización y ventana de contexto. Subpalabras y sus consecuencias. Efectos en español y en dominios especializados. Ventana de contexto, caché de claves y valores, y degradación del uso de la información según su posición.
• Bloque 3 (60 min) — Generación y control de la salida. Decodificación, temperatura, muestreo por núcleo. Salida estructurada y su forzamiento. Determinismo y reproducibilidad: por qué no están garantizados y qué implica para la evaluación.
• Bloque 4 (60 min) — Escalamiento. Leyes de escalamiento. Asignación óptima de cómputo entre parámetros y datos. Consecuencias sobre la disponibilidad de modelos pequeños competentes y sobre la economía del campo.

Resultados de aprendizaje

• Explicar el mecanismo de generación autorregresiva y atribuir a él comportamientos observados del modelo.
• Determinar el efecto de la tokenización sobre el costo, sobre el desempeño en español y sobre tareas que involucran conteo o manipulación de números.
• Explicar la degradación del uso de la información según su posición en el contexto y sus consecuencias para el diseño de la entrada.
• Configurar los parámetros de decodificación de manera justificada según la tarea, y explicar sus efectos sobre variabilidad y reproducibilidad.
• Interpretar las leyes de escalamiento y su consecuencia sobre la disponibilidad de modelos de distinto tamaño.

Lecturas

• Vaswani et al. (2017); Jurafsky y Martin (borrador), capítulos sobre transformers y modelos de lenguaje grandes. Lectura complementaria: Kaplan et al. (2020); Hoffmann et al. (2022); Liu et al. (2024).

Clase · Guía de estudio · Guion profesor

Esta unidad explica por qué un modelo se comporta como se comporta. Un modelo pre-entrenado sobre texto crudo predice continuaciones plausibles; no sigue instrucciones, no rechaza solicitudes y no adopta un registro conversacional. Todo eso proviene de etapas posteriores, y conocer esas etapas es lo que permite al profesional interpretar el comportamiento en lugar de atribuirlo a propiedades emergentes inexplicables.

Se recorre el pipeline completo: pre-entrenamiento auto-supervisado, ajuste supervisado por instrucciones, y alineación por preferencias, con las dos familias de métodos hoy en uso. Se examina qué aporta cada etapa y qué costos introduce, incluido el impuesto de alineación —la pérdida de capacidad en algunas tareas como contrapartida de la mejora en obediencia y seguridad— y el sesgo hacia respuestas extensas y complacientes que producen los datos de preferencia recolectados de evaluadores humanos.

La unidad trata además la generación de datos sintéticos para instrucción y la destilación de modelos grandes hacia modelos pequeños, prácticas hoy centrales en la producción de modelos abiertos competentes, con sus implicancias técnicas y de licenciamiento.

Estructura de la sesión

• Bloque 1 (60 min) — Pre-entrenamiento. Objetivo auto-supervisado. Composición y filtrado de los corpus. Contaminación de conjuntos de evaluación y sus consecuencias sobre la comparación de modelos.
• Bloque 2 (60 min) — Ajuste por instrucciones. De la continuación de texto al seguimiento de instrucciones. Construcción de conjuntos de instrucción. Datos sintéticos y destilación.
• Bloque 3 (60 min) — Alineación por preferencias. Modelo de recompensa y optimización de política. Optimización directa de preferencias. Qué se gana y qué se pierde: impuesto de alineación, sesgo de longitud, complacencia. Enfoques basados en principios declarados.
• Bloque 4 (60 min) — Razonamiento y taller de atribución. Modelos entrenados para razonamiento extendido y su compromiso de latencia y costo. Taller: dado un conjunto de comportamientos observados de un modelo, atribuir cada uno a una etapa del pipeline.

Resultados de aprendizaje

• Describir las etapas del pipeline de entrenamiento de un modelo de instrucción y el aporte específico de cada una.
• Atribuir un comportamiento observado del modelo a una etapa determinada del pipeline.
• Explicar el compromiso entre capacidad y alineación, y reconocer sus manifestaciones en la salida.
• Evaluar la pertinencia de datos sintéticos y de destilación para producir un modelo especializado, considerando sus restricciones de licenciamiento.
• Reconocer el problema de contaminación de conjuntos de evaluación y su efecto sobre las comparaciones publicadas.

Lecturas

• Ouyang et al. (2022); Brown et al. (2020), secciones 1 a 3. Lectura complementaria: Rafailov et al. (2023); Bai et al. (2022).

Clase · Guía de estudio · Guion profesor

Ésta es la unidad de mayor densidad de decisión práctica del curso y la razón por la cual el programa dispone de siete sesiones y no de seis. Su objeto es un criterio: dado un problema, qué vía de adaptación corresponde.

Las tres vías —instrucción, recuperación aumentada y ajuste fino— no son intercambiables ni ordenables por sofisticación. Cada una modifica algo distinto. La instrucción modifica el comportamiento inmediato sin alterar el conocimiento del modelo. La recuperación aumentada incorpora conocimiento sin alterar el comportamiento ni el modelo. El ajuste fino altera el modelo, y sirve mejor para instalar formato, estilo, registro o comportamiento sistemático que para inyectar conocimiento factual, que es precisamente el uso que se le da con más frecuencia y con peores resultados.

La unidad desarrolla el árbol de decisión completo, con los criterios que lo gobiernan: naturaleza de lo que falta —conocimiento, comportamiento o formato—, volumen y calidad de datos disponibles, frecuencia de actualización del conocimiento, requisitos de trazabilidad de la fuente, presupuesto, y control requerido sobre el modelo. Se trata además la combinación de vías, que es el caso habitual en producción.

La recuperación aumentada se trata aquí en su lógica de decisión y en su efecto sobre el conocimiento del sistema; su diseño arquitectónico —indexación, segmentación, reordenamiento, construcción del contexto, modos de falla del sistema compuesto— corresponde a Diseño de Sistemas y Aplicaciones de IA y no se duplica.

Estructura de la sesión

• Bloque 1 (60 min) — Qué modifica cada vía. Instrucción, recuperación y ajuste fino: qué altera cada una y qué no. El error frecuente de usar ajuste fino para incorporar conocimiento factual. Casos donde cada vía es la única adecuada.
• Bloque 2 (60 min) — El árbol de decisión. Criterios: naturaleza de lo que falta, datos disponibles, frecuencia de actualización, trazabilidad de la fuente, presupuesto, control. Construcción del árbol y aplicación a casos.
• Bloque 3 (60 min) — Ajuste fino eficiente en parámetros. Adaptación de bajo rango: fundamento y efecto sobre memoria y tiempo. Variantes cuantizadas. Preparación del conjunto de entrenamiento: volumen mínimo, calidad, formato. Evaluación del resultado y olvido catastrófico.
• Bloque 4 (60 min) — Taller (Evaluación 1). Los estudiantes ajustan un modelo abierto de tamaño moderado sobre una tarea específica y comparan el resultado contra la misma tarea resuelta por instrucción.

Resultados de aprendizaje

• Determinar cuál de las tres vías de adaptación corresponde a un problema dado y justificar la elección frente a las alternativas.
• Reconocer los casos en que el ajuste fino es la vía inadecuada pese a ser la propuesta con más frecuencia.
• Preparar un conjunto de datos de ajuste fino con formato, volumen y calidad apropiados a la tarea.
• Implementar ajuste fino eficiente en parámetros y evaluar su efecto sobre calidad, memoria y tiempo de entrenamiento.
• Detectar degradación de capacidades generales tras un ajuste fino y proponer medidas de mitigación.
• Diseñar combinaciones de vías para problemas que requieren simultáneamente conocimiento específico y comportamiento específico.

Lecturas

• Hu et al. (2022); Lewis et al. (2020). Lectura complementaria: Dettmers et al. (2023); Gao et al. (2024), secciones 1 a 3.

Clase · Guía de estudio · Guion profesor

La unidad trata una decisión que en la práctica organizacional se toma con frecuencia por razones no técnicas y que tiene consecuencias técnicas de largo alcance.

Se establece primero la precisión terminológica: “abierto” abarca situaciones distintas —pesos publicados con licencia permisiva, pesos publicados con restricciones de uso, arquitectura y datos publicados— y la diferencia importa para el uso comercial. Se comparan luego las dos vías en las dimensiones que efectivamente deciden: costo total según volumen y su punto de cruce, latencia y control sobre ella, capacidad de especialización, soberanía y ubicación del dato, estabilidad de versiones, y riesgo de discontinuidad o de modificación unilateral de condiciones.

El punto de cruce de costos merece tratamiento cuantitativo. A volúmenes bajos, el acceso por consumo es sistemáticamente más barato; a volúmenes altos y con carga estable, la operación de un modelo propio puede serlo. Determinar dónde está ese punto para un caso concreto es un ejercicio que el curso realiza con cifras, advirtiendo que el resultado es perecible.

La unidad cierra con el riesgo de dependencia y sus mitigaciones: abstracción del proveedor en la capa de acceso, mantención de una alternativa evaluada, y cláusulas contractuales relevantes. Esta última dimensión se retoma en Estrategia de Productos y Presupuestos.

Estructura de la sesión

• Bloque 1 (60 min) — Qué significa abierto. Grados de apertura y licencias. Restricciones de uso comercial. Consecuencias para una organización que despliega en Chile.
• Bloque 2 (60 min) — Comparación en las dimensiones que deciden. Costo total y punto de cruce por volumen. Latencia y control. Capacidad de especialización. Soberanía del dato. Estabilidad de versiones.
• Bloque 3 (60 min) — Ejercicio cuantitativo. Cálculo del punto de cruce para un caso con volumen declarado. Sensibilidad del resultado a los supuestos de volumen, de precio y de utilización.
• Bloque 4 (60 min) — Dependencia y mitigación. Riesgo de discontinuidad de versión y de cambio de condiciones. Abstracción de la capa de acceso. Alternativa evaluada y mantenida. Articulación con la decisión contractual.

Resultados de aprendizaje

• Distinguir los grados de apertura de un modelo y evaluar las restricciones de licencia aplicables a un uso comercial.
• Comparar aprovisionamiento abierto y cerrado en las dimensiones de costo, latencia, control, soberanía del dato y estabilidad.
• Calcular el punto de cruce de costo entre ambas vías para un volumen dado y evaluar su sensibilidad a los supuestos.
• Identificar el riesgo de dependencia de proveedor y proponer mitigaciones arquitectónicas concretas.

Lecturas

• Bommasani et al. (2021), secciones sobre acceso y ecosistema. Documentación de licencias de los modelos abiertos utilizados en el curso, verificada al momento del dictado.

Clase · Guía de estudio · Guion profesor

La unidad trata la inferencia como propiedad del modelo y de su configuración, no como tarea de plataforma. Su justificación es que las decisiones que determinan el costo y la latencia de un sistema generativo se toman en la elección del modelo, del tamaño, de la cuantización, de la longitud del contexto y de la estrategia de generación, mucho antes de que intervenga la infraestructura.

Se desarrollan las variables que gobiernan la latencia —tiempo hasta el primer token frente a tiempo entre tokens, y su distinta relevancia según la interfaz— y las que gobiernan el costo, con la distinción entre tokens de entrada y de salida y su efecto sobre el diseño de la solicitud. Se examinan los mecanismos que modifican ambos: cuantización y su efecto sobre calidad, agrupación de solicitudes y su efecto sobre latencia individual, caché de prefijo, y generación en flujo como decisión de interfaz.

La unidad incorpora además el contexto extenso como alternativa parcial a la recuperación aumentada, con su compromiso: mayor costo por operación y degradación documentada del uso de la información según su posición, frente a menor complejidad arquitectónica.

Estructura de la sesión

• Bloque 1 (60 min) — Anatomía de la latencia. Fase de prellenado y fase de generación. Tiempo hasta el primer token y tiempo entre tokens. Cuál importa según la interfaz. Efecto de la longitud de entrada y de salida.
• Bloque 2 (60 min) — Anatomía del costo. Tokens de entrada y de salida. Costo del contexto repetido. Caché de prefijo. Estimación del costo unitario de una operación y su agregación a volumen mensual.
• Bloque 3 (60 min) — Mecanismos de optimización. Cuantización y su efecto medible sobre calidad. Agrupación y su compromiso con latencia individual. Tamaño de modelo como variable de diseño. Cuándo un modelo pequeño especializado supera a uno grande general.
• Bloque 4 (60 min) — Contexto extenso (Evaluación 2). Compromiso entre contexto extenso y recuperación. Degradación por posición. Taller: medición de latencia, costo y calidad sobre configuraciones alternativas de un mismo caso.

Resultados de aprendizaje

• Descomponer la latencia de una operación generativa y determinar qué componente es crítico según la interfaz de uso.
• Estimar el costo unitario de una operación y proyectarlo a volumen, distinguiendo entrada y salida.
• Evaluar el efecto de la cuantización sobre calidad, memoria y velocidad mediante medición propia.
• Justificar la elección de tamaño de modelo a partir de los requisitos de latencia, costo y calidad de la aplicación.
• Comparar la vía de contexto extenso con la de recuperación para un caso concreto, declarando el compromiso adoptado.

Lecturas

• Kwon et al. (2023); Liu et al. (2024). Lectura complementaria: Frantar et al. (2023). Documentación de precios y de límites de los proveedores, verificada al momento del dictado.

Clase · Guía de estudio · Guion profesor

La unidad trata el problema abierto del campo. Su tesis es directa: las evaluaciones públicas generalistas no permiten decidir si un modelo sirve para un caso de uso concreto, y la organización que decide sobre esa base está decidiendo sin evidencia pertinente.

Se examinan primero las evaluaciones establecidas —agregados de tareas, arenas de comparación por preferencia humana, marcos holísticos— y sus limitaciones documentadas: contaminación con datos de entrenamiento, saturación, distancia entre la tarea evaluada y la tarea real, y sensibilidad de los resultados a detalles de formato del prompt que no se reportan.

El núcleo de la unidad es la construcción de conjuntos de evaluación propios: definición de la tarea, muestreo de casos representativos incluidos los difíciles, definición de criterios de corrección, tamaño mínimo para detectar diferencias relevantes, y control de la variabilidad entre ejecuciones. Se trabaja luego el uso de modelos jueces, con tratamiento explícito de sus sesgos conocidos —preferencia por respuestas extensas, por el propio estilo, y efecto de posición— y de las medidas que los mitigan.

La unidad cierra con la evaluación de propiedades específicas: fidelidad a la fuente y detección de alucinación en sistemas con recuperación, y sensibilidad del modelo al formato de la entrada, que es una fuente de fragilidad rara vez evaluada y con consecuencias directas en producción.

Estructura de la sesión

• Bloque 1 (60 min) — Evaluaciones públicas y sus límites. Agregados de tareas, arenas de preferencia, marcos holísticos. Contaminación, saturación y validez externa. Por qué el liderazgo en una tabla no predice el desempeño en un dominio.
• Bloque 2 (60 min) — Construcción de un conjunto propio. Definición de la tarea y de los criterios de corrección. Muestreo de casos, incluidos los difíciles y los adversarios. Tamaño y potencia. Control de variabilidad entre ejecuciones.
• Bloque 3 (60 min) — Modelos jueces y evaluación humana. Condiciones de uso de un modelo juez. Sesgos documentados y su mitigación. Evaluación humana estructurada y concordancia entre evaluadores. Cuándo cada instrumento es apropiado.
• Bloque 4 (60 min) — Propiedades específicas (Evaluación 3). Fidelidad a la fuente y detección de alucinación. Sensibilidad al formato de la entrada. Taller: construcción y aplicación de un conjunto de evaluación de dominio.

Resultados de aprendizaje

• Interpretar críticamente los resultados de evaluaciones públicas y explicar por qué no bastan para una decisión de dominio.
• Construir un conjunto de evaluación específico de un dominio, con criterios de corrección declarados y tamaño justificado.
• Emplear un modelo juez reconociendo sus sesgos y aplicando medidas de mitigación.
• Diseñar una evaluación humana estructurada y medir la concordancia entre evaluadores.
• Evaluar fidelidad a la fuente en un sistema con recuperación y detectar alucinación de manera sistemática.
• Medir la sensibilidad de un modelo al formato de la entrada y valorar su consecuencia para la robustez de la aplicación.

Lecturas

• Zheng et al. (2023); Liang et al. (2023), secciones 1 a 3. Lectura complementaria: Ji et al. (2023).

Clase · Guía de estudio · Guion profesor

La unidad final amplía el alcance a la multimodalidad y consolida el curso.

El primer eje trata los modelos que operan sobre más de una modalidad: cómo se integran representaciones de distinta naturaleza en un espacio común, qué capacidades habilita esa integración y cuáles son sus límites actuales. Se cubren la generación de imagen mediante modelos de difusión y el procesamiento de imagen y documento por modelos de lenguaje, con atención al caso de la extracción de información desde documentos, que es la aplicación multimodal de mayor demanda organizacional efectiva.

El segundo eje trata los riesgos propios del modelo, distinguidos de los riesgos del sistema que se estudian en Diseño de Sistemas: memorización y extracción de datos de entrenamiento, con sus consecuencias para el ajuste fino con datos internos sensibles; alucinación y sus determinantes; y el hecho de que la instrucción no constituye un mecanismo de control robusto, lo que se desarrolla en Prompt Engineering y aquí sólo se establece como propiedad del modelo.

La sesión cierra con la presentación de los proyectos finales y con la articulación explícita hacia las asignaturas siguientes.

Estructura de la sesión

• Bloque 1 (60 min) — Modelos multimodales. Integración de modalidades en un espacio común. Capacidades y límites actuales. Extracción de información desde documentos como caso de mayor demanda.
• Bloque 2 (60 min) — Generación de imagen y sus decisiones. Modelos de difusión: mecanismo y control. Costos y latencias características. Consideraciones de licenciamiento y de procedencia de los datos de entrenamiento.
• Bloque 3 (60 min) — Riesgos propios del modelo. Memorización y extracción; consecuencias para el ajuste fino con datos sensibles. Determinantes de la alucinación. Límites de la instrucción como mecanismo de control.
• Bloque 4 (60 min) — Presentación de proyectos y cierre. Exposición de resultados. Síntesis del curso. Articulación con Prompt Engineering, Diseño de Sistemas, AI.Ops y Ética de la IA.

Resultados de aprendizaje

• Explicar el mecanismo de integración de modalidades y evaluar la aplicabilidad de un modelo multimodal a un caso concreto.
• Describir el funcionamiento de los modelos de difusión y sus decisiones de control, costo y licenciamiento.
• Evaluar el riesgo de memorización y extracción al ajustar un modelo con datos internos sensibles.
• Distinguir los riesgos propios del modelo de los riesgos del sistema que lo incorpora.
• Presentar y defender una decisión de selección y adaptación de modelo con evidencia propia.

Lecturas

• Carlini et al. (2021). Lectura complementaria: Bommasani et al. (2021), secciones sobre modalidades.

Clase · Guía de estudio · Guion profesor