Curso 09 · Unidad 3

Razonamiento y verificación

4 hrs · CoT con criterio — UAI

Tesis

Razonar cuesta; verificar obliga

CoT no es gratis: latencia, tokens y a veces ruido.
La cadena generada no es un log auditable del proceso.
Descomponer y ensamblar cuando la tarea lo justifica.
La verificación programática o en segundo paso cierra el loop.

Al finalizar

Resultados de aprendizaje

Aplicar CoT / ensamblado / descomposición con costo-beneficio.
Distinguir técnica de razonamiento vs explicación al usuario.
Diseñar verificación programática o en segundo paso.

Bloque 1 · 60 min

CoT

Teoría

CoT y cuándo usarlo

Wei et al. (2022): “pensemos paso a paso” mejora tareas multi-paso (aritmética, lógica).
No es gratis: latencia, tokens y a veces ruido — medir pass rate × costo.
Clasificación corta con schema: CoT a menudo sobra.

Cuándo

Chain-of-thought con criterio

Tareas multi-paso, aritmética, lógica — a menudo ayuda.
Clasificación corta con schema: a veces sobra.
Medir: pass rate × tokens × latencia.
Temperatura baja si vas a parsear un resultado final.

Ilustración

Razonar adentro, verificar afuera

El scratchpad no sustituye un check programático o un segundo paso.

Definiciones

Léxico de razonamiento

Chain-of-thought (CoT) — pedir pasos intermedios antes de la respuesta; mejora multi-paso a costa de tokens.
Self-consistency — varias cadenas + agregación (voto); estabiliza el final, no garantiza verdad.
Scratchpad — razonamiento interno para el sistema; no es log auditable ni fundamento legal.
Verificación externa — check programático o segundo paso fuera del modelo que cierra el loop.

Bloque 2 · 60 min

Ensamblado

Teoría

Self-consistency y búsqueda

Wang et al. (2023): varias cadenas + voto (self-consistency) estabiliza la respuesta final.
Yao et al. (2023), Tree of Thoughts: exploración cara; justificar presupuesto.
Diversidad de paths ≠ mayor verdad — verificar afuera del modelo.

Técnicas

Self-consistency y subtareas

Varias muestras + voto (self-consistency).
Pipeline: plan → resolver → consolidar.
Tree of Thoughts: exploración cara; justificar presupuesto.
No confundir diversidad de paths con mayor verdad.

Ilustración

Varias cadenas, un voto

Wang et al. (2023): diversificar paths y agregar — el costo se justifica midiendo.

Bloque 3 · 60 min

Fidelidad

Riesgo

La explicación no es el proceso

El modelo puede rationalizar a posteriori.
No mostrar la cadena cruda como fundamento legal/clínico.
Separar: scratchpad interno vs mensaje al usuario.
Preferir checks externos a “confiá en el thought”.

Fidelidad

Explicar ≠ demostrar

Rationalización a posteriori: sin check externo, el “porque” no es evidencia.

Bloque 4 · 60 min

Verificación

Lab vivo

Razonar y verificar afuera

Paso 1: modelo resuelve con pasos breves + respuesta final numérica.

Paso 2: verificación programática (eval de expresión) — no confiar solo en el texto.

Lab: labs/09/u03/run_verify.py — p. ej. IVA/monto Chile: pasos + eval aritmética externa.

Stack

Misma API local

Verificación fuera del modelo · gemma-4-e4b

Lecturas

Para profundizar

Wei et al. (2022), Chain-of-Thought — wei2022cot
Wang et al. (2023), Self-Consistency — wang2023selfconsistency
Yao et al. (2023), Tree of Thoughts — yao2023tot (complementaria)

Cierre

Preguntas

Siguiente: del prompt al agente (Unidad 4)