Estructura 3D de proteínas a partir de la secuencia, con precisión cercana a la experimental en CASP14.
Jumper et al., Nature 2021
\gdef\R{\mathbb{R}} \gdef\E{\mathbb{E}} \gdef\N{\mathcal{N}} \gdef\prox{\operatorname{prox}} \gdef\argmin{\operatorname*{arg\,min}} \gdef\argmax{\operatorname*{arg\,max}} \gdef\cR#1{{\color{cc0000}#1}} \gdef\cB#1{{\color{1155cc}#1}} \gdef\cG#1{{\color{38761d}#1}}
\gdef\P{\mathbb{P}} \gdef\Ch{\hat C} \gdef\qh{\hat\lambda} \gdef\fh{\hat f} \gdef\MisCov{\operatorname{MisCov}} \gdef\Dcal{\mathcal{D}_{\mathrm{cal}}}
Predicción Conformal
Cómo construir predictores con incertidumbre
2da Escuela Primavera de Deep Learning
ICC, CONICET–UBA · Noviembre 2026
IA: un cambio de paradigma
Tensores de susceptibilidad magnética del cerebro (MRI) reconstruidos con menos orientaciones de adquisición.
DeepSTI: Fang et al., MedIA 2023
Pronóstico meteorológico a 10 días, mejor que el sistema operativo del ECMWF en el 90% de 1380 variables evaluadas.
Lam et al., Science 2023
Modelos de lenguaje con 86.5% de aciertos en preguntas de examen médico (MedQA).
Singhal et al., Nature Medicine 2025
… pero a veces falla
Perturbaciones pequeñas en las mediciones producen estructuras falsas (flecha) en reconstrucciones con redes profundas.
Univ. of Cambridge, 12 mayo 2020 · Antun et al., PNAS 2020
Modelo comercial de sepsis: AUC 0.63 en validación externa; no detectó el 67% de los casos.
MedCity News, 23 junio 2021 · Wong et al., JAMA Intern. Med. 2021
Clasificadores de COVID-19 en radiografías usan señales espurias y fallan en hospitales nuevos.
GeekWire, 3 junio 2021 · DeGrave, Janizek & Lee, Nat. Mach. Intell. 2021
Un escrito judicial citó seis fallos inexistentes generados por un LLM.
The New York Times, 27 mayo 2023 · Mata v. Avianca, S.D.N.Y. 2023
Los predictores en general solo nos dan un valor predicho.
¿Cómo podemos asociar estas predicciones con su incertidumbre de manera rigurosa?
Predicción puntual
X = edad y sexo. \ Y = peso (kg).
Error en test |y-\fh(x)|: en promedio 2.6 kg de 0 a 5 años y 17 kg de 18 a 39.
El error depende de x. ¿Cuál es la incertidumbre de cada predicción?
[NHANES 2009–2012, n = 6 724; Pruim, 2015]
Intervalos de predicción
Alrededor de cualquier predictor: C_\lambda(x) = \big[\fh(x)-\lambda,\ \fh(x)+\lambda\big]
¿Cómo elegir \lambda para que \quad \P\big[Y\in C_\lambda(X)\big]\ \ge\ 1-\alpha\ ?
Intervalos de predicción
¿Cómo elegir \lambda para que \quad \P\big[Y\in C_\lambda(X)\big]\ \ge\ 1-\alpha\ ?
- Desviación estándar del error: \ \lambda = z_{1-\alpha/2}\,\hat\sigma
supone errores gaussianos, con la misma varianza para todo x
Peso según la edad: residuos en test asimétricos y de colas pesadas (asimetría 1.3, curtosis en exceso 3.5).
- Bayesiano: intervalo creíble de la distribución predictiva posterior
\ p(y\mid x,\mathcal D)=\int p(y\mid x,\theta)\,p(\theta\mid\mathcal D)\,d\theta
válido si el prior y la verosimilitud son correctos; la integral sobre \theta es intratable para redes profundas
- MC dropout / ensembles: media \pm desviación entre pasadas o redes
aproximaciones a la posterior sin control del error de aproximación
Ninguna garantiza cobertura 1-\alpha con muestra finita y sin supuestos.
[Gal & Ghahramani, 2016][Lakshminarayanan et al, 2017]
Split conformal
¿Cómo elegir \lambda para que \quad \P\big[Y\in C_\lambda(X)\big]\ \ge\ 1-\alpha\ ?
1. Scores en calibración
s_i=|Y_i-\fh(X_i)|,\ \ n=1681
→
2. Cuantil de los scores
\qh=28.0 kg
→
3. Intervalos en test
\Ch(x)=\big[\fh(x)-\qh,\ \fh(x)+\qh\big]
Split conformal (proof sketch)
Sea s_{n+1}=|Y_{n+1}-\fh(X_{n+1})|, el score de test.
Por intercambiabilidad, el rango de s_{n+1} entre s_1,\dots,s_{n+1} es uniforme en \{1,\dots,n+1\}.
Con k=\lceil (n+1)(1-\alpha)\rceil y \qh=s_{(k)} (k-ésimo en orden creciente): \P\big(Y_{n+1}\in\Ch\big) = \P\big(s_{n+1}\le \qh\big) = \P\big(\text{rango}(s_{n+1}) \le k\big) = \tfrac{k}{n+1} \ge 1-\alpha \quad \square
La prueba no usa \fh ni la distribución de (X,Y), i.e. distribution free.
Split conformal
Cobertura en las 1681 personas de test: 89.4%
\P\big(Y_{n+1}\in\Ch(X_{n+1})\big)\ \ge\ 1-\alpha
\{Y_{n+1}\in\Ch(X_{n+1})\} es un evento aleatorio.
Con una calibración fija: \P\big(Y_{n+1}\in\Ch(X_{n+1})\mid\mathcal D_{\rm cal}\big)\ \sim\ \mathrm{Beta}(n+1-l,\ l) con l=\lfloor(n+1)\alpha\rfloor (scores sin empates)
Resumen (hasta acá):
- Split conformal: \qh = cuantil de los errores en calibración.
- Garantía: intercambiabilidad + un argumento de rangos.
- Cualquier modelo: el modelo determina el ancho, no la validez.
- Sin supuestos sobre la distribución y fácil de implementar: uso creciente en ML e IA.
Citas por año en Google Scholar (2026: hasta nov.).
Elecciones en EE.UU. (2020–2024). The Washington Post publica en la noche electoral intervalos conformales para los votos aún no contados.
Cherian, Bronner & Candès, 2024
Muertes por COVID-19 (pronóstico del CDC). El pronóstico oficial (sin conformal) publica intervalos del 80% a 4 semanas; en la ola de invierno 2020–21 cubrieron 2 de 10 semanas. Corregidos con conformal en línea: 7 de 10.
Angelopoulos, Candès & Tibshirani, 2023
Q1: ¿Cómo construir intervalos de incertidumbre precisos?
Q2: ¿Cómo se generaliza y dónde se aplica?
CQR
clasificación
cobertura condicional
control de riesgo
en línea
Q2: ¿Cómo se generaliza y dónde se aplica?
CQR
clasificación
cobertura condicional
control de riesgo
en línea
Cobertura marginal
\P\big(Y\in\Ch(X)\big)\ge 1-\alpha \qquad\not\Rightarrow\qquad \P\big(Y\in\Ch(X)\mid X=x\big)\ge 1-\alpha
Otros scores
Conformal es muy flexible: cualquier medida heurística de incertidumbre puede usarse como score. Por ejemplo:
- Desviación estándar estimada \hat\sigma(x) (ensamble, MC dropout): s(x,y)=\frac{|y-\fh(x)|}{\hat\sigma(x)} \qquad\Rightarrow\qquad \Ch(x)=\fh(x)\pm\qh\,\hat\sigma(x)
- Regresión cuantílica.
Regresión cuantílica (CQR)
Estimar los cuantiles 5% y 95% de Y dado X: regresión con la pérdida pinball \ell_\tau,
\hat q_\tau=\arg\min_{q}\ \sum_{i}\ell_\tau\big(Y_i,\,q(X_i)\big)
[Romano, Patterson & Candès, 2019]
Regresión cuantílica (CQR)
Score: distancia con signo al intervalo s(x,y) = \max\big\{\hat q_{0.05}(x) - y,\ y-\hat q_{0.95}(x)\big\}
\Ch(x)=\big[\hat q_{0.05}(x)-\qh,\ \hat q_{0.95}(x)+\qh\big]
[Romano, Patterson & Candès, 2019]
Regresión cuantílica
Cuantiles estimados: 81.3%. Conformalizados (\qh=5.0 kg): 90.1%.
Q2: ¿Cómo se generaliza y dónde se aplica?
CQR
clasificación
cobertura condicional
control de riesgo
en línea
Clasificación conformal
Ahora Y\in\{1,\dots,K\} es una etiqueta (ImageNet: K=1000 clases).
El modelo da probabilidades \fh_1(x),\dots,\fh_K(x) (softmax) y la predicción usual es \ \arg\max_y \fh_y(x).
Conformal da un conjunto de etiquetas \ \Ch(x)\subseteq\{1,\dots,K\}\ con \P\big(Y\in\Ch(X)\big)\ \ge\ 1-\alpha
Clasificación conformal
1. Scores en calibración 
s_i=1-\fh_{Y_i}(X_i)
→
2. Cuantil de los scores 
\qh = cuantil de nivel \tfrac{\lceil (n+1)(1-\alpha)\rceil}{n}
→
3. Conjuntos en test 
\Ch(x)=\big\{y:\ \fh_y(x)\ge 1-\qh\big\}
Lo único que cambia es el score.
Teorema. [Vovk et al, 2005; Lei et al, 2018] Si (X_1,Y_1),\dots,(X_{n+1},Y_{n+1}) son intercambiables, entonces \ \P\big(Y_{n+1}\in\Ch(X_{n+1})\big)\ge 1-\alpha.
Clasificación conformal
Teorema. [Vovk et al, 2005; Lei et al, 2018] Si (X_1,Y_1),\dots,(X_{n+1},Y_{n+1}) son intercambiables, entonces \ \P\big(Y_{n+1}\in\Ch(X_{n+1})\big)\ge 1-\alpha.
[Sadinle, Lei & Wasserman, 2019][Angelopoulos & Bates, 2023]
Q2: ¿Cómo se generaliza y dónde se aplica?
CQR
clasificación
cobertura condicional
control de riesgo
en línea
Cobertura condicional
90% en promedio, pero 12% de las clases quedan por debajo de 80%.
Cobertura condicional
1. Scores por clase 
\{s_i:\ Y_i=y\} para cada clase y
→
2. Un cuantil por clase 
\qh_y = cuantil de nivel \tfrac{\lceil (n_y+1)(1-\alpha)\rceil}{n_y}
→
3. Conjuntos en test 
\Ch(x)=\big\{y:\ \fh_y(x)\ge 1-\qh_y\big\}
Teorema. [Vovk et al, 2005; Vovk, 2012] Si los datos son intercambiables, para cada clase y, \ \P\big(Y_{n+1}\in\Ch(X_{n+1})\mid Y_{n+1}=y\big)\ge 1-\alpha.
Cobertura condicional
1. Scores por clase \{s_i:\ Y_i=y\} para cada clase y
→
2. Un cuantil por clase \qh_y = cuantil de nivel \tfrac{\lceil (n_y+1)(1-\alpha)\rceil}{n_y}
→
3. Conjuntos en test \Ch(x)=\big\{y:\ \fh_y(x)\ge 1-\qh_y\big\}
Más en general, con grupos g(X,Y)\in\{1,\dots,G\} disjuntos y fijados de antemano, y un \qh_g por grupo (datos intercambiables), entonces:
\P\big(Y_{n+1}\in\Ch(X_{n+1})\ \big|\ g(X_{n+1},Y_{n+1})=g\big)\ \ge\ 1-\alpha \quad\text{para cada } g
Ejemplos: la clase (g=y), grupos de edad, grupos demográficos, hospital, tipo de escáner.
[Vovk et al, 2005][Vovk, 2012]
Cobertura condicional
Todas las clases entre 84% y 95%.
Precio: conjuntos más grandes.
[Ding, Angelopoulos, Bates, Jordan & Tibshirani, 2023]
Q2: ¿Cómo se generaliza y dónde se aplica?
CQR
clasificación
cobertura condicional
control de riesgo
en línea
Regresión conformal en imágenes
Mediciones
Reconstrucción
X=AY+\epsilon,\ \ \epsilon\sim\mathcal N(0,\sigma^2\mathbb I)
\hat Y=f_\theta(X)\in\mathbb R^d
¿Qué significa “cubrir” una imagen de d píxeles?
\P\big(Y\notin C_{\qh}(X)\big)=\E\big[\mathbf 1\{Y\notin C_{\qh}(X)\}\big]\le\alpha
De cobertura a riesgo
Y (verdadera)
X (medición)
\hat l(X)-\qh
\hat u(X)+\qh
ancho
Un dato = una imagen.
[Teneggi, Stayman & S., MICCAI 2025]
De cobertura a riesgo
L\big(C_\lambda(X),Y\big): fracción de píxeles de Y fuera de \big[\hat l_j-\lambda,\ \hat u_j+\lambda\big]
¿Cómo elegir \lambda para que \quad \E\big[L\big(C_{\qh}(X),Y\big)\big]\le\epsilon\ ?
De cobertura a riesgo
\hat\lambda = \inf\Big\{\lambda:\ \hat R_n(\lambda)\le \epsilon-\tfrac{B-\epsilon}{n}\Big\}, \qquad \hat R_n(\lambda)=\frac1n\sum_{i=1}^n L_i(\lambda)
Teorema. Si L_1,\dots,L_{n+1} son intercambiables, \quad \E\big[L_{n+1}(\hat\lambda)\big]\le\epsilon.
En alta probabilidad (RCPS): con L_i i.i.d. en [0,1], reemplazar \hat R_n por una cota superior de confianza, p. ej. \ \hat R^+(\lambda)=\hat R_n(\lambda)+\sqrt{\log(1/\delta)/(2n)}, y elegir \ \hat\lambda=\inf\{\lambda:\ \hat R^+(\lambda')<\epsilon\ \ \forall\lambda'\ge\lambda\}. Entonces
\P\big(R(\hat\lambda)\le\epsilon\big)\ge 1-\delta, \qquad R(\lambda)=\E\big[L_{n+1}(\lambda)\mid\text{calibración}\big]
Probabilidad sobre la calibración. Precio: corrección \sim\sqrt{\log(1/\delta)/n} en vez de B/n. [Bates, Angelopoulos, Lei, Malik & Jordan, 2021]
[Angelopoulos, Bates, Fisch, Lei & Schuster, 2024]
Regresión conformal en imágenes
1. Alta dimensión. Un único \lambda para los d\approx 10^5 píxeles ensancha todos por igual: las regiones fáciles quedan con bandas innecesariamente anchas.
2. Heterogeneidad. Fondo, hueso, hígado, páncreas: el error del modelo depende del contenido, y la posición de cada órgano cambia de paciente a paciente.
Un \lambda por tipo de contenido: un \lambda_k por órgano.
Regresión conformal por órgano
Un modelo de segmentación s(X) asigna cada píxel j a un órgano k:
Un \lambda_k por órgano: \quad\big[\hat l_j(X)-\lambda_{s(X)_j},\ \hat u_j(X)+\lambda_{s(X)_j}\big]
L_k(\lambda) = fracción de píxeles del órgano k fuera de la banda. Calibrar cada \hat\lambda_k como antes: \E\big[L_k(\hat\lambda)\big]\le\epsilon \quad\text{para cada órgano } k
[Teneggi, Stayman & S., MICCAI 2025]
Regresión conformal por órgano
Ancho por píxel: más incertidumbre en aorta, páncreas, hígado.
Riesgo por órgano: solo un \hat\lambda_k por órgano (rojo) da \le\epsilon en cada uno.
[Teneggi, Stayman & S., MICCAI 2025]
Q2: ¿Cómo se generaliza y dónde se aplica?
CQR
clasificación
cobertura condicional
control de riesgo
en línea
Conformal en línea
Alquileres de bicicletas por hora (Washington DC). En cada hora t:
1. llegan X_t (hora, día, clima) y publicamos \ C_t=\big[\hat Y_t-\tau_t,\ \hat Y_t+\tau_t\big]
2. se observa Y_t: cubrimos si \ S_t=|Y_t-\hat Y_t|\le\tau_t \qquad 3. actualizamos \tau_{t+1}
Objetivo, para cualquier secuencia: \ \ \frac1T\sum_{t\le T}\mathbf 1\{S_t\le\tau_t\}\ \longrightarrow\ 1-\alpha
Sin asumir nada de los datos (intercambiables, independientes, ninguna distribución).
En línea y por grupos
Alquileres de bicicletas por hora (Washington DC). En cada hora t:
1. llegan X_t (hora, día, clima) y publicamos \ C_t=\big[\hat Y_t-\tau_t,\ \hat Y_t+\tau_t\big]
2. se observa Y_t: cubrimos si \ S_t=|Y_t-\hat Y_t|\le\tau_t \qquad 3. actualizamos \tau_{t+1}
Grupos \ c_j(X)\in[0,1]: hora pico, noche, fin de semana, lluvia; \ \ T_j=\sum_{t\le T}c_j(X_t)
Objetivo, para cada grupo j: \ \ \frac{1}{T_j}\sum_{t\le T}c_j(X_t)\,\mathbf 1\{S_t\le\tau_t\}\ \longrightarrow\ 1-\alpha
Sin asumir nada de los datos (intercambiables, independientes, ninguna distribución).
Conformal en línea y por grupos
Entrenado en invierno y el uso se triplica: ~90% por grupo,
POGO sin necesidad de elegir parámetros (“parameter-free”).
| método | cobertura por grupo | ancho medio |
|---|---|---|
| ACI (un radio) | 75–100% | 583 |
| ACI por grupo, \eta=1 | 85–96% | 450 |
| ACI por grupo, \eta=10 | 90% | 458 |
| ACI por grupo, \eta=100 | 90% | 498 |
| POGO (sin \eta) | 88–92% | 445 |
Marzo 2011 – diciembre 2012; 5 grupos (todas, hora pico, noche, fin de semana, lluvia). Ancho en bicicletas.
[Gibbs & Candès, 2021][Bharti, Pal, Teneggi & S., 2026]
Referencias
Para empezar:
Angelopoulos & Bates, A Gentle Introduction to Conformal Prediction and Distribution-Free UQ, 2023
Angelopoulos, Barber & Bates, Theoretical Foundations of Conformal Prediction, 2024
Vovk, Gammerman & Shafer, Algorithmic Learning in a Random World, 2005
Gracias:
Jacopo Teneggi · Beepul Bharti · Ambar Pal
Funding: NSF CAREER CCF-2239787 · NIH R01CA287422
jsulam.github.io · jsulam1@jhu.edu