Métricas, outliers y polinomios

💡En simple: lee esto primero

Para saber si el modelo es bueno, medimos cuánto se equivoca en promedio; y si una recta no alcanza, podemos usar curvas.

Imagínalo así

Es como calificar a un pronosticador del clima: ¿por cuántos grados se equivoca en promedio? ¿Y es mejor que simplemente decir «hará la temperatura de siempre»?

Lo que tienes que llevarte

• MSE / RMSE / MAE miden el error típico (RMSE y MAE en las mismas unidades que lo que predices).
• R² responde: ¿qué tanto mejor que predecir siempre el promedio? 1 = perfecto, 0 = igual que el promedio.
• Con curvas (polinomios) puedes ajustar mejor, pero si te pasas el modelo empieza a «memorizar» el ruido.

Palabras raras de esta página

outlier

un dato raro, muy lejos del resto, que puede jalar la recta hacia él.

features polinómicas

agregar x², x³… como nuevas columnas para que la «recta» pueda curvarse.

overfitting (sobreajuste)

el modelo se aprende de memoria los datos de entrenamiento, incluido el ruido, y falla con datos nuevos.

underfitting

el modelo es demasiado simple y ni siquiera acierta en los datos de entrenamiento.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

Midiendo el error

Con residuales $r_i = y_i-\hat y_i$ sobre $n$ puntos de validación o test:

$$\text{MSE} = \frac1n\sum_i r_i^2,\qquad \text{RMSE} = \sqrt{\text{MSE}},\qquad \text{MAE} = \frac1n\sum_i |r_i|$$

• RMSE vuelve a las unidades del target («un error de 50 soles», no «50 soles²»): es lo más fácil de reportar y es justo lo que minimizan los mínimos cuadrados.
• MAE pesa cada error linealmente: mucho más robusto a outliers.
• Siempre RMSE ≥ MAE; la brecha crece cuando unos pocos errores son grandes: una pista de outliers.

$R^2$: ¿cuánto mejor que la media?

Estas métricas dicen qué tan grande es el error, no si es bueno. Para eso comparamos contra el modelo tonto que siempre predice $\bar y$:

$$R^2 = 1-\frac{SS_\text{res}}{SS_\text{tot}} = 1-\frac{\sum_i (y_i-\hat y_i)^2}{\sum_i (y_i-\bar y)^2}$$

$R^2 = 1$ perfecto; $0$ = igual que la media; puede ser negativo en datos de validación (peor que la media). No tiene unidades, así que compara entre problemas. Ejemplo de la slide: $SS_\text{res}=22.6$, $SS_\text{tot}=68.6 \Rightarrow R^2 = 1-0.33 = 0.67$.

¿Qué métrica reportar?

Situación	Métrica recomendada	Por qué
Comunicar el error a un no experto	RMSE o MAE	están en las unidades del target («S/ 230 de error típico»)
Los errores grandes son graves (sobrecarga, stock)	RMSE / MSE	eleva al cuadrado: castiga fuerte los errores grandes
Hay outliers que no quieres que dominen	MAE	lineal: un outlier pesa como uno más
Comparar entre problemas distintos	$R^2$	sin unidades: «qué fracción de la variación explico»
Elegir hiperparámetros	la misma métrica, en validación	nunca en train ni en test

Predicho vs real

Graficar $\hat y$ contra $y$ en datos no vistos: puntos pegados a la diagonal = preciso; curvas o abanicos sistemáticos revelan sesgo o varianza cambiante. Ese dibujo muestra dónde falla el modelo, cosa que $R^2$ esconde en un número.

Outliers y lectura de coeficientes

Los mínimos cuadrados son sensibles a outliers: al elevar al cuadrado, un punto lejano domina el costo e inclina la recta hacia él (pruébalo en el simulador de la página anterior). Inspecciona tus datos; considera pérdidas robustas si los outliers son reales.

Cada $w_j$ es el cambio esperado en $\hat y$ por una unidad más de $x_j$, manteniendo las demás fijas. El signo da la dirección y la magnitud la fuerza, pero las magnitudes solo son comparables si las features comparten escala: estandariza primero. Cuidado: con features correlacionadas «mantener las demás fijas» es frágil, y un peso es asociación, no causalidad.

Ejemplo real: diabetes (scikit-learn)

442 pacientes, 10 features clínicas estandarizadas, partición 75/25. OLS multivariada: RMSE de test = 56.4, $R^2 = 0.36$. Los mayores pesos: bmi y s5 suben la progresión; s1 la baja.

⚡

Caso de uso · energíaPronosticar demanda eléctrica: RMSE, MAE y residuales que hablan

Una distribuidora predice la demanda horaria (MW) con temperatura y hora del día. Un modelo lineal da $R^2 = 0.71$ en test, pero el gráfico de residuales vs temperatura dibuja una U: subestima la demanda en días muy fríos y muy calurosos (calefacción y aire acondicionado).

• La U en los residuales es la señal de underfitting: falta estructura.
• Solución sin cambiar de algoritmo: agregar la feature $\text{temp}^2$ (y quizás interacción temp × hora). El $R^2$ sube a 0.89 y los residuales quedan sin patrón.
• Se reporta RMSE (los picos mal pronosticados son caros: hay que comprar energía de emergencia) junto con MAE para ver si unos pocos errores grandes dominan.
• La partición train/test respeta el orden temporal: entrenar con el pasado, evaluar con el futuro.

Cuando una recta no basta: features polinómicas

Una recta solo tiene dos perillas: puede inclinarse pero no doblarse. Señal de underfitting: los residuales no son ruido aleatorio, todavía trazan un patrón.

El truco: mantener la misma máquina pero alimentarla con potencias de $x$ como features nuevas:

$$\phi(x) = (1, x, x^2, \dots, x^M),\qquad \hat y = w_0 + w_1x + w_2x^2+\dots+w_Mx^M = \phi(x)^\top\mathbf{w}$$

La matriz de diseño (de Vandermonde) solo gana columnas. Nada más cambia: sigue siendo mínimos cuadrados lineales, mismas ecuaciones normales, mismo descenso de gradiente. La curva es una suma ponderada de funciones base fijas; los mínimos cuadrados solo eligen los pesos.

La pregunta del banco

¿Por qué se sigue llamando regresión lineal si la curva se dobla? Porque «lineal» se refiere a los pesos, no a la forma de la curva. Elevar $x$ al cuadrado solo agrega columnas; el modelo sigue siendo una combinación lineal de columnas con pesos. La no linealidad está en las features, no en los pesos.

Interacciones

Con dos entradas, grado 2 agrega también el término cruzado: $\phi(x_1,x_2) = (1, x_1, x_2, x_1^2, x_1x_2, x_2^2)$. Si la verdad es $y = x_1x_2$ (una silla), un plano da $R^2 = -0.02$; agregar la columna $x_1x_2$ da $R^2 = 0.93$: ahora el efecto de $x_1$ depende de $x_2$. Pero grado $p$ sobre $d$ entradas necesita $\binom{d+p}{p}$ columnas (286 para grado 3 y 10 entradas): se sobreajusta rápido.

Subiendo de grado: under → bien → overfit

Sube el grado… y mira la validación

Datos de sin(2πx) + ruido. El modelo sigue siendo lineal en los pesos: solo añadimos columnas x², x³… a la matriz de diseño. Los puntos llenos entrenan; los huecos validan.

grado del polinomio 3λ (ridge) 0n de entrenamiento 14

Nuevos datosIr al mejor grado según validación

ajuste actualverdad sin(2πx)RMSE trainRMSE validaciónmínimo de validación

RMSE train0.160

RMSE validación0.297

mayor |wⱼ|4.15

diagnósticobien

Ambos errores bajos y cercanos: el punto dulce de la U. El error de entrenamiento siempre baja con el grado; el de validación tiene forma de U.

• Grado 1: muy rígido (underfit). Grado 3: sigue la señal. Grado 9+: persigue el ruido (overfit).
• El síntoma del overfitting son los pesos enormes: una curva ondulante se arma con coeficientes gigantes de signos opuestos que casi se cancelan.
• ¿Y si simplemente prohibimos que los pesos crezcan? Eso es ridge: $J_\lambda(\mathbf{w}) = \|\mathbf{y}-\mathbf{X}\mathbf{w}\|^2 + \lambda\|\mathbf{w}\|^2$, con solución $(\mathbf{X}^\top\mathbf{X}+\lambda\mathbf{I})^{-1}\mathbf{X}^\top\mathbf{y}$. Mueve el slider de λ arriba. Es el tema de la siguiente unidad.

Ejercicio

Un modelo tiene en validación $SS_\text{res} = 30$ y $SS_\text{tot} = 25$. ¿$R^2$? ¿Qué significa?

Ver solución

$R^2 = 1 - 30/25 = -0.2$. Es negativo: el modelo predice peor en validación que simplemente responder la media $\bar y$ siempre. Típico de un modelo sobreajustado evaluado fuera de su training set.

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. ¿Qué métrica es más robusta a outliers?

a) MSEb) RMSEc) MAEd) $R^2$

2. $R^2$ en datos de validación…

a) siempre está en [0, 1]b) puede ser negativoc) solo mide sesgod) tiene unidades del target

3. Un ajuste polinómico de grado 9 sigue siendo «regresión lineal» porque…

a) deja de serlo desde grado 2b) es lineal en los pesos: solo agrega columnas $x^2, x^3, \dots$c) necesita otro algoritmo de ajusted) la no linealidad está en los pesos

4. Residuales que dibujan una onda clara indican…

a) overfittingb) underfitting (falta estructura)c) buen ajusted) fuga de datos

5. La «huella» del overfitting en un polinomio de alto grado es…

a) pesos cercanos a 0b) pesos enormes de signos opuestosc) RMSE de train altod) $R^2$ de train negativo

En código

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures, StandardScaler
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score

for deg in [1, 3, 9]:
    m = make_pipeline(PolynomialFeatures(deg), StandardScaler(), LinearRegression())
    m.fit(X_tr, y_tr)
    p = m.predict(X_val)
    print(deg,
          mean_squared_error(y_val, p) ** 0.5,   # RMSE
          mean_absolute_error(y_val, p),         # MAE
          r2_score(y_val, p))                    # R² (puede ser < 0)

# grado alto + ridge: misma flexibilidad, pesos controlados
m = make_pipeline(PolynomialFeatures(9), StandardScaler(), Ridge(alpha=1e-3)).fit(X_tr, y_tr)

↔ Conexiones con otros temas

Sesgo–varianzaLa U de validación explicada: sesgo² baja con el grado, la varianza sube.Ridge y lassoCastigar pesos grandes para no sobreajustar sin bajar el grado.KernelsFeatures polinómicas sin construirlas: (xᵀz + 1)ᵖ.Métricas de clasificaciónEl análogo para categorías: confusión, precision, recall, F1.

Para profundizar

interactivoMLU-Explain · Linear RegressionRecta, residuales y MSE con animaciones al hacer scroll.libroISLR / ISLP (James et al.)Libro gratis, citado en las slides. Cap. 3, 4, 5, 6, 8 y 9 cubren todo el parcial.docsscikit-learn · Model evaluationPrecision, recall, F1, ROC-AUC y cómo elegir la métrica.

Fuente ·ML_Course_Linear_Regression.pdf (slides 29–46) · ML_Course/session-02d-evaluation-and-complexity.ipynb · BANCO_DE_PREGUNTAS_ML_PART_1.pdf