Modelo, costo y ecuaciones normales

💡En simple: lee esto primero

Regresión lineal = trazar la recta (o plano) que pasa lo más cerca posible de todos los puntos, para predecir un número.

Imagínalo así

Imagina estimar el precio de una casa por su tamaño: pones los datos en un gráfico y tiras una regla encima buscando que quede lo más pegada posible a todos los puntos.

Lo que tienes que llevarte

• El error de cada punto es la distancia vertical entre el valor real y la recta.
• Elevamos cada error al cuadrado y los sumamos: castiga más los errores grandes y da una única mejor recta.
• Hay una fórmula directa (ecuaciones normales) que te da esa mejor recta sin tener que probar.

Palabras raras de esta página

peso / coeficiente (w)

cuánto influye cada dato en la predicción. «Por cada m² más, el precio sube w».

sesgo / intercepto (b)

el valor de partida cuando todo lo demás es cero.

residuo

real menos predicho: lo que la recta no logró explicar.

ecuaciones normales

la fórmula que da los mejores pesos de una sola vez.

proyección

la «sombra» de un vector sobre otro: lo más cerca que se puede llegar.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

La regresión lineal es el esqueleto de todo el curso: un modelo con perillas, una pérdida que medir, y dos maneras de encontrar las mejores perillas (fórmula cerrada o descenso de gradiente). Todo lo que viene después cambia una de esas piezas.

🧪

Caso de uso · salud¿Qué tanto avanza la diabetes? Un modelo lineal que un médico puede leer

El dataset diabetes de scikit-learn (usado en las slides) tiene 442 pacientes y 10 medidas clínicas estandarizadas (edad, sexo, IMC, presión, seis análisis de sangre). El target es un score de progresión de la enfermedad a un año.

• Por qué lineal: el médico quiere saber cuánto sube el riesgo por cada punto de IMC, con todo lo demás fijo: eso es literalmente un peso $w_j$.
• Resultado (75/25): RMSE de test = 56.4, $R^2 = 0.36$. Los pesos más grandes: bmi y s5 suben la progresión; s1 la baja.
• Lectura honesta: $R^2 = 0.36$ dice que el modelo explica un tercio de la variación: útil para entender factores, insuficiente para predecir a un paciente individual. Y un peso es asociación, no causalidad.

Glosario rápido

Término	Significado
Feature	variable de entrada que describe un ejemplo
Target (label)	el número que predecimos
Peso $w_j$ / sesgo $b$	cuánto cuenta la feature $j$ / nivel base
Predicción $\hat y$	la salida del modelo
Residual $r_i = y_i-\hat y_i$	real menos predicho, un ejemplo
MSE / RMSE	media de residuales² / su raíz (en unidades del target)
$R^2$	fracción de la variación explicada (1 = perfecto, 0 = como la media)

De una recta a un hiperplano

Con una feature el modelo es una recta $\hat y = wx + b$; con dos, un plano $\hat y = w_1x_1 + w_2x_2 + b$; con $d$, un hiperplano. Cada peso $w_j$ es la pendiente a lo largo de la feature $j$.

La matriz de diseño

Apilamos los ejemplos como filas y agregamos una columna de unos para absorber el sesgo ($w_0=b$):

$$\underbrace{\begin{bmatrix}1 & x_{11} & \cdots & x_{1,d-1}\\ 1 & x_{21} & \cdots & x_{2,d-1}\\ \vdots & & & \vdots\\ 1 & x_{n1} & \cdots & x_{n,d-1}\end{bmatrix}}_{\mathbf{X}\in\mathbb{R}^{n\times d}} \underbrace{\begin{bmatrix}w_0\\ w_1\\ \vdots\\ w_{d-1}\end{bmatrix}}_{\mathbf{w}\in\mathbb{R}^{d}} =\underbrace{\begin{bmatrix}\hat y_1\\ \hat y_2\\ \vdots\\ \hat y_n\end{bmatrix}}_{\hat{\mathbf{y}}\in\mathbb{R}^{n}} \qquad\Longleftrightarrow\qquad \hat{\mathbf{y}} = \mathbf{X}\mathbf{w}$$

Cada predicción es el producto punto de una fila con $\mathbf{w}$: $\hat y_i = \mathbf{x}_i^\top\mathbf{w}$. Las $n$ predicciones salen de una multiplicación de matrices.

¿Qué significa «cerca»? Residuales al cuadrado

El residual $r_i = y_i-\hat y_i$ es la brecha vertical entre el punto y la recta. Sumamos sus cuadrados por tres razones:

1. Los signos no se cancelan. Residuales crudos pueden sumar ≈ 0 incluso con una recta mala.
2. Los errores grandes pesan más. $r^2$ crece rápido: el ajuste se esfuerza en evitar errores grandes (y por eso es sensible a outliers).
3. Es conveniente. Una suma de cuadrados es suave y cuadrática ⇒ da una solución cerrada.

$$J(\mathbf{w}) = \sum_{i=1}^n (y_i-\hat y_i)^2 = \|\mathbf{y}-\mathbf{X}\mathbf{w}\|_2^2,\qquad \mathbf{w}^\star = \arg\min_\mathbf{w} J(\mathbf{w})$$

Mínimos cuadrados con tus manos

Mueve la pendiente w y el intercepto b hasta que el área total de los cuadrados (los residuales al cuadrado) sea mínima. Puedes arrastrar los puntos. Luego compara con la solución exacta de las ecuaciones normales.

pendiente w 0.4intercepto b 3

Resolver (ecuaciones normales)Agregar un outlier ver cuadradosDatos originales

tu recta ŷ = wx + bresidual rᵢ = yᵢ − ŷᵢ (y su cuadrado)

J(w,b) = Σ rᵢ²8.51

mínimo posible0.86

RMSE1.031

MAE0.887

R²0.709

$$w^\star = \frac{\sum (x_i-\bar x)(y_i-\bar y)}{\sum (x_i-\bar x)^2} = 0.823,\qquad b^\star = \bar y - w^\star \bar x = 1.236$$

Si R² < 0 tu recta es peor que predecir siempre la media ȳ = 4.94. Con 1 feature, las ecuaciones normales $\mathbf{X}^\top\mathbf{X}\mathbf{w}=\mathbf{X}^\top\mathbf{y}$ se reducen a la fórmula de arriba.

El costo es un bowl convexo

Expandiendo, $J$ es una cuadrática en $\mathbf{w}$:

$$J(\mathbf{w}) = \mathbf{w}^\top(\mathbf{X}^\top\mathbf{X})\mathbf{w} - 2(\mathbf{X}^\top\mathbf{y})^\top\mathbf{w} + \mathbf{y}^\top\mathbf{y}$$

La matriz de curvatura $\mathbf{X}^\top\mathbf{X}$ es semidefinida positiva: para todo $\mathbf{v}$, $\mathbf{v}^\top\mathbf{X}^\top\mathbf{X}\mathbf{v} = \|\mathbf{X}\mathbf{v}\|_2^2\ge 0$. Así que $J$ se curva hacia arriba en toda dirección: un solo bowl, sin mínimos locales peores que el global. Si además $\mathbf{X}^\top\mathbf{X}$ es definida positiva (features no colineales), el mínimo es único.

Pregunta del banco

«$J(\mathbf{w})=\|\mathbf{y}-\mathbf{X}\mathbf{w}\|_2^2$ es no convexa» → Falso, por el argumento de arriba.

Las ecuaciones normales (ruta del cálculo)

En el fondo del bowl todas las pendientes son 0. Derivando término a término (reglas $\nabla_\mathbf{w}(\mathbf{a}^\top\mathbf{w})=\mathbf{a}$ y $\nabla_\mathbf{w}(\mathbf{w}^\top\mathbf{M}\mathbf{w}) = 2\mathbf{M}\mathbf{w}$ para $\mathbf{M}$ simétrica):

$$\nabla_\mathbf{w}J = 2\mathbf{X}^\top\mathbf{X}\mathbf{w} - 2\mathbf{X}^\top\mathbf{y} = 2\mathbf{X}^\top(\mathbf{X}\mathbf{w}-\mathbf{y}) = -2\mathbf{X}^\top\mathbf{r}$$

Igualando a cero:

$$\boxed{\mathbf{X}^\top\mathbf{X}\,\mathbf{w} = \mathbf{X}^\top\mathbf{y}}\qquad\Longrightarrow\qquad \mathbf{w}^\star = (\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{y}$$

En la práctica

Se resuelve el sistema (np.linalg.solve, lstsq) en vez de invertir. Si $\mathbf{X}^\top\mathbf{X}$ es singular (features colineales, $d>n$) se usa la pseudo-inversa… o ridge, que suma $\lambda\mathbf{I}$ y la vuelve siempre invertible.

Derivar las ecuaciones normales, línea por línea

1. Escribe el costo como producto interno: $J(\mathbf{w}) = (\mathbf{y}-\mathbf{X}\mathbf{w})^\top(\mathbf{y}-\mathbf{X}\mathbf{w})$.
2. Distribuye: $J = \mathbf{y}^\top\mathbf{y} - \mathbf{y}^\top\mathbf{X}\mathbf{w} - \mathbf{w}^\top\mathbf{X}^\top\mathbf{y} + \mathbf{w}^\top\mathbf{X}^\top\mathbf{X}\mathbf{w}$.
3. Los dos términos del medio son el mismo escalar (un escalar es igual a su transpuesta): $J = \mathbf{y}^\top\mathbf{y} - 2(\mathbf{X}^\top\mathbf{y})^\top\mathbf{w} + \mathbf{w}^\top(\mathbf{X}^\top\mathbf{X})\mathbf{w}$.
4. Deriva con las dos reglas: $\nabla_\mathbf{w}(\mathbf{a}^\top\mathbf{w}) = \mathbf{a}$ y $\nabla_\mathbf{w}(\mathbf{w}^\top\mathbf{M}\mathbf{w}) = 2\mathbf{M}\mathbf{w}$ ($\mathbf{M}$ simétrica). Queda $\nabla J = -2\mathbf{X}^\top\mathbf{y} + 2\mathbf{X}^\top\mathbf{X}\mathbf{w}$.
5. Iguala a cero y divide entre 2: $\mathbf{X}^\top\mathbf{X}\mathbf{w} = \mathbf{X}^\top\mathbf{y}$ (ecuaciones normales).
6. Si $\mathbf{X}^\top\mathbf{X}$ es invertible (columnas linealmente independientes): $\mathbf{w}^\star = (\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{y}$. Como $J$ es convexa, este punto crítico es el mínimo global.

← AnteriorSiguiente paso →Ver todoReiniciar

La misma respuesta, vista como proyección (ruta geométrica)

Lee $\mathbf{X}$ por columnas: $\mathbf{X}\mathbf{w} = w_1\mathbf{a}_1 + \dots + w_d\mathbf{a}_d$. Cualquier predicción es una combinación de las columnas: vive en el espacio columna. El target $\mathbf{y}$ normalmente sobresale de ese plano; lo mejor que podemos hacer es el punto del plano más cercano a $\mathbf{y}$: su proyección ortogonal.

La predicción está atrapada en el plano de las columnas. El mejor ŷ es el punto del plano más cercano a y: su proyección ortogonal. La matriz sombrero H = X(XᵀX)⁻¹Xᵀ «le pone el gorro» a y y cumple H² = H.

Si $\hat{\mathbf{y}}$ es el punto más cercano, el residual es perpendicular a cada columna: $\mathbf{X}^\top\mathbf{r} = \mathbf{0}$, que son exactamente las ecuaciones normales. Dos derivaciones muy distintas (minimizar un bowl / bajar una perpendicular) llegan a lo mismo: por eso los mínimos cuadrados son tan centrales.

La matriz sombrero

Sustituyendo $\mathbf{w}^\star$: $\hat{\mathbf{y}} = \underbrace{\mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top}_{\mathbf{H}}\mathbf{y}$. $\mathbf{H}$ «pone el gorro» a $\mathbf{y}$. Es un proyector: $\mathbf{H}^2 = \mathbf{H}$ (proyectar dos veces = proyectar una), es simétrica, y $\mathbf{I}-\mathbf{H}$ proyecta sobre lo que sobra: $\mathbf{r} = (\mathbf{I}-\mathbf{H})\mathbf{y}$. Sus diagonales $H_{ii}$ son los leverages.

¿Por qué cuadrados? Máxima verosimilitud con ruido gaussiano

Modela cada target como recta + error aleatorio: $y_i = \mathbf{x}_i^\top\mathbf{w} + \varepsilon_i$, con $\varepsilon_i \overset{iid}{\sim}\mathcal N(0,\sigma^2)$. Cada $y_i$ es una muestra de una campana centrada en la recta. La verosimilitud es qué tan probables son los datos observados si la recta fuera $\mathbf{w}$:

$$L(\mathbf{w}) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(y_i-\mathbf{x}_i^\top\mathbf{w})^2}{2\sigma^2}\right) \quad\Longrightarrow\quad \log L(\mathbf{w}) = -\frac{1}{2\sigma^2}\sum_{i=1}^n (y_i-\mathbf{x}_i^\top\mathbf{w})^2 + \text{cte.}$$

El log es monótono (no mueve el maximizador) y convierte el producto en suma; la constante no depende de $\mathbf{w}$. Lo único que depende de $\mathbf{w}$ es $-\sum r_i^2$: maximizar la verosimilitud = minimizar la suma de cuadrados. Los mínimos cuadrados son lo que implica el ruido gaussiano, no una elección arbitraria. (Con ruido de Laplace saldría el error absoluto, más robusto a outliers.)

Cada punto es una muestra de una campana centrada en la recta

Suponemos yᵢ = w·xᵢ + b + εᵢ con ε ∼ 𝒩(0, σ²). Junto a cada punto se dibuja su campana; el segmento grueso es la altura de la campana en yᵢ (su verosimilitud). La verosimilitud total es el producto de esas alturas. Mueve la recta: cuando las alturas son grandes, los cuadrados son chicos.

w 0.5b 2.5σ del ruido 0.7Máxima verosimilitud

log-verosimilitud log L(w)suma de cuadrados SSE(w)máximo de log L = mínimo de SSE

SSE = Σ rᵢ²6.680

log L-10.752

óptimo (w, b)(0.90, 1.34)

log L = −n·log(σ√2π) − SSE/(2σ²). El primer término no depende de la recta, así que maximizar log L ⇔ minimizar SSE, para cualquier σ (mueve σ: las curvas cambian de altura pero el óptimo en w no se mueve). Por eso los mínimos cuadrados son «lo que implica» el ruido gaussiano.

Ejercicio

Tres puntos: $(0,1), (1,2), (2,2)$. Ajusta $\hat y = w_0 + w_1 x$ con las ecuaciones normales.

Solución paso a paso

$\mathbf{X} = \begin{bmatrix}1&0\\1&1\\1&2\end{bmatrix}$, $\mathbf{y} = (1,2,2)^\top$.

$\mathbf{X}^\top\mathbf{X} = \begin{bmatrix}3&3\\3&5\end{bmatrix}$, $\mathbf{X}^\top\mathbf{y} = \begin{bmatrix}5\\6\end{bmatrix}$.

Resolviendo $\begin{bmatrix}3&3\\3&5\end{bmatrix}\mathbf{w} = \begin{bmatrix}5\\6\end{bmatrix}$: de la resta de ecuaciones, $2w_1 = 1 \Rightarrow w_1 = 0.5$; luego $3w_0 + 1.5 = 5 \Rightarrow w_0 = 7/6 \approx 1.167$.

Residuales: $r = (1-1.167,\ 2-1.667,\ 2-2.167) = (-0.167,\ 0.333,\ -0.167)$. Verifica $\mathbf{X}^\top\mathbf{r} = (0,\ 0.333-0.333) = \mathbf{0}$ ✔ (ortogonalidad).

Verifica cualquier ejercicio

Calculadora: ecuaciones normales a mano

Edita los puntos (o agrega/quita). Cada matriz intermedia se recalcula: así puedes verificar tus ejercicios de examen. Con λ > 0 ves cómo ridge suma λ a la diagonal (sin penalizar el sesgo).

x₁y₁x₂y₂x₃y₃+ punto− puntoλ (ridge)

$$\mathbf{X} = \begin{bmatrix}1 & 0 \\ 1 & 1 \\ 1 & 2\end{bmatrix}\qquad \mathbf{y} = \begin{bmatrix}1 \\ 2 \\ 2\end{bmatrix}$$

$$\mathbf{X}^\top\mathbf{X} = \begin{bmatrix} n & \sum x_i\\ \sum x_i & \sum x_i^2\end{bmatrix} = \begin{bmatrix}3 & 3 \\ 3 & 5\end{bmatrix}\qquad \mathbf{X}^\top\mathbf{y} = \begin{bmatrix}\sum y_i\\ \sum x_iy_i\end{bmatrix} = \begin{bmatrix}5 \\ 6\end{bmatrix}$$

$$\det = 3\cdot5 - 3^2 = 6\qquad (\cdot)^{-1} = \frac{1}{6}\begin{bmatrix}5 & -3\\ -3 & 3\end{bmatrix}$$

$$\mathbf{w}^\star = (\cdot)^{-1}\mathbf{X}^\top\mathbf{y} = \begin{bmatrix}1.167 \\ 0.500\end{bmatrix}\quad\Rightarrow\quad \hat y = 1.167 + 0.500\,x$$

$$\mathbf{r} = \mathbf{y}-\mathbf{X}\mathbf{w}^\star = \begin{bmatrix}-0.167 \\ 0.333 \\ -0.167\end{bmatrix}\qquad \mathbf{X}^\top\mathbf{r} = \begin{bmatrix}0 \\ 0\end{bmatrix}$$

w₀ (intercepto)1.167

w₁ (pendiente)0.500

SSE0.167

Fíjate en Xᵀr = 0: el residual es perpendicular a las dos columnas de X (la de unos y la de x). Eso es exactamente lo que dicen las ecuaciones normales; la primera componente también implica que los residuales suman 0.

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. El residual del punto $i$ es…

a) $\hat y_i - y_i$b) $y_i - \hat y_i$c) $|y_i - \bar y|$d) $(y_i - \hat y_i)^2$

2. ¿Por qué $\mathbf{X}^\top\mathbf{X}$ garantiza un costo convexo?

a) Porque es invertible siempreb) Porque $\mathbf{v}^\top\mathbf{X}^\top\mathbf{X}\mathbf{v} = \|\mathbf{X}\mathbf{v}\|^2 \ge 0$c) Porque es diagonald) Porque tiene traza positiva

3. Geométricamente, $\hat{\mathbf{y}} = \mathbf{X}\mathbf{w}^\star$ es…

a) la proyección ortogonal de $\mathbf{y}$ sobre el espacio columna de $\mathbf{X}$b) el vector $\mathbf{y}$ normalizadoc) la media de las columnasd) el eigenvector principal

4. La matriz sombrero cumple…

a) $\mathbf{H}^2 = \mathbf{I}$b) $\mathbf{H}^2 = \mathbf{H}$c) $\mathbf{H}^\top = -\mathbf{H}$d) $\mathbf{H}\mathbf{y} = \mathbf{r}$

5. Minimizar la suma de cuadrados equivale a máxima verosimilitud si el ruido es…

a) uniformeb) gaussianoc) de Laplaced) Bernoulli

En código

import numpy as np
from sklearn.linear_model import LinearRegression

X1 = np.c_[np.ones(len(X)), X]                    # columna de unos = sesgo
w = np.linalg.solve(X1.T @ X1, X1.T @ y)          # ecuaciones normales (mejor que inv)
w_lstsq, *_ = np.linalg.lstsq(X1, y, rcond=None)  # robusto si XᵀX es casi singular

model = LinearRegression().fit(X, y)              # lo mismo con scikit-learn
print(model.intercept_, model.coef_)              # = w[0], w[1:]
H = X1 @ np.linalg.inv(X1.T @ X1) @ X1.T          # matriz sombrero (solo para n pequeño)
assert np.allclose(H @ H, H)                       # proyector: H² = H

↔ Conexiones con otros temas

Descenso de gradienteEl mismo gradiente −2Xᵀr, usado para dar pasos en vez de resolver.RidgeSumar λ a la diagonal de XᵀX: siempre invertible y menos varianza.LogísticaOtra MLE (Bernoulli) y otra vez el gradiente «error × feature».Kernel ridgeLa misma idea en un espacio de features enorme: α = (K + λI)⁻¹y.

Para profundizar

interactivoMLU-Explain · Linear RegressionRecta, residuales y MSE con animaciones al hacer scroll.libroISLR / ISLP (James et al.)Libro gratis, citado en las slides. Cap. 3, 4, 5, 6, 8 y 9 cubren todo el parcial.docsscikit-learn · Linear modelsOLS, Ridge, Lasso, LogisticRegression: fórmulas y parámetros reales.video3Blue1Brown · Essence of linear algebraMatrices como transformaciones, producto punto, eigenvectores: la base visual.

Fuente ·ML_Course_Linear_Regression.pdf (Lecture 02, slides 1–21) · ML_Course/session-02a-model-and-cost.ipynb · ML_Course/session-02b-normal-equations.ipynb