Cross-entropy y entrenamiento

💡En simple: lee esto primero

Para entrenar la regresión logística castigamos mucho cuando el modelo está muy seguro y se equivoca; eso es la cross-entropy.

Imagínalo así

Un alumno que dice «estoy 100 % seguro» y falla merece más castigo que uno que dijo «no estoy seguro». La cross-entropy cobra según qué tan confiado estabas en la respuesta equivocada.

Lo que tienes que llevarte

• No se usa error al cuadrado porque con la sigmoide el problema se vuelve difícil (con muchos valles).
• La cross-entropy (log-loss) da una superficie en forma de tazón: el descenso de gradiente siempre encuentra el fondo.
• El gradiente final es muy simple: (predicción − real) × dato.

Palabras raras de esta página

cross-entropy / log-loss

medida de error que castiga la confianza equivocada.

verosimilitud

qué tan probable hace el modelo los datos que realmente vimos. Queremos que sea alta.

separable

cuando una línea puede separar perfecto las clases; ahí los pesos crecen sin fin si no regularizas.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

¿Por qué no error cuadrático?

El error cuadrático sobre la salida de la sigmoide da una superficie no convexa: una cuenca y luego una meseta/bulto que atrapa al descenso de gradiente. Además el gradiente lleva el factor $\sigma'(z)=p(1-p)$, que casi vale 0 justo cuando el modelo está seguro y equivocado: aprende lentísimo cuando más debería corregir. La cross-entropy da un solo valle convexo.

¿Por qué no error cuadrático? Mira la superficie

Modelo p = σ(w·x) con un solo peso, sobre 7 puntos (uno de ellos está «del lado equivocado»). Las dos curvas están normalizadas para compararlas. Desde un mal inicio, se hacen 60 pasos de descenso de gradiente con la misma tasa.

peso inicial w₀ -6

cross-entropy (convexa: un valle)error² sobre σ (no convexa: mesetas)

w final · cross-entropy0.46

w final · error²-4.12

Empieza en w₀ = −6 o −10: el error² está en una meseta (σ saturada ⇒ σ′ ≈ 0 ⇒ gradiente ≈ 0) y el descenso casi no se mueve, aunque el modelo está seguro y equivocado. La cross-entropy castiga fuerte ese error (−log de algo ≈ 0) y su gradiente (p − y)x no se apaga: llega al mínimo desde cualquier inicio.

La verosimilitud de una etiqueta

La verosimilitud responde: ¿qué tan probables son los datos que vimos si este modelo fuera cierto? Es el mismo número que una probabilidad, pero leído como función de $(\mathbf{w},b)$ con los datos fijos.

Para un ejemplo, es la «barra»: la probabilidad que el modelo le da a su etiqueta verdadera. Con $p_i = \sigma(\mathbf{w}^\top\mathbf{x}_i+b)$:

$$P(y_i\mid\mathbf{x}_i) = \begin{cases}p_i & y_i = 1\\ 1-p_i & y_i=0\end{cases}\;=\;p_i^{\,y_i}(1-p_i)^{1-y_i}\qquad\text{(pmf de Bernoulli)}$$

Chequeo: $y_i=1 \Rightarrow p_i^1(1-p_i)^0 = p_i$; $y_i=0\Rightarrow 1-p_i$.

De la verosimilitud a la log-loss

Con ejemplos independientes, la probabilidad del dataset es el producto: $L(\mathbf{w},b)=\prod_i p_i^{y_i}(1-p_i)^{1-y_i}$. En vez de maximizarla, minimizamos $-\log L$. Tres ganancias: el log es creciente (mismo maximizador), convierte el producto (que se desborda a 0) en suma, y el signo menos vuelve «maximizar» en «minimizar una pérdida».

$$\begin{aligned} -\log L &= -\log\prod_i p_i^{y_i}(1-p_i)^{1-y_i} = -\sum_i \log\big[p_i^{y_i}(1-p_i)^{1-y_i}\big]\\ &= -\sum_i\big[\log p_i^{y_i} + \log(1-p_i)^{1-y_i}\big] = -\sum_i\big[y_i\log p_i + (1-y_i)\log(1-p_i)\big] \end{aligned}$$

Promediando:

$$\boxed{J(\mathbf{w},b) = -\frac1n\sum_{i=1}^n\big[y_i\log p_i + (1-y_i)\log(1-p_i)\big]}$$

Cada sumando es un interruptor: $y_i=1$ paga $-\log p_i$; $y_i=0$ paga $-\log(1-p_i)$. Minimizar la cross-entropy = máxima verosimilitud del modelo Bernoulli.

Qué premia la pérdida

• Seguro y correcto: pérdida ≈ 0.
• Seguro y equivocado: pérdida → ∞ (castigo durísimo).
• No basta con estar del lado correcto de la frontera: quiere confianza calibrada.

El gradiente, paso a paso

Un ejemplo: $\ell = -[y\log p + (1-y)\log(1-p)]$, con $p=\sigma(z)$, $z=\mathbf{w}^\top\mathbf{x}+b$. Regla de la cadena $\mathbf{x}\to z\to p\to\ell$:

$$\frac{\partial\ell}{\partial p} = -\Big[\frac{y}{p}-\frac{1-y}{1-p}\Big] = \frac{p-y}{p(1-p)},\qquad \frac{\partial p}{\partial z}=p(1-p) \;\;\Longrightarrow\;\;\frac{\partial\ell}{\partial z} = p-y$$

¡Los $p(1-p)$ se cancelan! Con $\partial z/\partial\mathbf{w}=\mathbf{x}$ y $\partial z/\partial b = 1$, promediando:

$$\nabla_\mathbf{w}J = \frac1n\sum_i (p_i-y_i)\mathbf{x}_i = \frac1n\mathbf{X}^\top(\mathbf{p}-\mathbf{y}),\qquad \frac{\partial J}{\partial b} = \frac1n\sum_i(p_i-y_i)$$

Exactamente la forma de la regresión lineal: «error × feature», con $\mathbf{p}-\mathbf{y}$ en lugar del residual. Pero ahora no hay forma cerrada (la sigmoide es no lineal), así que se itera $\mathbf{w}\leftarrow\mathbf{w}-\eta\nabla J$.

Una iteración de entrenamiento con números (3 puntos)

1. Datos: $x = (-1,\ 0.5,\ 2)$, $y = (0,\ 1,\ 1)$. Modelo $p = \sigma(wx + b)$, inicio $w = 0$, $b = 0$ ⇒ $p = (0.5,\ 0.5,\ 0.5)$.
2. Pérdida: cada punto paga $-\log 0.5 = 0.693$; $J = 0.693$ (el valor de «no saber nada» con dos clases).
3. Errores $p - y = (0.5,\ -0.5,\ -0.5)$. Gradientes: $\partial J/\partial w = \frac13[(0.5)(-1) + (-0.5)(0.5) + (-0.5)(2)] = \frac13(-1.75) = -0.583$ y $\partial J/\partial b = \frac13(0.5-0.5-0.5) = -0.167$.
4. Paso con $\eta = 1$: $w = 0.583$, $b = 0.167$.
5. Nuevas probabilidades: $z = (-0.417,\ 0.458,\ 1.333)$ ⇒ $p = (0.397,\ 0.613,\ 0.791)$. Ahora todas del lado correcto del 0.5.
6. Nueva pérdida: $-\frac13[\log(1-0.397) + \log 0.613 + \log 0.791] = \frac13(0.506 + 0.489 + 0.234) = 0.410$. Bajó de 0.693 a 0.410 en un paso.

← AnteriorSiguiente paso →Ver todoReiniciar

Convexa… y finita gracias a la regularización

La Hessiana es $\nabla^2 J = \frac1n\sum_i p_i(1-p_i)\,\mathbf{x}_i\mathbf{x}_i^\top\succeq 0$: una suma con pesos no negativos de productos externos, semidefinida positiva en todas partes ⇒ un bowl, el descenso no se atasca.

Clases separables

Si las clases son linealmente separables, sin regularizar los pesos se van a $\infty$ (sigmoides cada vez más afiladas, la verosimilitud siempre puede subir). Solución: sumar $\lambda\|\mathbf{w}\|_2^2$, el mismo término de ridge: mantiene $\mathbf{w}$ finito, vuelve $J$ estrictamente convexa (mínimo único), y λ se elige por CV. Estandariza antes.

Mira a la frontera acomodarse

Descenso de gradiente por lotes desde un inicio deliberadamente malo. El color es P(y = 1 | x); la línea blanca es la frontera wᵀx + b = 0. El gradiente es Xᵀ(p − y)/n: «error × feature», igual que en regresión lineal.

Pérdida: cross-entropyPérdida: error² sobre σ

η 0.5λ (L2) 0separación de clases 3

EntrenarUn paso+50 pasosReiniciarNuevos datos

clase 0clase 1frontera (P = 0.5)

iteraciones0

pérdida2.4131

accuracy42%

‖w‖2.56

La cross-entropy es convexa: baja monótonamente. Separa mucho las clases con λ = 0 y deja entrenar: ‖w‖ crece sin límite (sigmoides cada vez más afiladas). Con λ > 0 se estabiliza.

Ejercicio

Un punto con $y=1$ y $p=0.2$. Calcula su pérdida y el gradiente respecto a $z$. Repite con $p=0.99$.

Ver solución

• $p=0.2$: $\ell=-\log 0.2 = 1.609$; $\partial\ell/\partial z = p-y = -0.8$ (empuja fuerte a subir $z$).
• $p=0.99$: $\ell = -\log0.99 = 0.010$; $\partial\ell/\partial z = -0.01$ (casi no empuja: ya está bien).

Con error cuadrático $(p-y)^2$, el gradiente sería $2(p-y)p(1-p)$: para $p=0.2$ da $2(-0.8)(0.16) = -0.256$, y para un punto con $p=0.01$ (seguro y equivocado) solo $-0.0196$: casi no aprende.

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. Minimizar la cross-entropy equivale a…

a) minimizar el error cuadráticob) maximizar la verosimilitud Bernoullic) maximizar el margend) minimizar $\|w\|$

2. El gradiente de la cross-entropy respecto a $\mathbf{w}$ es…

a) $\frac1n X^\top(y - Xw)$b) $\frac1n X^\top(p - y)$c) $p(1-p)x$d) $-2X^\top r$

3. ¿Por qué no se usa error cuadrático sobre la sigmoide?

a) porque no es derivableb) porque da una superficie no convexa y gradientes que se apaganc) porque es muy lento de calculard) porque da probabilidades negativas

4. Con clases linealmente separables y $\lambda = 0$…

a) converge a un $w$ finito únicob) $\|w\| \to \infty$c) el gradiente es cero desde el iniciod) la frontera no existe

5. ¿La regresión logística tiene forma cerrada como OLS?

a) Síb) No, se entrena iterativamente

En código (NumPy, desde cero)

import numpy as np

def sigmoid(z):
    return np.where(z >= 0, 1 / (1 + np.exp(-z)), np.exp(z) / (1 + np.exp(z)))  # estable

def fit_logistic(X, y, eta=0.5, iters=2000, lam=0.0):
    w, b = np.zeros(X.shape[1]), 0.0
    n = len(y)
    for _ in range(iters):
        p = sigmoid(X @ w + b)
        w -= eta * (X.T @ (p - y) / n + 2 * lam * w)   # «error × feature» + ridge
        b -= eta * np.mean(p - y)                        # el sesgo no se penaliza
    return w, b

def cross_entropy(X, y, w, b, eps=1e-12):
    p = np.clip(sigmoid(X @ w + b), eps, 1 - eps)
    return -np.mean(y * np.log(p) + (1 - y) * np.log(1 - p))

↔ Conexiones con otros temas

MSE = MLE gaussianaEl mismo razonamiento de verosimilitud, con otro modelo de ruido.RidgeEl λ‖w‖² que estabiliza la logística es literalmente el de ridge.Hinge vs logísticaLa hinge llega exactamente a 0; la logística nunca, todo punto sigue tirando.Entropía en árbolesLa log-loss de la mejor constante de una hoja es su entropía.

Para profundizar

interactivoMLU-Explain · Logistic RegressionSigmoide, log-odds y log-loss dibujados paso a paso.apuntesStanford CS229 · Lecture notesNotas de Andrew Ng: GLMs, modelos generativos, SVM y kernels con derivaciones.docsscikit-learn · Linear modelsOLS, Ridge, Lasso, LogisticRegression: fórmulas y parámetros reales.

Fuente ·ML_Course_Logistic_Regression_and_Classification.pdf (slides 18–28) · ML_Course/session-04b-training-from-scratch.ipynb