Softmax (más de dos clases)

💡En simple: lee esto primero

Softmax = la versión de la logística para más de dos opciones: reparte el 100 % de probabilidad entre todas las clases.

Imagínalo así

Como una encuesta: cada candidato recibe un «puntaje de popularidad», y softmax los convierte en porcentajes que suman 100 %.

Lo que tienes que llevarte

• Cada clase tiene su propio puntaje; el más alto se lleva la mayor probabilidad.
• Con solo dos clases, softmax es exactamente la sigmoide.

Palabras raras de esta página

logit / score

el puntaje crudo de cada clase antes de convertirlo en probabilidad.

one-hot

escribir la clase correcta como [0, 1, 0]: un 1 en su lugar y 0 en el resto.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

Un score por clase

Para $K$ clases, cada una tiene sus propios pesos y score lineal $z_k = \mathbf{w}_k^\top\mathbf{x}+b_k$. La softmax los convierte en probabilidades positivas que suman 1:

$$p_k = \frac{e^{z_k}}{\sum_{j=1}^K e^{z_j}},\qquad \sum_k p_k = 1,\qquad \hat y = \arg\max_k p_k$$

Cada frontera entre un par de clases sigue siendo una recta (donde $z_i = z_j$): el plano queda partido en regiones convexas.

• Pérdida: cross-entropy con la etiqueta en one-hot ($y_k = 1$ solo para la clase verdadera): $\ell = -\sum_k y_k\log p_k = -\log p_{\text{verdadera}}$.
• Gradiente: $\partial\ell/\partial z_k = p_k - y_k$: otra vez la forma «residual» $\mathbf{p}-\mathbf{y}$.

Softmax: un score por clase

Cada clase tiene su propio score lineal $z_k=\mathbf{w}_k^\top\mathbf{x}+b_k$. La softmax los exponencia y normaliza para que sumen 1. Cambia los logits y la temperatura.

logit z (gato) 2logit z (perro) 1logit z (ave) -0.5

temperatura T 1

claseprobabilidad p_kp_k∂ℓ/∂z_k = p−ygato

0.690-0.310perro

0.2540.254ave

0.0570.057

predicción arg maxgato

Σ p_k1.000

cross-entropy −log p_y0.372

$$p_k=\frac{e^{z_k/T}}{\sum_j e^{z_j/T}}\qquad \ell = -\sum_k y_k\log p_k = -\log p_{\text{gato}} = 0.372$$

Suma la misma constante a los tres logits: las probabilidades no cambian (solo importan las diferencias). Con 2 clases, softmax se reduce exactamente a la sigmoide de $z_1-z_0$. El gradiente vuelve a ser p − y, la misma forma «residual» de la regresión lineal y la logística.

Regiones de softmax: arrastra los vectores de pesos

Cada clase tiene su vector wₖ (la flecha). El score es zₖ = wₖᵀx: gana la clase cuya flecha apunta más «hacia» x. La intensidad del color es la confianza (max pₖ). Haz clic en el plano para consultar un punto.

temperatura T (divide los logits) 1

gato

0.169

perro

0.722

ave

0.108

La frontera entre dos clases i, j es donde zᵢ = zⱼ, es decir (wᵢ − wⱼ)ᵀx = 0: una recta perpendicular a wᵢ − wⱼ. Por eso softmax (sin features extra) parte el plano en regiones convexas con bordes rectos. La temperatura no mueve las fronteras: solo cambia qué tan seguras son las probabilidades (T alto ⇒ más difusas).

✍️

Caso de uso · visiónReconocer dígitos escritos a mano (0–9)

El dataset digits del notebook 04d tiene imágenes de 8×8 píxeles (64 features) y 10 clases. Una regresión logística multinomial (softmax) aprende 10 vectores de pesos de 64 números: cada uno, visto como imagen 8×8, parece una «plantilla» difusa del dígito. Para una imagen nueva, cada clase calcula su score $z_k = \mathbf{w}_k^\top\mathbf{x}+b_k$ (cuánto se parece a su plantilla) y softmax los convierte en probabilidades.

• Accuracy de test típica ≈ 96%: un modelo lineal basta porque los píxeles ya separan bastante bien las clases.
• La matriz de confusión 10×10 muestra qué se confunde (8 con 1, 9 con 3…): la diagonal son los aciertos, como en el caso binario.
• Con un SVM RBF o una red neuronal se llega a ≈99%: el precio es menos interpretabilidad.

La sigmoide es softmax con K = 2

Con dos clases: $p_1 = \frac{e^{z_1}}{e^{z_0}+e^{z_1}} = \frac{1}{1+e^{-(z_1-z_0)}} = \sigma(z_1-z_0)$. Solo importa la diferencia de scores (sumar una constante a todos no cambia nada), así que la logística binaria con $z = z_1 - z_0$ es el caso particular. Un score por clase, softmax, cross-entropy: todo se traslada.

En la práctica

Se implementa de forma estable restando $\max_k z_k$ antes de exponenciar (no cambia el resultado y evita desbordes). En scikit-learn, LogisticRegression multiclase usa softmax (multinomial). El notebook 04d la aplica a los dígitos 0–9.

Ejercicio

Logits $z = (2,\ 1,\ 0)$, clase verdadera = la primera. Calcula $p$, la pérdida y el gradiente.

Ver solución

$e^z = (7.389,\ 2.718,\ 1)$, suma $= 11.107$. $p = (0.665,\ 0.245,\ 0.090)$.

$\ell = -\log 0.665 = 0.408$. Gradiente $p-y = (-0.335,\ 0.245,\ 0.090)$: sube el logit correcto y baja los demás, en proporción a cuánta probabilidad les dio el modelo.

Autoevaluación

0/3 correctas · 0 respondidas Reiniciar

1. Sumar 5 a todos los logits…

a) multiplica las probabilidades por $e^5$b) no cambia las probabilidadesc) hace que sumen 5d) cambia el arg max

2. Con $K=2$, softmax equivale a…

a) la ReLUb) la sigmoide de $z_1 - z_0$c) el hinged) un árbol de profundidad 1

3. El gradiente de la cross-entropy respecto al logit $z_k$ es…

a) $p_k(1-p_k)$b) $p_k - y_k$c) $-\log p_k$d) $y_k / p_k$

En código

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline
from sklearn.metrics import confusion_matrix

X, y = load_digits(return_X_y=True)                     # 1797 imágenes, 64 píxeles
X_tr, X_te, y_tr, y_te = train_test_split(X, y, stratify=y, random_state=0)
clf = make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000))  # multinomial
clf.fit(X_tr, y_tr)
print(clf.score(X_te, y_te))                            # ≈ 0.96
P = clf.predict_proba(X_te[:1])                         # 10 probabilidades que suman 1
W = clf[-1].coef_.reshape(10, 8, 8)                     # cada fila = «plantilla» 8×8

↔ Conexiones con otros temas

Cross-entropy binariaEl mismo gradiente p − y; softmax solo lo generaliza a K clases.SVM multiclaseEl SVM es intrínsecamente binario: one-vs-rest u one-vs-one + votación.Árboles multiclaseLos árboles manejan K clases gratis: Gini máximo = 1 − 1/K.

Para profundizar

apuntesStanford CS229 · Lecture notesNotas de Andrew Ng: GLMs, modelos generativos, SVM y kernels con derivaciones.docsscikit-learn · Linear modelsOLS, Ridge, Lasso, LogisticRegression: fórmulas y parámetros reales.

Fuente ·ML_Course_Logistic_Regression_and_Classification.pdf (slide 37) · ML_Course/session-04d-softmax-multiclass.ipynb