Sigmoide, odds y frontera de decisión

💡En simple: lee esto primero

Regresión logística = en vez de predecir un número, predice la probabilidad de que algo sea «sí» (spam, enfermo, aprobado…).

Imagínalo así

Es como un termómetro de confianza: el modelo suma pistas a favor y en contra, y la sigmoide convierte esa suma en un porcentaje entre 0 % y 100 %.

Lo que tienes que llevarte

• La sigmoide es una curva en forma de S que aplasta cualquier número al rango 0–1.
• Si la probabilidad pasa de 0.5 (o el umbral que elijas), dices «sí».
• La frontera de decisión es la línea que separa la zona del «sí» de la del «no»; en logística es recta.

Palabras raras de esta página

odds

«cuántas veces más probable es que sí a que no» (como en las apuestas: 3 a 1).

log-odds

el logaritmo de los odds; es lo que el modelo calcula como una suma simple.

umbral

el corte a partir del cual decides «sí».

frontera de decisión

la línea donde el modelo duda 50/50.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

Una pregunta distinta

Hasta ahora $\hat y\in\mathbb{R}$ (un dial). Ahora el target es una categoría: spam/no-spam, benigno/maligno, clic/no-clic (un interruptor). La etiqueta es solo un nombre; la codificamos $y\in\{0,1\}$ y queremos la probabilidad de la clase «1» y luego una decisión.

¿Por qué no ajustar una recta a los 0/1?

Tentador: mínimos cuadrados sobre $y\in\{0,1\}$ y umbral en 0.5. Tres cosas se rompen:

1. Se escapa de [0, 1]: predice 1.3 o −0.2, que no son probabilidades.
2. Un punto lejano la inclina: para achicar su residual enorme, la recta se aplana y arrastra el umbral.
3. Castiga tener razón: el error cuadrático sigue cobrándole a un punto seguro y correcto ($(\hat y-1)^2>0$).

Necesitamos una salida que viva en (0, 1) y una pérdida que deje de molestar una vez que el punto está firmemente bien. La sigmoide arregla 1 y 2 (se satura, así que un punto lejano casi no la mueve); la pérdida (cross-entropy) arregla 3.

La sigmoide

$$\sigma(z) = \frac{1}{1+e^{-z}},\qquad z = \mathbf{w}^\top\mathbf{x}+b$$

Toda su forma sale del término $e^{-z}>0$: con $z\to-\infty$, $\sigma\to0$; con $z=0$, $\sigma=\tfrac12$; con $z\to+\infty$, $\sigma\to1$. Es monótona y suave. Dos hechos que reutilizaremos:

$$\sigma(-z) = 1-\sigma(z)\qquad\qquad \sigma'(z) = \sigma(z)\big(1-\sigma(z)\big)$$

(la derivada es máxima en $z=0$ y se anula en las colas saturadas).

¿Por qué la sigmoide? Odds y log-odds

Un score lineal recorre todo $\mathbb{R}$; una probabilidad no. La idea: no apretar la recta, sino estirar $p$ sobre toda la recta real quitando sus dos bordes:

Vista	Rango	Qué hace
Probabilidad $p$	$(0,1)$	acotada en ambos lados
Odds $\frac{p}{1-p}$	$(0,\infty)$	«cuántas veces más probable que no»: 0.5→1, 0.75→3 (3:1), 0.9→9. Quita el techo
Log-odds $\log\frac{p}{1-p}$	$(-\infty,\infty)$	quita el piso y la vuelve simétrica (0.5 → 0)

Como el log-odds tiene el mismo rango que $z$, modelamos el log-odds como lineal y despejamos:

$$\log\frac{p}{1-p} = z\;\Rightarrow\;\frac{p}{1-p}=e^z\;\Rightarrow\;p = e^z(1-p)\;\Rightarrow\;p(1+e^z) = e^z\;\Rightarrow\;p=\frac{e^z}{1+e^z}=\frac{1}{1+e^{-z}}=\sigma(z)$$

La forma no es una elección: si el log-odds es lineal, la probabilidad tiene que ser la sigmoide.

Cada peso es un odds ratio

Subir $x_j$ en una unidad suma $w_j$ al log-odds, es decir multiplica los odds por $e^{w_j}$, sin importar las demás features. $w_j = 0.7 \Rightarrow e^{0.7}\approx 2$: una unidad más duplica los odds. $w_j=0$ los deja igual; $w_j<0$ los achica.

💳

Caso de uso · finanzasCredit scoring: por qué los bancos aman los odds ratios

Un banco estima la probabilidad de que un cliente no pague (default) con features como deuda/ingreso, atrasos previos y antigüedad laboral. Usa regresión logística, aunque existan modelos más complejos, por tres razones:

• Interpretable y auditable: el regulador exige explicar cada rechazo. Si el peso de «nº de atrasos en el último año» es $w = 0.69$, cada atraso adicional multiplica los odds de default por $e^{0.69} \approx 2$, con todo lo demás fijo.
• Probabilidad, no solo etiqueta: con $P(\text{default}\mid\mathbf{x})$ el banco fija la tasa de interés por riesgo o decide el umbral según cuánto cuesta un mal préstamo vs un buen cliente perdido.
• El umbral es de negocio: si perder un buen cliente cuesta S/ 300 y un default cuesta S/ 3 000, conviene rechazar cuando $P(\text{default}) > 300/(300+3000) \approx 0.09$, no 0.5.

Ejemplo con números: de score a decisión

1. Modelo ajustado: $z = -3 + 0.69\,\text{atrasos} + 2.0\,\text{deuda/ingreso}$.
2. Cliente A: 1 atraso, deuda/ingreso = 0.5 ⇒ $z = -3 + 0.69 + 1.0 = -1.31$ ⇒ $p = \sigma(-1.31) = 1/(1+e^{1.31}) \approx 0.21$.
3. Odds: $0.21/0.79 \approx 0.27$ (≈ 1 a 4). Log-odds: $\log 0.27 = -1.31 = z$ ✓.
4. Si el cliente tuviera un atraso más: $z = -0.62$, $p \approx 0.35$, odds $\approx 0.54$: los odds se duplicaron ($e^{0.69}$), aunque la probabilidad no se duplicó (0.21 → 0.35).
5. Decisión con umbral 0.5: aprobar (0.21 < 0.5). Con el umbral de negocio 0.09: rechazar. Mismo modelo, distinta decisión: el umbral se elige por costos.

← AnteriorSiguiente paso →Ver todoReiniciar

El modelo y la frontera

$$P(y=1\mid\mathbf{x}) = \sigma(\mathbf{w}^\top\mathbf{x}+b),\qquad \hat y = \begin{cases}1 & \text{si } \sigma(\mathbf{w}^\top\mathbf{x}+b)\ge 0.5 \iff \mathbf{w}^\top\mathbf{x}+b\ge 0\\ 0 & \text{si no}\end{cases}$$

La equivalencia vale porque $\sigma(0)=0.5$. La frontera $\mathbf{w}^\top\mathbf{x}+b=0$ es:

• con 1 feature, un punto $x^* = -b/w$;
• con 2, una recta (cortar la superficie de probabilidad con el plano $P=0.5$ y proyectar al piso);
• con $d$, un hiperplano.

La regresión logística es un clasificador lineal, aunque su superficie de probabilidad sea curva. La distancia a la frontera es la confianza: lejos, la curva se pega a 0 o 1; justo en $x^*$ es una moneda.

La sigmoide y su frontera

$P(y=1\mid x)=\sigma(wx+b)$. Cada barra vertical es la probabilidad que el modelo le da a la etiqueta verdadera de ese punto: el likelihood es el producto de las barras y la cross-entropy es −log de ese producto, promediado.

w (pendiente) 0.6b (sesgo) -1Máxima verosimilitud

clase 0clase 1σ(wx + b) y frontera x* = −b/wbarra = P(etiqueta verdadera)

frontera x*1.67

cross-entropy J0.503

accuracy (umbral 0.5)71%

odds ratio eʷ1.82

Mueve w: con w grande la sigmoide se vuelve un escalón (confianza extrema); con w < 0 se invierte. Si las clases fueran separables, la máxima verosimilitud empujaría w → ∞: por eso se regulariza con λ‖w‖². Cada unidad extra de x multiplica los odds por e^w = 1.82.

---

Probabilidad → odds → log-odds

probabilidad p 0.75

p ∈ (0, 1)0.75

odds p/(1−p) ∈ (0, ∞)3.00 : 1

log-odds ∈ (−∞, ∞)1.099

Dividir por 1−p quita el techo en 1; tomar log quita el piso en 0 y lo vuelve simétrico (p = 0.5 ↔ 0). Como el log-odds recorre todo ℝ, igual que $z=\mathbf{w}^\top\mathbf{x}+b$, lo modelamos como lineal; despejando p sale forzosamente la sigmoide.

Una neurona

Suma ponderada y luego la sigmoide. Apilada y repetida, esta pieza es una red neuronal (más adelante en el curso).

Preguntas del banco

• Una regresión lineal ajustada a $y\in\{0,1\}$ no sirve como probabilidad: no está acotada y un punto lejano mueve el umbral.
• Con umbral 0.5 se predice $\hat y=1$ si $\sigma(\mathbf{w}^\top\mathbf{x}+b)\ge0.5$. El modelo entrega $P(y=1\mid\mathbf{x})$ y la clase llega después; el umbral 0.5 es solo el corte por defecto, movible según lo que cueste cada error (no requiere clases balanceadas).

Ejercicio

$w = 0.7$, $b = -2.1$. ¿Frontera? ¿$P(y=1\mid x=5)$? ¿Cuánto cambian los odds si $x$ sube de 5 a 6?

Ver solución

• Frontera: $x^* = -b/w = 2.1/0.7 = 3$.
• $z = 0.7\cdot5-2.1 = 1.4$, $P = \sigma(1.4) = 1/(1+e^{-1.4}) \approx 0.802$.
• Odds × $e^{0.7}\approx 2.01$: pasan de $e^{1.4}\approx4.06$ a $e^{2.1}\approx8.17$ (se duplican).

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. Si $p = 0.75$, los odds son…

a) 0.75b) 3 (3:1)c) 1.1d) 0.25

2. $\sigma(0)$ vale…

a) 0b) 0.5c) 1d) $e$

3. La frontera de decisión de la regresión logística (sin features extra) es…

a) curvab) lineal: $\mathbf{w}^\top\mathbf{x}+b=0$c) un círculod) depende del umbral de forma no lineal

4. Con $w_j = 0$, subir $x_j$ en una unidad…

a) duplica los oddsb) deja los odds igualc) los anulad) los invierte

5. $\sigma'(z)$ es igual a…

a) $\sigma(z)^2$b) $\sigma(z)(1-\sigma(z))$c) $1-\sigma(z)$d) $e^{-z}$

En código

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
import numpy as np

clf = make_pipeline(StandardScaler(), LogisticRegression(C=1.0))  # C = 1/λ (L2)
clf.fit(X_tr, y_tr)
p = clf.predict_proba(X_val)[:, 1]          # P(y = 1 | x)
y_hat = (p >= 0.5).astype(int)              # umbral por defecto (¡movible!)

lr = clf[-1]
odds_ratios = np.exp(lr.coef_[0])           # efecto multiplicativo por 1 desviación estándar
x_star = -lr.intercept_[0] / lr.coef_[0][0] # frontera en 1-D (features estandarizadas)

↔ Conexiones con otros temas

LDA llega a la misma σDos gaussianas con Σ compartida dan exactamente P(y=1|x) = σ(wᵀx + b).Cómo se entrenaCross-entropy (MLE Bernoulli) y el gradiente (p − y)x.SoftmaxMás de dos clases: un score por clase; con K = 2 es la sigmoide.SVMTambién una frontera lineal, pero elegida por margen máximo, no por verosimilitud.

Para profundizar

interactivoMLU-Explain · Logistic RegressionSigmoide, log-odds y log-loss dibujados paso a paso.demoTensorFlow PlaygroundEntrena un clasificador en vivo; con 0 capas ocultas es una regresión logística.libroISLR / ISLP (James et al.)Libro gratis, citado en las slides. Cap. 3, 4, 5, 6, 8 y 9 cubren todo el parcial.docsscikit-learn · Linear modelsOLS, Ridge, Lasso, LogisticRegression: fórmulas y parámetros reales.

Fuente ·ML_Course_Logistic_Regression_and_Classification.pdf (slides 4–17) · ML_Course/session-04a-logistic-model.ipynb