Geometría y margen máximo

💡En simple: lee esto primero

SVM busca la línea que separa las clases dejando el «pasillo» más ancho posible entre ellas.

Imagínalo así

Quieres trazar una carretera entre dos pueblos sin tocar ninguna casa. De todas las posibles, eliges la que deja la mayor distancia libre a ambos lados: así hay más margen de error.

Lo que tienes que llevarte

• El margen es el ancho del pasillo vacío entre las clases. SVM lo hace lo más ancho posible.
• Solo importan los puntos que tocan el borde del pasillo: los vectores de soporte.
• Las etiquetas se escriben como +1 y −1 (no 1 y 0) porque simplifica las fórmulas.

Palabras raras de esta página

hiperplano

una «línea recta» en cualquier número de dimensiones (recta en 2D, plano en 3D…).

margen

la distancia desde la frontera hasta los puntos más cercanos.

vector de soporte

cada punto pegado al borde del pasillo; son los que «sostienen» la frontera.

margen duro

no se permite ningún error: todos los puntos fuera del pasillo.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

¿Qué recta apostarías?

La logística y LDA terminan trazando una recta, pero ninguna pregunta cuál recta es la más segura. Cuando las clases son separables, infinitas rectas logran 100% en entrenamiento: la accuracy de entrenamiento no puede elegir. Pero discrepan en todo el resto del espacio, y ahí viven los puntos de test.

Una recta que roza un punto es frágil: mueve un poco ese punto y la predicción cambia. Una recta con espacio a ambos lados tolera el empujón. El SVM elige la recta con más espacio vacío alrededor: el margen máximo.

Notación (¡un cambio!)

$y_i\in\{-1,+1\}$ (antes $\{0,1\}$), $f(\mathbf{x}) = \mathbf{w}^\top\mathbf{x}+b$ el score, $\hat y = \operatorname{sign}f(\mathbf{x})$. El relabel hace que un producto reemplace un chequeo de dos casos:

$$y_i\,f(\mathbf{x}_i) > 0 \iff \text{el punto } i \text{ está bien clasificado}$$

Tres hechos vectoriales (todo el kit)

1. Longitud y vector unitario. $\|\mathbf{w}\| = \sqrt{\mathbf{w}^\top\mathbf{w}}$; $\hat{\mathbf{w}} = \mathbf{w}/\|\mathbf{w}\|$ tiene longitud 1 (dirección pura). Caminar $t$ unidades a lo largo de $\hat{\mathbf{w}}$ recorre exactamente $t$.
2. El producto punto es una sombra. $\mathbf{w}^\top\mathbf{x}/\|\mathbf{w}\| = \|\mathbf{x}\|\cos\theta$: cuánto avanza $\mathbf{x}$ en la dirección de $\mathbf{w}$.
3. $\mathbf{w}$ es perpendicular a su frontera. Si $\mathbf{p},\mathbf{q}$ están en $H=\{\mathbf{x}:\mathbf{w}^\top\mathbf{x}+b=0\}$, restando $\mathbf{w}^\top\mathbf{p}+b=0$ y $\mathbf{w}^\top\mathbf{q}+b=0$ queda $\mathbf{w}^\top(\mathbf{q}-\mathbf{p})=0$: $\mathbf{w}$ es la normal de $H$.

Distancia de un punto a la frontera, derivada

Baja una perpendicular de $\mathbf{x}$ a $H$; cae en $\mathbf{x}_p$. Ese viaje es a lo largo de la normal: $\mathbf{x} = \mathbf{x}_p + r\,\hat{\mathbf{w}}$ para un único número con signo $r$. Metiéndolo en el score:

$$f(\mathbf{x}) = \mathbf{w}^\top(\mathbf{x}_p + r\hat{\mathbf{w}}) + b = \underbrace{(\mathbf{w}^\top\mathbf{x}_p+b)}_{=0,\ \mathbf{x}_p\in H} + r\,\frac{\mathbf{w}^\top\mathbf{w}}{\|\mathbf{w}\|} = r\|\mathbf{w}\| \quad\Longrightarrow\quad \boxed{r = \frac{\mathbf{w}^\top\mathbf{x}+b}{\|\mathbf{w}\|}}$$

¡El pie $\mathbf{x}_p$ se borró solo! El signo de $r$ dice de qué lado está el punto; $|r|$ es la distancia geométrica real. El score crudo $f$ no es una distancia: dividir por $\|\mathbf{w}\|$ lo convierte (un paso a lo largo de $\hat{\mathbf{w}}$ sube el score exactamente $\|\mathbf{w}\|$).

Ejemplo: $\mathbf{w}=(1,1)$, $b=-1$, $\|\mathbf{w}\|=\sqrt2$. $r(2,0) = (2+0-1)/\sqrt2 = +0.707$; $r(0,0) = -1/\sqrt2 = -0.707$.

Distancias con números: w = (3, 4), b = −5

1. $\Vert\mathbf{w}\Vert = \sqrt{3^2+4^2} = 5$; el vector unitario normal es $\hat{\mathbf{w}} = (0.6,\ 0.8)$.
2. Punto $\mathbf{x} = (3,\ 4)$: score $f = 9 + 16 - 5 = 20$ ⇒ distancia $r = 20/5 = 4$ (lado positivo).
3. Punto $\mathbf{x} = (0,\ 0)$: $f = -5$ ⇒ $r = -1$ (lado negativo, a 1 unidad).
4. El pie de la perpendicular desde $(3,4)$: $\mathbf{x}_p = \mathbf{x} - r\hat{\mathbf{w}} = (3,4) - 4(0.6, 0.8) = (0.6,\ 0.8)$. Chequeo: $3(0.6)+4(0.8)-5 = 0$ ✓ está en la frontera.
5. Si escalas a $(6, 8, -10)$, el score de $(3,4)$ pasa a 40 pero la distancia sigue siendo $40/10 = 4$: el margen geométrico no depende de la escala.
6. En forma canónica (el punto más cercano con $\lvert f\rvert = 1$), la banda mide $2/\Vert\mathbf{w}\Vert$: con $\mathbf{w} = (3,4)$, $2/5 = 0.4$.

← AnteriorSiguiente paso →Ver todoReiniciar

Margen funcional vs geométrico

	Fórmula	Qué es
Funcional $\hat\gamma_i$	$y_i f(\mathbf{x}_i)$	valor de la función: el sombrero avisa «todavía no es distancia»
Geométrico $\gamma_i$	$\hat\gamma_i/\Vert \mathbf{w}\Vert = y_i\,r(\mathbf{x}_i)$	distancia real con signo, positiva si el punto está bien

Multiplica $\mathbf{w}^\top\mathbf{x}+b=0$ por $c>0$: misma recta, pero $\hat\gamma$ se multiplica por $c$ y $\gamma$ no cambia. Por eso «maximizar el margen funcional» no tiene sentido (basta escalar $\mathbf{w}$). El margen del dataset es el menor margen geométrico, $\gamma=\min_i\gamma_i$, y es lo que maximizamos. ($c$ negativo cambiaría qué lado es «positivo».)

Gastar la libertad: normalización canónica

Como $(\mathbf{w},b)$ tiene escala libre, elegimos la que deja el álgebra limpia:

$$\min_i\; y_i(\mathbf{w}^\top\mathbf{x}_i+b) = 1$$

Los puntos más cercanos tienen margen funcional exactamente 1, la condición «todos bien» es $y_i(\mathbf{w}^\top\mathbf{x}_i+b)\ge1$, y las rectas punteadas son $f=\pm1$. Ese 1 no es mágico: es una unidad que elegimos, como elegir medir en metros.

¿Qué tan ancha es la banda? $2/\|\mathbf{w}\|$

Desde la recta $-1$, camina $t$ a lo largo de $\hat{\mathbf{w}}$: el score sube $t\|\mathbf{w}\|$. Para llegar a $+1$ debe subir 2 ⇒ $t = 2/\|\mathbf{w}\|$. Intuición: el score es una rampa; $\|\mathbf{w}\|$ es su pendiente. Rampa empinada ⇒ banda angosta; rampa plana ⇒ banda ancha. Ensanchar el margen = aplanar la rampa manteniendo cada punto a altura ≥ 1 de su lado.

El margen, pieza por pieza

Controla la dirección de w (siempre perpendicular a la frontera), dónde cae la frontera y el tamaño ‖w‖. Las rectas punteadas son f(x) = ±1: su separación es 2/‖w‖. El número junto a cada punto es su margen geométrico γᵢ = yᵢ f(xᵢ)/‖w‖.

Ejemplo de la clase (3 + 1 puntos)Nube separable

dirección de w (grados) 20posición de la frontera 1.2‖w‖ (escala) 1

Máximo margen (SVM)Normalización canónica (min yᵢf = 1)

y = +1y = −1frontera wᵀx + b = 0f(x) = ±1 (ancho 2/‖w‖)

w(0.94, 0.34)

b-1.20

min margen funcional-0.516

margen geométrico γ-0.516

banda 2/‖w‖2.000

½‖w‖²0.500

Algún punto tiene margen negativo: está del lado equivocado. El producto yᵢ·f(xᵢ) > 0 reemplaza el chequeo de dos casos.

El SVM de margen duro

$$\max_{\mathbf{w},b}\frac{2}{\|\mathbf{w}\|}\ \ \text{s.a.}\ \ y_i(\mathbf{w}^\top\mathbf{x}_i+b)\ge1 \qquad\Longleftrightarrow\qquad \boxed{\min_{\mathbf{w},b}\ \tfrac12\|\mathbf{w}\|^2\ \ \text{s.a.}\ \ y_i(\mathbf{w}^\top\mathbf{x}_i+b)\ge 1\ \ \forall i}$$

Pasar de $2/t$ a $t$, a $t^2$ y a $\tfrac12t^2$ son transformaciones estrictamente monótonas: el argmin no se mueve. $\tfrac12\|\mathbf{w}\|^2$ es una cuadrática suave y convexa (sin raíz), con gradiente $\mathbf{w}$ (el ½ está solo para cancelar el 2).

¿Qué tipo de problema es? Objetivo convexo + restricciones lineales (intersección de semiespacios, también convexa) = programa cuadrático (QP): todo mínimo local es global; sin reinicios aleatorios. Margen duro = restricciones innegociables: si las clases no son separables, el problema es infactible (no tiene respuesta). Se arregla con holguras.

Los vectores de soporte

En el óptimo cada restricción está activa ($y_if(\mathbf{x}_i)=1$, el punto toca una recta de margen) o inactiva ($>1$, estrictamente fuera de la banda). Las activas son los vectores de soporte. Mueve un punto inactivo, mientras siga fuera de la banda, y la frontera no se mueve ni un milímetro.

Una carpa se sostiene con unos pocos postes. Mueve una silla dentro de la carpa y la lona no se mueve; mueve un poste y cambia toda. Los vectores de soporte son los postes.

Consecuencias: el modelo se guarda como unos pocos puntos con pesos; predecir cuesta proporcional al nº de vectores de soporte; y el SVM es sensible a los puntos más cercanos a la frontera (justo los más propensos a estar mal etiquetados).

La carpa y sus postes: arrastra los puntos

El SVM de margen máximo se recalcula en cada movimiento. Arrastra un punto sin anillo (no es vector de soporte): mientras no entre en la banda, la frontera no se mueve. Arrastra un punto con anillo: toda la frontera cambia.

Restaurar

y = +1y = −1frontera; anillo = vector de soporte (αᵢ > 0)

w(1.00, 1.00)

b-1.00

banda 2/‖w‖1.414

vectores de soporte3

Por la holgura complementaria αᵢ[yᵢf(xᵢ) − 1] = 0, todo punto estrictamente fuera de la banda tiene αᵢ = 0 y no aparece en w = Σ αᵢyᵢxᵢ. Por eso el modelo final se guarda con muy pocos puntos y predecir es barato. La contracara: el SVM es sensible a los puntos cercanos a la frontera (justo los más probables de estar mal etiquetados).

🧬

Caso de uso · texto · bioinformáticaClasificar textos y genes: el terreno natural del SVM

Los SVM lineales fueron durante años el estándar para clasificación de texto (categorizar noticias, detectar opiniones): cada documento es un vector de decenas de miles de palabras, mucho más features que ejemplos. En ese régimen casi siempre existe un hiperplano que separa, y la pregunta del SVM, ¿cuál es el más seguro?, es exactamente la correcta: maximizar el margen controla el sobreajuste aunque $d \gg n$.

Lo mismo en expresión génica (clasificar tumores con 20 000 genes y 100 pacientes): el SVM lineal regularizado por el margen da buenos resultados y los vectores de soporte señalan los casos «frontera», útiles para revisión clínica.

El ejemplo de tres puntos, en papel

$\mathbf{x}_1=(2,0),\ y_1=+1$; $\mathbf{x}_2=(0,2),\ y_2=+1$; $\mathbf{x}_3=(0,0),\ y_3=-1$.

Resolverlo

Por simetría entre ejes, la frontera es perpendicular a $(1,1)$: $\mathbf{w}=a(1,1)$, $a>0$. Con los tres puntos sobre sus rectas de margen:

• $y_3 f(\mathbf{x}_3) = -(0+b) = 1 \Rightarrow b=-1$.
• $y_1 f(\mathbf{x}_1) = 2a+b = 1 \Rightarrow a = 1$.

$\mathbf{w}=(1,1)$, $b=-1$, frontera $x_1+x_2=1$. Verificación: $y_1f=2-1=1$ ✓, $y_2f = 1$ ✓, $y_3f = 1$ ✓. Banda $=2/\sqrt2=\sqrt2\approx1.414$; objetivo $\tfrac12\|\mathbf{w}\|^2 = 1$.

¿Podría existir una banda más ancha? No: $(0,0)$ y $(2,0)$ están a 2 de distancia… y la frontera también debe esquivar $(0,2)$. Empujarla hacia cualquier clase viola una restricción.

Un cuarto punto $\mathbf{x}_4=(3,3)$, $y_4=+1$: $y_4f = 6-1 = 5>1$, muy fuera de la banda ⇒ no cambia nada ($\alpha_4 = 0$, lo veremos en el dual).

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. La distancia con signo de $\mathbf{x}$ a $\mathbf{w}^\top\mathbf{x}+b=0$ es…

a) $\mathbf{w}^\top\mathbf{x}+b$b) $(\mathbf{w}^\top\mathbf{x}+b)/\|\mathbf{w}\|$c) $\|\mathbf{x}\|$d) $b/\|\mathbf{w}\|$

2. Si multiplicas $(\mathbf{w}, b)$ por 3…

a) el margen geométrico se triplicab) el margen funcional se triplica y el geométrico no cambiac) la frontera se mueved) la banda se ensancha

3. Sobre $\tfrac12\|\mathbf{w}\|^2$, ¿qué es VERDADERO?

a) se minimiza $\|\mathbf{w}\|$ porque la raíz facilita derivarb) el ancho de la banda es $\|\mathbf{w}\|/2$c) no cambia la solución y deja un objetivo cuadrático, convexo y suave de gradiente $\mathbf{w}$d) el 1 de la restricción es una constante que no se puede elegir

4. En margen duro, los vectores de soporte son…

a) todos los puntosb) los puntos con restricción activa, justo sobre una recta de margenc) los más lejanosd) los mal clasificados

5. Si las clases no son linealmente separables, el SVM de margen duro…

a) converge igualb) es infactiblec) usa automáticamente un kerneld) da margen negativo

↔ Conexiones con otros temas

Producto puntoLa proyección y la norma son todo el kit geométrico del SVM.Lagrange y el dualPor qué solo los vectores de soporte importan: es un teorema (KKT).LogísticaTambién frontera lineal, pero elegida por verosimilitud; todos los puntos influyen.RidgeMinimizar ½‖w‖² es la misma penalización L2.

Para profundizar

videoStatQuest · SVM Part 1: Main IdeasMargen máximo, margen suave y la intuición de los kernels.docsscikit-learn · SVMSVC, kernels, C y γ, one-vs-one; incluye la formulación del dual.apuntesStanford CS229 · Lecture notesNotas de Andrew Ng: GLMs, modelos generativos, SVM y kernels con derivaciones.

Fuente ·ML_Course_SVM.pdf (Lecture 06, slides 3–30) · ML_Course/session-06a-margin-and-soft-margin.ipynb