El truco del kernel

💡En simple: lee esto primero

Si los datos no se pueden separar con una recta, los «levantamos» a más dimensiones donde sí se puede; el truco del kernel hace eso sin calcularlo de verdad.

Imagínalo así

Tienes monedas rojas en el centro de una mesa y azules alrededor: ninguna recta las separa. Pero si das un golpe y las rojas saltan, en el aire (3D) una hoja plana las separa. El kernel calcula «cómo se verían en el aire» sin hacerlas saltar.

Lo que tienes que llevarte

• Un mapa de features transforma cada punto en uno con más coordenadas (x → x, x², …).
• Un kernel es un atajo: da directamente la similitud entre dos puntos en ese espacio grande, sin construirlo.
• Funciona porque SVM (en su forma dual) solo necesita similitudes entre pares de puntos.

Palabras raras de esta página

kernel

una función que mide qué tan parecidos son dos puntos (en un espacio «escondido»).

mapa de features (φ)

la transformación que agrega dimensiones.

matriz de Gram

la tabla con la similitud de cada par de puntos.

semidefinida positiva

condición técnica para que una función sea un kernel válido (que se porte como una similitud «honesta»).

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

El enganche que dejamos en el dual

Tanto el entrenamiento como la predicción del SVM tocan los datos solo a través de productos internos:

$$W(\boldsymbol\alpha) = \sum_i\alpha_i-\frac12\sum_{i,j}\alpha_i\alpha_jy_iy_j\underbrace{\mathbf{x}_i^\top\mathbf{x}_j}_{\text{producto interno}},\qquad f(\mathbf{x}) = \sum_i\alpha_iy_i\underbrace{\mathbf{x}_i^\top\mathbf{x}}_{\text{producto interno}}+b$$

Ninguna coordenada cruda aparece sola. Si pudiéramos calcular productos internos en un espacio más rico sin visitarlo, el SVM trazaría una frontera ahí, y esa frontera, vista desde casa, sería curva. Ese es todo el plan.

Primero, un mapa de features honesto

Dos anillos concéntricos: está demostrado que ninguna recta los separa. Aplica $\phi(\mathbf{x}) = (x_1^2,\ \sqrt2\,x_1x_2,\ x_2^2)$ a cada punto (o, en la versión de la sesión 07, $\phi(\mathbf{x}) = (x_1, x_2, x_1^2+x_2^2)$): un plano los separa limpiamente. Traducido de vuelta, el plano $\phi_1+\phi_3 = 2$ es $x_1^2+x_2^2=2$: un círculo de radio $\sqrt2$.

El SVM nunca aprendió nada curvo. Trazó una superficie perfectamente plana, en un espacio donde «plano» significa «círculo» al volver a casa. Todo método de kernels funciona así.

El problema: un mapa de grado 2 en $d$ dimensiones necesita $\sim d^2/2$ features; grado $p$, $\sim d^p$. Con $d=1000$ y $p=3$, medio billón de números por punto. Construir $\phi$ no escala.

El truco: el producto interno sin el mapa

Para ese $\phi$ de grado 2:

$$\phi(\mathbf{x})^\top\phi(\mathbf{z}) = x_1^2z_1^2+2x_1x_2z_1z_2+x_2^2z_2^2 = (x_1z_1+x_2z_2)^2 = (\mathbf{x}^\top\mathbf{z})^2$$

Con números, $\mathbf{x}=(1,2)$, $\mathbf{z}=(3,-1)$: ruta barata $\mathbf{x}^\top\mathbf{z} = 3-2 = 1$, al cuadrado 1. Ruta cara $\phi(\mathbf{x}) = (1, 2\sqrt2, 4)$, $\phi(\mathbf{z}) = (9,-3\sqrt2,1)$, producto $9-12+4 = 1$. ✓ La ruta barata cuesta $O(d)$ y nunca construye el vector levantado; el ahorro crece sin límite con el grado.

Lo mismo con $K(\mathbf{x},\mathbf{x}')=(1+\mathbf{x}^\top\mathbf{x}')^2$: expandiendo aparece $\phi(\mathbf{x}) = (1,\sqrt2x_1,\sqrt2x_2,x_1^2,x_2^2,\sqrt2x_1x_2)$, un producto de 6 dimensiones calculado con un escalar al cuadrado.

El truco, enunciado

Un kernel es una función $K(\mathbf{x},\mathbf{x}')$ que es igual a $\phi(\mathbf{x})^\top\phi(\mathbf{x}')$ para algún mapa $\phi$. Reemplaza cada $\mathbf{x}_i^\top\mathbf{x}_j$ del dual por $K(\mathbf{x}_i,\mathbf{x}_j)$ y el SVM ajusta un hiperplano de margen máximo en el espacio $\phi$ sin calcular una sola coordenada de $\phi$:

$$\max_{\boldsymbol\alpha}\sum_i\alpha_i-\frac12\sum_{i,j}\alpha_i\alpha_jy_iy_j\,K(\mathbf{x}_i,\mathbf{x}_j),\qquad f(\mathbf{x}) = \sum_i\alpha_iy_i\,K(\mathbf{x}_i,\mathbf{x})+b$$

Todo lo demás (restricciones, casos KKT, esparcidad, convexidad) se traslada tal cual. El algoritmo ni se entera de que cambió de espacio.

Pregunta del banco

«El kernel trick consiste en construir explícitamente $\phi(\mathbf{x})$ y luego calcular el producto interno» → Falso. Es exactamente lo contrario: se evalúa $K$ directamente, sin formar $\phi$. Por eso funciona aunque $\phi$ sea enorme o de dimensión infinita.

🔬

Caso de uso · investigaciónCuando no hay vectores: kernels sobre textos y moléculas

El truco tiene una consecuencia profunda: el SVM no necesita coordenadas, solo una función de similitud válida $K$. Eso permite clasificar objetos que no son vectores:

• Secuencias de ADN o proteínas: un string kernel cuenta subsecuencias compartidas entre dos cadenas. Equivale a un producto interno en un espacio con una dimensión por cada subcadena posible (astronómico), pero se calcula con programación dinámica.
• Moléculas (grafos): kernels que comparan subestructuras, usados para predecir toxicidad o actividad de fármacos.
• Textos: el kernel lineal sobre bolsas de palabras ya es un producto interno; kernels de subsecuencias capturan orden.

En todos los casos se verifica lo mismo que aquí: la matriz de Gram debe ser simétrica y PSD.

¿Qué cuenta como kernel?

$K$ es válido si y solo si es simétrico ($K(\mathbf{x},\mathbf{x}')=K(\mathbf{x}',\mathbf{x})$) y semidefinido positivo (condición de Mercer): toda matriz de Gram $K_{ij} = K(\mathbf{x}_i,\mathbf{x}_j)$ cumple $\mathbf{c}^\top\mathbf{K}\mathbf{c}\ge0$ para todo $\mathbf{c}$ (equivalentemente, autovalores ≥ 0). Eso garantiza que existe un $\phi$, aunque nunca lo escribamos.

• La matriz de Gram es una matriz de similitud: ordenando filas y columnas por clase, se ven bloques brillantes dentro de cada clase. PSD es el sello algebraico de un producto interno genuino.
• Reglas de cierre: si $K_1, K_2$ son kernels, también lo son $K_1+K_2$, $K_1K_2$ y $aK_1$ con $a>0$. Sumas y productos de similitudes válidas siguen siendo válidos.
• El kernel sigmoide $\tanh(a\,\mathbf{x}^\top\mathbf{x}'+c)$ se usa a veces pero no siempre es PSD.

Ejercicio

Verifica con $\mathbf{x}=(1,0)$, $\mathbf{z}=(2,3)$ que $(1+\mathbf{x}^\top\mathbf{z})^2 = \phi(\mathbf{x})^\top\phi(\mathbf{z})$ para el $\phi$ de 6 dimensiones.

Ver solución

Ruta kernel: $\mathbf{x}^\top\mathbf{z} = 2$, $(1+2)^2 = 9$.

Ruta φ: $\phi(\mathbf{x}) = (1,\sqrt2,0,1,0,0)$; $\phi(\mathbf{z}) = (1, 2\sqrt2, 3\sqrt2, 4, 9, 6\sqrt2)$. Producto: $1 + \sqrt2\cdot2\sqrt2 + 0 + 1\cdot4 + 0 + 0 = 1+4+4 = 9$ ✓.

Autoevaluación

0/4 correctas · 0 respondidas Reiniciar

1. Un kernel válido debe ser…

a) positivo en todas partesb) simétrico y semidefinido positivoc) lineald) acotado en [0, 1]

2. Si $K_1$ y $K_2$ son kernels, ¿cuál NO es necesariamente un kernel?

a) $K_1 + K_2$b) $K_1K_2$c) $3K_1$d) $K_1 - K_2$

3. Una frontera circular en 2-D, vista en el espacio levantado, es…

a) otra circunferenciab) un planoc) un puntod) imposible

4. ¿Por qué funciona el truco en el SVM?

a) porque el primal usa coordenadasb) porque el dual solo usa productos internosc) porque C es granded) porque los datos son separables

En código: comprobar la identidad del kernel

import numpy as np
from sklearn.metrics.pairwise import polynomial_kernel

def phi(v):                                   # mapa explícito de (1 + xᵀz)² en 2-D
    x1, x2 = v
    s = np.sqrt(2)
    return np.array([1, s*x1, s*x2, x1**2, x2**2, s*x1*x2])

x, z = np.array([1., 2.]), np.array([3., -1.])
print(phi(x) @ phi(z), (1 + x @ z) ** 2)      # 4.0 4.0 → mismo número
print(polynomial_kernel([x], [z], degree=2, gamma=1, coef0=1))

K = polynomial_kernel(X, degree=2, coef0=1)   # matriz de Gram n × n
print(np.linalg.eigvalsh(K).min() >= -1e-9)   # PSD → kernel válido

↔ Conexiones con otros temas

El dual del SVMDe dónde sale que solo haya productos internos.Features polinómicasEl mismo φ(x) de la regresión polinómica, pero sin construirlo.Zoo de kernelsLineal, polinómico, RBF, γ y kernel ridge.Producto punto = similitudUn kernel es una similitud con garantía de ser producto interno.

Para profundizar

videoStatQuest · lista SVMLas tres partes: ideas, kernel polinómico y kernel RBF.apuntesStanford CS229 · Lecture notesNotas de Andrew Ng: GLMs, modelos generativos, SVM y kernels con derivaciones.docsscikit-learn · SVMSVC, kernels, C y γ, one-vs-one; incluye la formulación del dual.

Fuente ·ML_Course_SVM.pdf (slides 62–69) · ML_Course_Kernels.pdf (Lecture 07, slides 1–9) · ML_Course/session-06b-dual-and-kernel-trick.ipynb · ML_Course/session-07-kernels-in-practice.ipynb