Zoo de kernels, γ y kernel ridge

💡En simple: lee esto primero

En la práctica eliges un kernel (lineal, polinómico o RBF) y ajustas su perilla γ para controlar qué tan curva puede ser la frontera.

Imagínalo así

El kernel RBF es como poner un foco de luz sobre cada punto: γ grande = focos chiquitos y concentrados (frontera muy detallada, memoriza); γ chico = focos amplios (frontera suave).

Lo que tienes que llevarte

• Lineal: frontera recta. Polinómico: curvas de cierto grado. RBF: casi cualquier forma.
• γ alto → frontera muy ajustada (overfitting). γ bajo → frontera muy suave (underfitting).
• Siempre escala los datos antes y elige C y γ con validación cruzada.

Palabras raras de esta página

RBF / gaussiano

kernel que mide similitud según la distancia: cerca = parecido, lejos = nada que ver.

γ (gamma)

qué tan rápido «se apaga» la similitud con la distancia.

teorema del representante

la solución siempre se puede escribir como combinación de los puntos de entrenamiento.

kernel ridge

regresión ridge con el truco del kernel: curvas con fórmula directa.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

Tres kernels que de verdad usarás

Kernel	Fórmula	Espacio de features	Alcance
Lineal	$\mathbf{x}^\top\mathbf{x}'$	el original: recupera el modelo lineal	crece sin límite
Polinómico	$(c+\mathbf{x}^\top\mathbf{x}')^d$	todos los monomios hasta grado $d$ (finito pero enorme)	global: crece a medida que los puntos se alinean
RBF / gaussiano	$\exp(-\gamma\Vert \mathbf{x}-\mathbf{x}'\Vert ^2)$	dimensión infinita	local: una campana de ancho $\propto1/\sqrt\gamma$

Léelo como similitud: el RBF vale 1 cuando los puntos coinciden y decae a 0 cuando se separan.

¿Por qué el RBF es de dimensión infinita?

Sacando los factores de las normas, queda $e^{2\gamma\mathbf{x}^\top\mathbf{x}'}$, y expandiendo la exponencial en serie de potencias:

$$e^{2\gamma\,\mathbf{x}^\top\mathbf{x}'} = \sum_{k=0}^\infty\frac{(2\gamma)^k}{k!}\big(\mathbf{x}^\top\mathbf{x}'\big)^k$$

Cada $(\mathbf{x}^\top\mathbf{x}')^k$ es el kernel polinómico de grado $k$: el RBF mezcla todos los grados a la vez con pesos no nulos ⇒ infinitas features. Y aun así se evalúa en una línea. γ más grande pasa peso a grados más altos: más local, más complejo.

Pregunta del banco

«El kernel RBF corresponde a un feature map $\phi$ de dimensión infinita que nunca hay que calcular» → Verdadero, justo por la serie de arriba. Ese es el punto del truco.

Un kernel es una similitud: local vs global

K(x, ancla) en 1-D mientras x se mueve. El lineal crece sin límite, el polinómico tiene alcance global y el RBF es una campana local cuyo ancho fija γ.

posición del ancla x′ 0.5γ del RBF 1

lineal x·x′polinómico (1 + x·x′)³ / 4RBF γ = 1RBF γ = 0.17 (más ancho)

---

La matriz de Gram y la prueba de validez (PSD)

28 puntos de dos clases, ordenados por clase. Cada celda es K(xᵢ, xⱼ): verde = similitud positiva, rojo = negativa. Un kernel es válido si la matriz es simétrica y todos sus autovalores son ≥ 0.

RBFpolinómico (1 + xᵀx′)³lineal«impostor»: −‖x − x′‖²sigmoide tanh(2xᵀx′ − 1)

autovalor mínimo1.92e-6

¿válido (PSD)?sí

Todos los autovalores ≥ 0: hay un φ (quizás infinito) con K(x, x′) = φ(x)ᵀφ(x′). Los dos bloques brillantes en la diagonal son las clases: dentro de cada clase los puntos se parecen. Sube γ: los bloques se apagan y queda casi solo la diagonal (cada punto solo se parece a sí mismo ⇒ overfitting).

Mismos datos, tres kernels, tres fronteras

El kernel elige el espacio de hipótesis. En la slide: lineal (acc 0.83) traza un corte recto; polinómico grado 3 (0.90) se curva; RBF (0.94) envuelve ajustado.

El mismo SVM, tres kernels

Se resuelve el dual con K(xᵢ, xⱼ) en lugar de xᵢᵀxⱼ; la predicción es f(x) = Σ αᵢyᵢK(xᵢ, x) + b. El color es el signo (y la confianza) de f; la línea clara es f = 0. Los anillos marcan los vectores de soporte.

anilloslunasxor

linealpolinómicoRBF

Otros datos

γ (ancho del bump) 1.0C 1.0

y = +1y = −1vector de soporte (αᵢ > 0)

accuracy de entrenamiento100%

vectores de soporte23 / 90

γ controla el ancho de cada «bump»: γ pequeño ⇒ frontera casi lineal (underfit); γ grande ⇒ islas alrededor de cada punto y casi todos son vectores de soporte (overfit). Ajusta γ y C juntos por validación cruzada, nunca por accuracy de entrenamiento.

γ controla la complejidad

• γ pequeño (0.1): campanas tan anchas que el modelo subajusta (acc 0.84).
• γ bueno (1): frontera limpia (0.93).
• γ grande (60): campanitas que sobreajustan en islas alrededor de cada punto (0.99 en entrenamiento… engañoso).

Precauciones

• Elige γ y C del SVM por validación cruzada (grilla log), nunca por accuracy de entrenamiento: un γ grande la lleva a un engañoso 100%.
• Estandariza primero: la distancia $\|\mathbf{x}-\mathbf{x}'\|$ mezcla todas las coordenadas y una feature sin escalar domina.
• La matriz de Gram cuesta $O(n^2)$ de memoria (y resolver ∼$O(n^3)$): los kernels son para $n$ pequeño o mediano.

🔢

Caso de uso · visiónReconocer dígitos con un SVM RBF: el clásico de los 90

Antes del deep learning, un SVM con kernel RBF era de los mejores clasificadores de dígitos escritos a mano. Receta típica sobre el dataset digits:

1. Estandarizar los 64 píxeles.
2. Grilla logarítmica: $C\in\{0.1, 1, 10, 100\}$, $\gamma\in\{10^{-4},\dots,10^{-1}\}$, con 5-fold CV.
3. Resultado típico: accuracy de test ≈ 98–99%, frente a ≈ 96% de la logística (lineal).
4. Mirar los vectores de soporte: son los dígitos ambiguos (un 7 con raya, un 4 cerrado), justo los «postes» de la frontera.
5. Precaución: con γ demasiado grande la CV baja aunque el entrenamiento llegue a 100%: cada imagen solo «se parece a sí misma».

El teorema del representante

Para un riesgo regularizado minimizado sobre un espacio de kernel, el $f$ óptimo es una suma ponderada de kernels en los puntos de entrenamiento:

$$f(\mathbf{x}) = \sum_{i=1}^n\alpha_i\,K(\mathbf{x}_i,\mathbf{x})$$

Por enorme que sea el espacio de features, la solución vive en el espacio finito generado por los datos. ¿Por qué? Cualquier parte de $\mathbf{w}$ ortogonal a los $\{\phi(\mathbf{x}_i)\}$ no cambia ninguna predicción pero sí suma a la penalización $\|\mathbf{w}\|^2$, así que el óptimo no tiene esa parte. Literalmente: una campana por punto de entrenamiento, escalada por $\alpha_i$; $\alpha_i>0$ sube la curva, $\alpha_i<0$ la baja.

Kernel ridge regression: forma cerrada

Ridge hecho en el espacio de features. Con el representante, $\mathbf{f} = \mathbf{K}\boldsymbol\alpha$ y $\|\mathbf{w}\|^2 = \boldsymbol\alpha^\top\mathbf{K}\boldsymbol\alpha$:

$$\min_{\boldsymbol\alpha}\|\mathbf{y}-\mathbf{K}\boldsymbol\alpha\|^2+\lambda\,\boldsymbol\alpha^\top\mathbf{K}\boldsymbol\alpha\quad\Longrightarrow\quad(\mathbf{K}+\lambda\mathbf{I})\boldsymbol\alpha = \mathbf{y}\quad\Longrightarrow\quad\boxed{\boldsymbol\alpha = (\mathbf{K}+\lambda\mathbf{I})^{-1}\mathbf{y}}$$

Un solo sistema lineal, sin iterar: regresión no lineal en forma cerrada. Con kernel lineal es exactamente ridge. La misma idea kerneliza SVR, kernel PCA y los procesos gaussianos.

Kernel ridge: una curva hecha de campanas

Por el teorema del representante, el óptimo es $f(x)=\sum_i \alpha_i K(x_i,x)$: una campana por punto de entrenamiento, escalada por αᵢ. Y los αᵢ salen de un solo sistema lineal: $\boldsymbol\alpha=(\mathbf{K}+\lambda\mathbf{I})^{-1}\mathbf{y}$.

kernel RBFkernel lineal (= ridge común)

ver campanas αᵢK(xᵢ, ·)

γ 1.0λ 10^-1.0

f(x) = Σ αᵢ K(xᵢ, x)campana con αᵢ > 0campana con αᵢ < 0verdadpuntos de test

RMSE train0.119

RMSE test0.231

max |αᵢ|1.97

γ grande ⇒ campanas angostas: la curva pasa por cada punto y oscila entre ellos (overfit; mira el test). γ pequeño ⇒ campanas anchísimas, casi una recta. λ hace lo mismo que en ridge: encoge los αᵢ. Costo: la matriz K es n × n (memoria O(n²), resolver ∼O(n³)).

Resumen de la unidad

• Todo algoritmo que use productos internos se vuelve no lineal cambiando $\mathbf{x}_i^\top\mathbf{x}_j$ por $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)^\top\phi(\mathbf{x}_j)$.
• El truco: calcular $K$ directo, nunca $\phi$ (aunque sea infinita, RBF).
• Válidos = simétricos y PSD; la Gram es una matriz de similitud; cerrados bajo +, ×, escala.
• Zoo: lineal, $(c+\mathbf{x}^\top\mathbf{x}')^d$, $\exp(-\gamma\|\mathbf{x}-\mathbf{x}'\|^2)$; γ y C por CV; estandarizar.
• Representante: $f(\mathbf{x})=\sum_i\alpha_iK(\mathbf{x}_i,\mathbf{x})$; kernel ridge: $\boldsymbol\alpha=(\mathbf{K}+\lambda\mathbf{I})^{-1}\mathbf{y}$.
• Costo: $O(n^2)$ memoria, ∼$O(n^3)$ resolver: excelente para problemas no lineales pequeños/medianos.

Ejercicio

Con $\gamma = 0.5$, calcula $K_\text{RBF}$ entre $(0,0)$ y $(1,1)$, y entre $(0,0)$ y $(3,0)$. ¿Qué pasa con γ = 5?

Ver solución

• $\|(1,1)\|^2 = 2$: $e^{-0.5\cdot2} = e^{-1} = 0.368$.
• $\|(3,0)\|^2 = 9$: $e^{-4.5} = 0.011$.
• Con γ = 5: $e^{-10}\approx4.5\times10^{-5}$ y $e^{-45}\approx0$: cada punto solo «se parece a sí mismo» ⇒ islas, overfitting.

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. El kernel RBF corresponde a un $\phi$ de dimensión infinita que nunca se calcula.

a) Verdaderob) Falso

2. Con γ muy grande en un SVM RBF…

a) la frontera es casi linealb) se forman islas alrededor de cada punto (overfit)c) no hay vectores de soported) C deja de importar

3. El teorema del representante dice que el óptimo es…

a) un polinomio de grado $n$b) $f(\mathbf{x}) = \sum_i\alpha_iK(\mathbf{x}_i,\mathbf{x})$c) la media de los targetsd) un hiperplano en el espacio original

4. La solución de kernel ridge es…

a) $(X^\top X)^{-1}X^\top y$b) $(K+\lambda I)^{-1}y$c) iterativa siempred) $K^{-1}$

5. ¿Cuál kernel tiene alcance local?

a) linealb) polinómicoc) RBFd) todos

En código

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.kernel_ridge import KernelRidge
from sklearn.model_selection import GridSearchCV
import numpy as np

svm = GridSearchCV(make_pipeline(StandardScaler(), SVC(kernel='rbf')),
                   {'svc__C': np.logspace(-1, 3, 5), 'svc__gamma': np.logspace(-4, 0, 5)},
                   cv=5).fit(X_tr, y_tr)                    # C y γ JUNTOS
print(svm.best_params_, svm.score(X_te, y_te))

kr = KernelRidge(kernel='rbf', alpha=0.1, gamma=1.0).fit(x_tr.reshape(-1, 1), y_tr)
alpha = kr.dual_coef_          # α = (K + λI)⁻¹ y  (λ se llama alpha en sklearn)
y_hat = kr.predict(x_te.reshape(-1, 1))   # f(x) = Σ αᵢ K(xᵢ, x)

↔ Conexiones con otros temas

RidgeKernel ridge con kernel lineal es ridge común.CV para (C, γ)Grilla log de dos hiperparámetros, elegidos juntos.γ y sesgo–varianzaγ chico: sesgo alto. γ grande: varianza alta. La misma U.Sesgo inductivoSuavidad del RBF vs cajas alineadas a los ejes de un árbol.

Para profundizar

docsscikit-learn · Kernel ridgeKernel ridge regression vs SVR, con el mismo seno de la clase.docsscikit-learn · SVMSVC, kernels, C y γ, one-vs-one; incluye la formulación del dual.videoStatQuest · lista SVMLas tres partes: ideas, kernel polinómico y kernel RBF.apuntesStanford CS229 · Lecture notesNotas de Andrew Ng: GLMs, modelos generativos, SVM y kernels con derivaciones.

Fuente ·ML_Course_Kernels.pdf (Lecture 07) · ML_Course/session-07-kernels-in-practice.ipynb