LDA y QDA (análisis discriminante gaussiano)

💡En simple: lee esto primero

LDA y QDA describen cada clase como una «nube» de puntos con forma de campana y asignan cada punto nuevo a la nube que mejor lo explique.

Imagínalo así

Imagina dos manchas de tinta en un papel. Para un punto nuevo, preguntas: ¿cae más «adentro» de la mancha azul o de la roja? LDA asume que ambas manchas tienen la misma forma; QDA deja que cada una tenga la suya.

Lo que tienes que llevarte

• LDA: misma forma de nube para todas las clases → frontera recta.
• QDA: cada clase con su forma → frontera curva (más flexible, necesita más datos).
• La distancia de Mahalanobis es una distancia «inteligente» que tiene en cuenta la forma de la nube.

Palabras raras de esta página

covarianza

cómo varían juntas dos variables (si una sube, ¿la otra también?). Define la forma de la nube.

gaussiana multivariada

la campana en varias dimensiones: una nube ovalada.

discriminante

el puntaje que dice qué tan bien encaja el punto en cada clase.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

Features correlacionadas necesitan covarianza

La matriz de covarianza $\Sigma$ da forma a la gaussiana. En 2-D, $\Sigma = \begin{bmatrix}\sigma_1^2 & \sigma_{12}\\ \sigma_{12} & \sigma_2^2\end{bmatrix}$: la diagonal es la dispersión de cada feature; el término fuera de la diagonal, cuánto se mueven juntas.

$\Sigma$	Forma	Modelo
$\mathbf{I}$ (esférica)	círculo	—
diagonal	elipse alineada a los ejes	Naive Bayes
completa ($\sigma_{12}\ne0$)	elipse inclinada	LDA / QDA

Leer el exponente: la distancia de Mahalanobis

Una gaussiana puntúa un punto con un número en su exponente. En 1-D es el z-score al cuadrado, $D^2 = \big(\frac{x-\mu}{\sigma}\big)^2$: «¿a cuántas σ del centro?». En varias dimensiones, «dividir por σ» se vuelve multiplicar por $\Sigma^{-1}$, que rota a los ejes de la elipse y divide por la dispersión en cada uno:

$$D^2(\mathbf{x}) = (\mathbf{x}-\boldsymbol\mu)^\top\Sigma^{-1}(\mathbf{x}-\boldsymbol\mu),\qquad \mathcal N(\mathbf{x};\boldsymbol\mu,\Sigma) = \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}e^{-\frac12 D^2(\mathbf{x})}$$

La densidad depende de $\mathbf{x}$ solo por $D^2$: sus curvas de nivel son las elipses. Dos puntos a la misma distancia euclidiana del centro pueden estar a distinta distancia de Mahalanobis: un paso a lo largo del eje ancho (alta varianza) es «normal» y cuesta menos ($D=1.0$) que el mismo paso a través del eje angosto ($D\approx2.1$). Mahalanobis = euclidiana medida en las unidades de la propia elipse.

Cada clase, una gaussiana completa

$p(\mathbf{x}\mid y=k) = \mathcal N(\mathbf{x};\boldsymbol\mu_k,\Sigma_k)$, $\pi_k = N_k/N$. La MLE es otra vez contar y promediar:

$$\boldsymbol\mu_k = \frac{1}{N_k}\sum_{i:y_i=k}\mathbf{x}_i,\qquad \Sigma_k = \frac1{N_k}\sum_{i:y_i=k}(\mathbf{x}_i-\boldsymbol\mu_k)(\mathbf{x}_i-\boldsymbol\mu_k)^\top$$

Dos maneras de usar la dispersión:

• QDA: cada clase conserva su propia $\Sigma_k$ (su propia elipse).
• LDA: todas comparten una $\Sigma$ agrupada (pooled), el promedio ponderado $\Sigma = \sum_k \frac{N_k}{N}\Sigma_k$ (misma elipse, solo se mueve el centro).

Pregunta del banco

«En QDA se usa una única matriz de covarianza compartida y en LDA cada clase tiene la suya» → Falso: los nombres están invertidos. LDA = frontera Lineal = Σ compartida.

El discriminante: un score gaussiano por clase

$\delta_k(\mathbf{x}) = \log(\text{prior}\times\text{likelihood})$ sin la constante común:

$$\delta_k(\mathbf{x}) = \underbrace{\log\pi_k}_{\text{ventaja inicial}} - \underbrace{\tfrac12(\mathbf{x}-\boldsymbol\mu_k)^\top\Sigma_k^{-1}(\mathbf{x}-\boldsymbol\mu_k)}_{\text{Mahalanobis al centro}} - \underbrace{\tfrac12\log|\Sigma_k|}_{\text{castigo por elipse holgada}}$$

Se lee: una ventaja por ser clase común, menos qué tan lejos está $\mathbf{x}$ del centro en unidades de la elipse, menos un castigo por una elipse grande y floja. Expandiendo el término del medio:

$$(\mathbf{x}-\boldsymbol\mu_k)^\top\Sigma_k^{-1}(\mathbf{x}-\boldsymbol\mu_k) = \underbrace{\mathbf{x}^\top\Sigma_k^{-1}\mathbf{x}}_{\text{cuadrático en }\mathbf{x}} - 2\boldsymbol\mu_k^\top\Sigma_k^{-1}\mathbf{x} + \boldsymbol\mu_k^\top\Sigma_k^{-1}\boldsymbol\mu_k$$

• QDA ($\Sigma_k$ propias): el término $\mathbf{x}^\top\Sigma_k^{-1}\mathbf{x}$ sobrevive en $\delta_1-\delta_0$ ⇒ frontera cuadrática $\mathbf{x}^\top\mathbf{A}\mathbf{x}+\mathbf{w}^\top\mathbf{x}+b=0$ (puede envolver a la clase más compacta).
• LDA ($\Sigma$ compartida): $\mathbf{x}^\top\Sigma^{-1}\mathbf{x}$ y $\log|\Sigma|$ son idénticos en todas las clases y se cancelan. Cada score queda lineal, $\delta_k = \mathbf{w}_k^\top\mathbf{x}+b_k$ con $\mathbf{w}_k=\Sigma^{-1}\boldsymbol\mu_k$, y la frontera es

$$\mathbf{w}^\top\mathbf{x}+b=0,\qquad \mathbf{w}=\Sigma^{-1}(\boldsymbol\mu_1-\boldsymbol\mu_0),\qquad b = -\tfrac12(\boldsymbol\mu_1+\boldsymbol\mu_0)^\top\Sigma^{-1}(\boldsymbol\mu_1-\boldsymbol\mu_0)+\log\frac{\pi_1}{\pi_0}$$

El gran puente

Bajo LDA, $P(y=1\mid\mathbf{x}) = \sigma(\mathbf{w}^\top\mathbf{x}+b)$: la misma forma logística de la sesión 04, aquí derivada de dos gaussianas en vez de ajustada.

LDA a mano (1-D)

Medias $\mu_0=2$, $\mu_1=6$, varianza compartida $\sigma^2$. Especializando:

$$w = \frac{\mu_1-\mu_0}{\sigma^2},\qquad x^* = \frac{\mu_0+\mu_1}{2} - \frac{\sigma^2}{\mu_1-\mu_0}\log\frac{\pi_1}{\pi_0}$$

• Priors iguales: el log es 0 ⇒ $x^* = 4$, el punto medio («gana la media más cercana»).
• Con $\sigma^2 = 4$: $w = 1$, $b=-4$ ⇒ $P(y=1\mid x)=\sigma(x-4)$.
• Priors distintos: el término del log desliza $x^*$ hacia la clase más rara, achicando su territorio.

En más dimensiones, $\mathbf{w}=\Sigma^{-1}(\boldsymbol\mu_1-\boldsymbol\mu_0)$ es la flecha entre las medias (reescalada por la dispersión compartida) y la frontera es su bisectriz perpendicular (en la métrica de $\Sigma$).

LDA a mano en 1-D

Dos clases gaussianas con la misma varianza σ². Arriba: cada densidad multiplicada por su prior (el área sombreada donde se traslapan es el error de Bayes). Abajo: el posterior que sale de Bayes, que es exactamente una sigmoide.

μ₀ 2μ₁ 6σ² (compartida) 4prior π₁ 0.5

π₀·p(x | y=0)π₁·p(x | y=1)traslape = error de Bayesfrontera x* y posterior σ(wx + b)

$$w = \frac{\mu_1-\mu_0}{\sigma^2} = \frac{6.0-2.0}{4.0} = 1.000,\qquad x^* = \frac{\mu_0+\mu_1}{2} - \frac{\sigma^2}{\mu_1-\mu_0}\log\frac{\pi_1}{\pi_0} = 4.00 - 1.00\cdot(0.00) = 4.000$$

w1.000

b-4.000

frontera x*4.000

Con priors iguales, x* es el punto medio (gana la media más cercana). Baja π₁: la frontera se corre hacia μ₁ y la clase rara pierde territorio, porque se necesita más evidencia para apostar por ella. Sube σ²: la sigmoide se aplana (más incertidumbre) y el prior pesa más. Si μ₀ = μ₁, w = 0 y solo decide el prior.

De LDA a QDA con una perilla

Mezcla cada covarianza entre la agrupada y la propia: $\Sigma_k(t) = (1-t)\Sigma_\text{pooled}+t\,\Sigma_k$. Con $t=0$ es LDA (recta); con $t=1$, QDA (curva). La frontera se dobla exactamente tanto como difieran las formas/inclinaciones de las elipses.

Costo: LDA ajusta una Σ; QDA una por clase ($d(d+1)/2$ números cada una: 3 en 2-D, 465 con $d=30$). Más perillas = más varianza = necesita más datos (sesgo–varianza otra vez). Con $d$ grande, QDA necesita regularización.

Generativo vs discriminativo

LDA y la logística llegan a la misma $\sigma(\mathbf{w}^\top\mathbf{x}+b)$ por caminos distintos, y eso cambia su comportamiento según cuántos datos haya (Ng y Jordan, 2001): el generativo aprende más rápido (baja complejidad muestral) y se estanca un poco más arriba; el discriminativo necesita más datos pero termina más abajo.

¿Pocos datos o muchos? Generativo vs discriminativo

Se entrenan Naive Bayes gaussiano (varianza por feature compartida entre clases) y regresión logística casi sin regularizar con n ejemplos (promedio de 12 repeticiones) y se mide el error en 1000 puntos de test. Todo se calcula en tu navegador.

Supuesto de NB correcto (features independientes)Supuesto violado (features redundantes)

Naive Bayes (generativo)regresión logística (discriminativa)

30 features débiles e independientes (el supuesto de NB es cierto). NB solo estima una media por clase y una varianza por feature, así que aprende mucho más rápido: con ~64 ejemplos ya está donde la logística llega recién con ~256. La logística tiene que aprender 31 pesos con poca regularización y con pocos datos sobreajusta (con n < d las clases son separables).

Generativo (NB, LDA, QDA)	Discriminativo (logística)
aprende con pocos ejemplos	menos supuestos: solo la frontera
puede generar datos, imputar, detectar outliers	suele ser más preciso con muchos datos
agregar una clase es barato	gana cuando los supuestos generativos son falsos
pero: supuestos fuertes	pero: necesita más datos; no genera ni imputa

Regla práctica: ¿pocos datos o necesitas la densidad? → generativo. ¿Muchos datos y solo quieres la etiqueta? → discriminativo.

🏭

Caso de uso · manufacturaControl de calidad con sensores: cuándo QDA le gana a LDA

Una planta clasifica botellas como buenas o defectuosas con dos medidas continuas (grosor de pared y presión de prueba). Con 2 000 ejemplos:

• Las botellas buenas forman una nube compacta y casi circular; las defectuosas varían mucho más y en direcciones correlacionadas (una elipse grande e inclinada).
• LDA fuerza la misma elipse para ambas clases ⇒ frontera recta ⇒ deja escapar defectos que caen «alrededor» de la nube buena.
• QDA usa una elipse por clase ⇒ frontera curva que envuelve a la clase compacta. Con 2 000 ejemplos y solo 2 features (3 parámetros de covarianza por clase) tiene datos de sobra.
• Si en cambio fueran 200 features con 300 ejemplos, QDA necesitaría estimar 20 100 números por clase: ahí LDA (o NB, o logística regularizada) es la opción sensata.

Ejercicio

$\mu_0 = 0$, $\mu_1 = 4$, $\sigma^2 = 2$, $\pi_1 = 0.25$. ¿Dónde está la frontera LDA?

Ver solución

$x^* = \frac{0+4}{2} - \frac{2}{4}\log\frac{0.25}{0.75} = 2 - 0.5\cdot(-1.0986) = 2.549$. La frontera se corrió de 2 hacia la clase 1 (la rara): ahora se necesita más evidencia para predecir la clase 1.

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. LDA produce una frontera lineal porque…

a) usa la sigmoideb) la Σ compartida hace que el término $\mathbf{x}^\top\Sigma^{-1}\mathbf{x}$ se cancelec) asume independenciad) minimiza la hinge

2. La distancia de Mahalanobis…

a) ignora la forma de la nubeb) mide distancia en unidades de la elipse de covarianzac) es siempre igual a la euclidianad) solo existe en 1-D

3. Con priors distintos, la frontera LDA se desplaza…

a) hacia la clase más comúnb) hacia la clase más rarac) no se mueved) al origen

4. ¿Qué modelo necesita más datos para estimar sus parámetros?

a) LDAb) QDAc) Naive Bayesd) todos igual

5. El posterior de LDA tiene la forma…

a) $\sigma(\mathbf{w}^\top\mathbf{x}+b)$b) un escalónc) softmax de distancias euclidianasd) uniforme

En código

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis as QDA

lda = LDA(store_covariance=True).fit(X_tr, y_tr)
qda = QDA(reg_param=0.1).fit(X_tr, y_tr)     # reg_param encoge Σₖ (útil con d grande)
mu, Sigma = lda.means_, lda.covariance_   # medias por clase y Σ agrupada
w = lda.coef_                                # = Σ⁻¹(μ₁ − μ₀) en el caso binario
print(lda.score(X_te, y_te), qda.score(X_te, y_te))
lda.predict_proba(X_te[:3])                  # posterior σ(wᵀx + b)

↔ Conexiones con otros temas

LogísticaLa misma σ(wᵀx + b), pero ajustada directo sin suponer gaussianas.Naive BayesQDA con Σₖ diagonal: sin inclinación.Sesgo–varianzaQDA: más flexible (menos sesgo) pero más varianza.RBFEl kernel RBF es una campana gaussiana centrada en cada punto.

Para profundizar

docsscikit-learn · LDA y QDAFormulación matemática y comparación gráfica de fronteras.libroISLR / ISLP (James et al.)Libro gratis, citado en las slides. Cap. 3, 4, 5, 6, 8 y 9 cubren todo el parcial.apuntesStanford CS229 · Lecture notesNotas de Andrew Ng: GLMs, modelos generativos, SVM y kernels con derivaciones.

Fuente ·ML_Course_Generative_Probabilistic_Models.pdf (slides 24–37) · ML_Course/session-05b-lda-qda.ipynb · ML_Course/session-05c-comparing-generative-models.ipynb