Naive Bayes

💡En simple: lee esto primero

Naive Bayes hace una simplificación «ingenua»: supone que cada dato aporta su pista por separado, sin influirse entre sí.

Imagínalo así

Para detectar spam, revisa palabra por palabra: «gratis» suma sospecha, «reunión» la resta… y junta todas las pistas como si fueran independientes. No es del todo cierto, pero funciona sorprendentemente bien.

Lo que tienes que llevarte

• Al suponer independencia, basta con contar cada característica por separado: muy rápido y necesita pocos datos.
• Se trabaja con logaritmos para no multiplicar miles de números diminutos (la computadora los redondearía a 0).
• Suavizado de Laplace: sumar 1 a todos los conteos para que una palabra nunca vista no anule todo.

Palabras raras de esta página

independencia condicional

dentro de cada clase, saber un dato no te dice nada de otro.

suavizado de Laplace

el «+1» a los conteos para evitar probabilidades cero.

log-espacio

sumar logaritmos en vez de multiplicar probabilidades.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

La maldición de la conjunta

Para usar Bayes necesitamos $p(\mathbf{x}\mid y=k)$, una densidad sobre todo el vector $\mathbf{x}=(x_1,\dots,x_d)$. En alta dimensión es imposible de estimar: con solo 20 features sí/no (palabras), la conjunta necesita $2^{20}\approx$ 1 000 000 de probabilidades por clase.

Naive Bayes corta el nudo con una suposición audaz: independencia condicional de las features dada la clase:

$$p(\mathbf{x}\mid y=k) = \prod_{j=1}^d p(x_j\mid y=k)$$

Con eso bastan 20 números por clase (uno por palabra). «Naive» (ingenuo) porque finge que, sabiendo la clase, las features no llevan información conjunta.

¿Por qué hace falta ser «naive»?

Con d palabras (presente/ausente), la distribución conjunta p(x | y) tiene una probabilidad por cada combinación posible. Naive Bayes solo necesita una por palabra.

d (nº de features binarias) 20

conjunta completa

1.05 × 10^6Naive Bayes

20

(barras en escala logarítmica, por clase)

parámetros por clase (conjunta)1.05 × 10^6

parámetros por clase (NB)20

Con d = 20, estimar la conjunta exigiría ver cada una de las 1.05 × 10^6 combinaciones varias veces: imposible (un vocabulario real tiene miles de palabras). Suponer independencia condicional cambia un crecimiento exponencial (2ᵈ) por uno lineal (d). Es falso, pero hace el problema estimable: un ejemplo puro de cambiar sesgo por varianza.

Decidir en log-espacio

Multiplicar muchas probabilidades chicas se desborda a 0 (30 factores ≈ 0.1 dan $10^{-30}$). Tomando logs, los productos se vuelven sumas y el ganador no cambia (el log es creciente):

$$\hat y = \arg\max_k\Big[\log\pi_k + \sum_{j=1}^d\log p(x_j\mid y=k)\Big]$$

La regla es la misma para todo Naive Bayes; solo cambia el modelo por feature:

Tipo de feature	Variante	$p(x_j\mid y=k)$	Estimación (MLE)
continua	Gaussiano	$\mathcal N(x_j;\mu_{kj},\sigma_{kj}^2)$	media y varianza de $x_j$ en la clase $k$
presencia de palabra (0/1)	Bernoulli	fracción de docs de la clase con la palabra	contar
conteo de palabras	Multinomial	frecuencia de la palabra en la clase	contar

Naive Bayes gaussiano

Cada feature continua es su propia campana 1-D (dos perillas: centro $\mu$ y dispersión $\sigma$; el exponente es el z-score al cuadrado). Un producto de campanas por eje da elipses alineadas a los ejes (sin inclinación); aun así la frontera se puede curvar.

Parámetros totales: $K$ priors (con $K-1$ libres, porque $\sum_k\pi_k=1$) $+\ 2Kd$ números (media y varianza por clase y feature). Nada más.

Preguntas del banco

• El likelihood de una feature continua se puede modelar como $x_j\mid y=k\sim\mathcal N(\mu_{kj},\sigma^2_{kj})$ → Verdadero.
• Para ajustar una gaussiana por feature y por clase basta con calcular $\mu_{kj}$ y $\sigma^2_{kj}$ sobre las muestras de esa clase → Verdadero (MLE = contar y promediar).

Mira la elipse diagonal de NB frente a la inclinada de QDA (modo «Naive Bayes»):

Naive Bayes para texto

El texto no tiene ejes $x_1, x_2$: primero se convierte en features. Bolsa de palabras: se fija un vocabulario y cada palabra es una feature (presencia en Bernoulli, conteo en Multinomial). Un filtro de spam no analiza gramática: pregunta palabra por palabra «¿aparece más en spam o en ham?» y multiplica los votos. Solo hay que estimar ≈ (vocabulario × clases) números, cada uno un conteo.

Spam a mano (los números de la slide)

Priors $\pi_\text{spam}=0.40$, $\pi_\text{ham}=0.60$. Mensaje: «free money now».

	free	money	now
spam	0.80	0.70	0.55
ham	0.10	0.08	0.30

$$\text{spam: } 0.40\times0.80\times0.70\times0.55 = 0.1232\qquad \text{ham: } 0.60\times0.10\times0.08\times0.30 = 0.00144$$ $$P(\text{spam}\mid\text{palabras}) = \frac{0.1232}{0.1232+0.00144}\approx 0.99\quad(\text{odds}\approx 86{:}1)$$

¿Es spam? Naive Bayes a mano

Haz clic en las palabras para ponerlas o quitarlas del correo. Cada likelihood es solo una fracción contada: correos de la clase que contienen la palabra / correos de la clase.

✓ free✓ money✓ nowlotterymeetingprojectreport

suavizado de Laplace α 0prior π_spam 40% incluir palabras ausentes (Bernoulli completo)

palabra	en el correo	p(w | spam)	p(w | ham)	voto
free	sí	(32+α)/(40+2α) = 0.800	(6+α)/(60+2α) = 0.100	spam
money	sí	(28+α)/(40+2α) = 0.700	(5+α)/(60+2α) = 0.083	spam
now	sí	(22+α)/(40+2α) = 0.550	(18+α)/(60+2α) = 0.300	spam
lottery	no	1 − (12+α)/(40+2α) = 0.700	1 − (0+α)/(60+2α) = 1.000	—
meeting	no	1 − (4+α)/(40+2α) = 0.900	1 − (30+α)/(60+2α) = 0.500	—
project	no	1 − (2+α)/(40+2α) = 0.950	1 − (27+α)/(60+2α) = 0.550	—
report	no	1 − (3+α)/(40+2α) = 0.925	1 − (24+α)/(60+2α) = 0.600	—

$$\underbrace{0.40\cdot 0.800\cdot 0.700\cdot 0.550}_{\text{score spam}} = 1.232e-1\qquad \underbrace{0.60\cdot 0.100\cdot 0.083\cdot 0.300}_{\text{score ham}} = 1.500e-3$$

log score spam-2.09

log score ham-6.50

P(spam | palabras)0.9880

veredictoSPAM

En la práctica se suman logaritmos (30 factores ≈ 0.1 dan 10⁻³⁰ y se desbordan a 0). El log cambia los números, no el ganador. Ojo: la independencia condicional es falsa («free» y «money» van juntas), así que el 0.99 suele ser sobreconfiado; confía en la etiqueta, no en la probabilidad.

📧

Caso de uso · correoUn filtro de spam real, de principio a fin

1. Datos: 50 000 correos marcados por usuarios (40% spam). Vocabulario de las 20 000 palabras más frecuentes.
2. Features: cada correo → vector de conteos de palabras (bolsa de palabras, CountVectorizer). Es enorme y casi todo ceros (esparso).
3. Entrenar = contar: para cada clase, cuántas veces aparece cada palabra + α. Toma segundos aun con millones de correos; agregar correos nuevos es sumar conteos (aprendizaje incremental).
4. Predecir: sumar $\log p(w\mid y)$ de las palabras del correo + $\log\pi_y$. Gana la clase con mayor suma.
5. Umbral asimétrico: un correo legítimo en spam (FP) es peor que un spam en la bandeja (FN), así que se exige $P(\text{spam}) > 0.99$ para mover un correo a spam.
6. Limitación: los spammers escriben «fr3e m0ney» para esquivar palabras conocidas, y las probabilidades salen sobreconfiadas. Por eso los filtros modernos combinan NB con otros modelos, pero NB sigue siendo un baseline excelente y rapidísimo.

Suavizado de Laplace, y una advertencia

Si «lottery» nunca apareció en ningún ham, $p(\text{lottery}\mid\text{ham}) = 0$ y ese solo cero anula todo el producto de ham, por muy «ham» que sean las otras palabras. Suavizado de Laplace (add-α):

$$p(w\mid y=k) = \frac{\text{count}(w,k)+\alpha}{\text{total}(k)+\alpha V}$$

con $V$ el tamaño del vocabulario (en Bernoulli, $V=2$ resultados por palabra) y $\alpha=1$ típico. Es una estimación MAP: el $+\alpha$ actúa como un prior de $\alpha$ conteos imaginados por palabra; ninguna probabilidad vuelve a ser 0.

Sobreconfianza

La independencia condicional casi siempre es falsa («free» y «money» van juntas). Aun así NB suele clasificar bien: el arg max puede ser correcto aunque la probabilidad esté muy mal calibrada, típicamente sobreconfiada. Confía en la etiqueta, no en el 0.99.

Ejercicio

Con los datos de la tabla, el mensaje es solo «now». ¿Qué clase gana? ¿Y si el prior de spam fuera 0.2?

Ver solución

• $\pi=0.4$: spam $0.4\times0.55 = 0.22$; ham $0.6\times0.30=0.18$ ⇒ spam ($0.22/0.40 = 0.55$).
• $\pi=0.2$: spam $0.2\times0.55 = 0.11$; ham $0.8\times0.30 = 0.24$ ⇒ ham. Con evidencia débil, el prior decide.

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. La suposición «naive» es…

a) features independientes (sin condición)b) features condicionalmente independientes dada la clasec) clases equiprobablesd) covarianza compartida

2. ¿Por qué se suman logaritmos?

a) porque cambia al ganadorb) para evitar desbordamiento a 0 con productos de muchas probabilidadesc) porque el log es convexod) para normalizar

3. Con una palabra nunca vista en ham y $\alpha = 0$…

a) no pasa nadab) el score de ham se vuelve 0c) gana hamd) el prior se ignora

4. Las elipses de NB gaussiano son…

a) inclinadas según la correlaciónb) alineadas a los ejes (Σ diagonal)c) círculos siempred) iguales para todas las clases

5. El suavizado de Laplace es un ejemplo de…

a) MLEb) MAPc) validación cruzadad) boosting

En código

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB, BernoulliNB, GaussianNB
from sklearn.pipeline import make_pipeline

spam = make_pipeline(CountVectorizer(), MultinomialNB(alpha=1.0))   # α = Laplace
spam.fit(textos_tr, y_tr)
spam.predict_proba(['free money now'])          # [[P(ham), P(spam)]]

nb_bin = make_pipeline(CountVectorizer(binary=True), BernoulliNB(alpha=1.0))  # presencia 0/1

g = GaussianNB().fit(X_tr, y_tr)                # features continuas
g.theta_, g.var_, g.class_prior_                 # μₖⱼ, σ²ₖⱼ y πₖ: contar y promediar

↔ Conexiones con otros temas

LDA y QDAQuitar la independencia: Σ completa que se inclina. NB = QDA con Σ diagonal.MAPEl +α es un prior; la regla de decisión es MAP.El split «free» en árbolesEl mismo ejemplo de spam reaparece como split con ganancia de Gini 0.2396.CalibraciónUna probabilidad sobreconfiada puede dar buena accuracy y mala log-loss.

Para profundizar

docsscikit-learn · Naive BayesGaussianNB, BernoulliNB, MultinomialNB y el suavizado α.videoStatQuest · índice de videosJosh Starmer explica cada tema del curso con dibujos; busca el tema en el índice.apuntesStanford CS229 · Lecture notesNotas de Andrew Ng: GLMs, modelos generativos, SVM y kernels con derivaciones.

Fuente ·ML_Course_Generative_Probabilistic_Models.pdf (slides 16–23) · ML_Course/session-05a-gaussian-naive-bayes.ipynb