Bayes, prior y MAP

💡En simple: lee esto primero

Clasificar con Bayes = combinar «qué tan común es cada clase» con «qué tan típicos son estos datos en cada clase».

Imagínalo así

Escuchas un galope afuera. ¿Caballo o cebra? Las rayas no las ves, pero sabes que en tu ciudad hay muchísimos más caballos: esa información previa (el prior) pesa mucho en tu respuesta.

Lo que tienes que llevarte

• Prior: lo que creías antes de ver los datos (qué tan común es cada clase).
• Verosimilitud: qué tan esperables son los datos si fuera cada clase.
• Posterior: tu creencia actualizada. Eliges la clase con mayor posterior (eso es MAP).

Palabras raras de esta página

prior

la probabilidad «de entrada», antes de mirar el caso.

posterior

la probabilidad después de considerar la evidencia.

tasa base

qué tan frecuente es algo en la población; ignorarla es un error clásico.

generativo

modelo que aprende cómo «se ven» los datos de cada clase.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

Repaso de probabilidad (lo justo)

P grande vs p chica. Una probabilidad $P$ es un número en [0, 1] para un resultado discreto (una clase): uno por resultado y suman 1, p. ej. $P(y=1)=0.4$. Una feature continua no funciona así (un valor exacto tiene probabilidad 0): se usa una densidad $p(x)$, cuya área sobre un tramo es la probabilidad; el área total es 1 y la altura puede superar 1.

Probabilidad condicional, contando. $P(A\mid B)$ = «de A dado B»: restringe el mundo a los casos donde vale B y cuenta la fracción que también tiene A.

100 correos: 40 spam, 60 ham. De los 40 spam, 32 contienen «free» ⇒ $p(\text{free}\mid\text{spam}) = 32/40 = 0.8$. De los 60 ham, 6 ⇒ $p(\text{free}\mid\text{ham}) = 0.1$.

Voltear la barra cambia la pregunta: $P(\text{spam}\mid\text{free})$ = de los que dicen «free», ¿qué fracción es spam? En general $P(A\mid B)\ne P(B\mid A)$. Un likelihood es «dada la clase», $p(\mathbf{x}\mid y)$; un posterior es «dadas las features», $P(y\mid\mathbf{x})$. Bayes convierte uno en otro.

MLE = contar y promediar. En toda esta unidad, «máxima verosimilitud» se reduce a: prior $\pi_k = N_k/N$ (40 de 100 ⇒ 0.40), probabilidad de palabra = fracción contada, media = promedio, varianza = promedio de distancias² a la media. Sin cálculo, sin tasa de aprendizaje.

Dos maneras de separar clases

La logística fue discriminativa: ajustó $P(y\mid\mathbf{x})$ directamente, aprendiendo solo dónde cortar. Un modelo generativo pregunta: ¿cómo produce cada clase sus datos? Aprende $p(\mathbf{x}\mid y)$ y $P(y)$, y luego invierte con Bayes.

Ambos caminos pueden llegar a la misma forma σ(wᵀx + b): LDA la deriva de dos gaussianas con Σ compartida; la logística la ajusta directamente (Ng y Jordan, 2001).

Saber cómo se ve cada clase da más que una frontera: puedes generar muestras sintéticas, imputar features faltantes, detectar outliers y agregar una clase nueva barato (solo ajustar su densidad).

La receta generativa

1. Prior $\pi_k = P(y=k) = N_k/N$: qué tan común es cada clase.
2. Likelihood $p(\mathbf{x}\mid y=k)$: una densidad por clase (gaussiana, producto de probabilidades de palabras…).
3. Invertir con Bayes y predecir el arg max del posterior. La frontera sale sola.

La regla de Bayes como clasificador

$p(y=k,\mathbf{x})$ se puede armar de dos formas: elegir la clase y generar sus features ($\pi_k\,p(\mathbf{x}\mid y=k)$), u observar las features y preguntar la clase ($p(\mathbf{x})P(y=k\mid\mathbf{x})$). Igualando:

$$P(y=k\mid\mathbf{x}) = \frac{\pi_k\,p(\mathbf{x}\mid y=k)}{\underbrace{\sum_j \pi_j\,p(\mathbf{x}\mid y=j)}_{p(\mathbf{x})}}$$

El denominador (la evidencia) es igual para todas las clases: normaliza pero nunca cambia al ganador. Para decidir se descarta:

$$\boxed{\hat y = \arg\max_k\ \pi_k\,p(\mathbf{x}\mid y=k)}$$

Esta regla minimiza la probabilidad de error entre todos los clasificadores; donde los «retratos» ponderados de las clases se traslapan, hasta el mejor debe adivinar: el error de Bayes irreducible.

Tasas base, en concreto

Un test detecta 80% de los enfermos y da 3% de falsas alarmas; prevalencia 1%. El paciente salió positivo:

$$P(\text{enf}\mid +) = \frac{0.01\times0.80}{0.01\times0.80 + 0.99\times0.03} = \frac{0.008}{0.0377}\approx 0.21$$

Multiplicando por 10 000 aparece el árbol: 80 enfermos positivos, ≈300 falsas alarmas, total ≈380. El test da el likelihood $p(+\mid\text{enf})=0.80$; el paciente quiere el posterior $P(\text{enf}\mid+)=0.21$.

Bayes contando personas

Mueve el prior (prevalencia), la sensibilidad del test y su tasa de falsas alarmas. La pregunta del paciente es siempre la misma: dado que salí positivo, ¿qué tan probable es que esté enfermo?

Prevalencia (prior) 1%Sensibilidad p(+|enfermo) 80%Falsa alarma p(+|sano) 3%

positivos totales377

de ellos, enfermos80

P(enfermo | +)21.2%

likelihood p(+|enfermo)80%

$$P(\text{enf}\mid +) = \frac{\pi\,p(+\mid\text{enf})}{\pi\,p(+\mid\text{enf}) + (1-\pi)\,p(+\mid\text{sano})} = \frac{0.010\cdot 0.80}{0.010\cdot 0.80 + 0.990\cdot 0.030} \approx 0.212$$

La mayoría de positivos son falsas alarmas: la tasa base (prior) domina. Nota que P(+|enfermo) = 80% pero P(enfermo|+) = 21%: invertir la barra «|» cambia la pregunta.

🧫

Caso de uso · salud públicaPruebas rápidas de antígeno en una epidemia

La misma prueba (sensibilidad 80%, especificidad 99%) da posteriores muy distintos según el contexto, porque cambia el prior (prevalencia):

Contexto	Prevalencia	$P(\text{infectado}\mid +)$
Tamizaje masivo en un aeropuerto	0.5%	≈ 29%
Consulta con síntomas	10%	≈ 90%
Contacto directo de un caso	30%	≈ 97%

Por eso los protocolos piden confirmar los positivos del tamizaje masivo y en cambio actúan directo ante un positivo sintomático. En el lenguaje del curso: el likelihood $p(+\mid\text{infectado})$ es fijo; el posterior depende del prior.

Cómo calcular un posterior en el examen (receta)

1. Identifica las clases y el prior: $\pi_\text{inf} = 0.10$, $\pi_\text{sano} = 0.90$.
2. Identifica los likelihoods de la evidencia observada: $p(+\mid\text{inf}) = 0.80$, $p(+\mid\text{sano}) = 1 - 0.99 = 0.01$.
3. Multiplica prior × likelihood por clase (los «scores»): inf $= 0.10\cdot0.80 = 0.080$; sano $= 0.90\cdot0.01 = 0.009$.
4. Normaliza (divide por la suma, la evidencia $p(+) = 0.089$): $P(\text{inf}\mid +) = 0.080/0.089 \approx 0.90$.
5. Para decidir (MAP) basta comparar los scores del paso 3: 0.080 > 0.009 ⇒ infectado. La normalización solo hace falta si te piden la probabilidad.
6. Chequeo de sentido común: con 1 000 personas, 100 infectadas → 80 positivos verdaderos; 900 sanas → 9 falsos positivos; $80/89 \approx 0.90$ ✓.

← AnteriorSiguiente paso →Ver todoReiniciar

Prior × likelihood → posterior: aparece la sigmoide

Con dos clases gaussianas en 1-D, graficando $\pi_k\,p(x\mid y=k)$, la frontera está donde una curva supera a la otra, y el posterior $P(y=1\mid x)$ sube por 0.5 justo ahí con forma de S. Esa S no se supone: sale de dos gaussianas, y es la misma sigmoide que la logística ajusta directamente (LDA lo demuestra).

MAP: el nombre de nuestra regla

Predecir la clase de mayor posterior es el estimador MAP (maximum a posteriori):

$$\hat y_\text{MAP} = \arg\max_k P(y=k\mid\mathbf{x}) = \arg\max_k \underbrace{\pi_k}_{\text{prior}}\underbrace{p(\mathbf{x}\mid y=k)}_{\text{likelihood}},\qquad \hat y_\text{MLE} = \arg\max_k p(\mathbf{x}\mid y=k)$$

MAP = MLE + prior; si todas las clases son igual de comunes, coinciden. La misma idea sirve para ajustar parámetros: $\theta_\text{MAP} = \arg\max_\theta p(\mathcal D\mid\theta)\,p(\theta)$: el prior tira la estimación hacia valores razonables, como un regularizador. El suavizado de Laplace de Naive Bayes es exactamente esto.

Ejercicio

Prior de spam 0.4. $p(\text{free}\mid\text{spam}) = 0.8$, $p(\text{free}\mid\text{ham}) = 0.1$. Si un correo contiene «free», ¿$P(\text{spam}\mid\text{free})$? ¿Qué diría MLE sin prior?

Ver solución

Scores: spam $0.4\times0.8 = 0.32$; ham $0.6\times0.1 = 0.06$. Posterior $= 0.32/0.38 = 0.842$. MAP ⇒ spam. MLE compara solo $0.8$ vs $0.1$ ⇒ también spam (aquí coinciden porque el likelihood domina).

Autoevaluación

0/4 correctas · 0 respondidas Reiniciar

1. El prior de una clase $k$ se estima como $\pi_k = N_k/K$ (entre el nº de clases).

a) Verdaderob) Falso

2. En la regla de Bayes, el denominador $p(\mathbf{x})$…

a) cambia al ganadorb) es igual para todas las clases y se puede ignorar al decidirc) es el priord) es la verosimilitud

3. Un modelo generativo modela…

a) solo $P(y\mid\mathbf{x})$b) $p(\mathbf{x}\mid y)$ y $P(y)$c) solo la fronterad) el margen

4. Si todos los priors son iguales, MAP y MLE…

a) difieren siempreb) coincidenc) no existend) dan probabilidades negativas

↔ Conexiones con otros temas

Precision = posteriorLa precision de un test es P(enfermo | +): Bayes con tasa base.Prior, likelihood, posteriorEl repaso de probabilidad de la sesión 00.DiscriminativoLa logística se salta la densidad y ajusta P(y|x) directo.MAP como regularizaciónUn prior sobre los parámetros actúa como una penalización.

Para profundizar

interactivoSeeing Theory · Bayesian inferenceTeorema de Bayes, prior y posterior con visualizaciones de Brown University.video3Blue1Brown · Bayes theoremBayes con frecuencias naturales: el mismo truco del árbol de 10 000 personas.apuntesStanford CS229 · Lecture notesNotas de Andrew Ng: GLMs, modelos generativos, SVM y kernels con derivaciones.

Fuente ·ML_Course_Generative_Probabilistic_Models.pdf (slides 3–15)