Matriz de confusión, F1 y ROC

💡En simple: lee esto primero

Acertar «en general» no basta: hay que mirar qué tipo de errores comete el modelo, porque no todos cuestan lo mismo.

Imagínalo así

Un detector de cáncer que dice «sano» a todos acierta el 99 % si casi nadie tiene cáncer… y es inútil. Por eso contamos por separado las falsas alarmas y los casos que se escaparon.

Lo que tienes que llevarte

• Precision: de los que marqué como positivos, ¿cuántos lo eran? (pocas falsas alarmas).
• Recall: de los positivos reales, ¿cuántos encontré? (que no se me escape ninguno).
• F1 combina ambos; la curva ROC muestra qué pasa al mover el umbral.

Palabras raras de esta página

matriz de confusión

tabla de aciertos y errores: verdaderos/falsos positivos y negativos.

falso positivo

falsa alarma: dije «sí» y era «no».

falso negativo

se me escapó: dije «no» y era «sí».

AUC

el área bajo la curva ROC: 1 = perfecto, 0.5 = tirar una moneda.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

Accuracy: el primer número

$$\text{accuracy} = \frac{\text{predicciones correctas}}{\text{todas las predicciones}}$$

Va de 0 a 1, más alto es mejor (ojo: no es «incorrectas / total», pregunta del banco). Tamizando a 10 000 personas por una enfermedad con 1% de prevalencia, un modelo acierta 9 680: 96.8%, suena excelente. Pero trata igual todos los errores y no dice de qué tipo son.

La accuracy miente con clases desbalanceadas

«Siempre di sano» en ese tamizaje saca 99% de accuracy y 0% de recall: no atrapa a nadie. Un tamizaje de cáncer que nunca dice «positivo» es muy «preciso» y completamente peligroso.

La matriz de confusión

	predice 0 (negativo)	predice 1 (positivo)
real 0	TN (verdadero negativo)	FP (falsa alarma, «gritó lobo»)
real 1	FN (se escapó)	TP (verdadero positivo)

La diagonal son los aciertos (TN, TP); fuera de ella, los dos tipos de error. Con «positivo = tiene la enfermedad»: FN = enfermo declarado sano (el error peligroso en un tamizaje); FP = sano marcado como enfermo.

Ejemplo de la slide (10 000 personas, 1%): TN = 9 600, FP = 300, FN = 20, TP = 80.

Precision, recall y F1

$$\text{precision} = \frac{TP}{TP+FP}\;\;\text{(de los que marqué, ¿cuántos eran?)}\qquad \text{recall} = \frac{TP}{TP+FN}\;\;\text{(de los reales, ¿cuántos atrapé?)}$$ $$F_1 = \frac{2PR}{P+R}\quad\text{(media armónica)}$$

En el ejemplo: precision $=80/380 = 0.21$, recall $=80/100 = 0.80$, $F_1 = \frac{2(0.21)(0.80)}{1.01} = 0.33$. La media aritmética sería 0.51; la armónica se queda cerca del menor de los dos, así que no se puede «hacer trampa» sacando uno alto y el otro bajo. Un veredicto mucho más sobrio que 96.8%.

Se intercambian: bajar el umbral atrapa más enfermos (recall ↑, FN ↓) pero sube las falsas alarmas (precision ↓).

Conexión con Bayes

Esa precision de 21% es exactamente $P(\text{enfermo}\mid +)$ del árbol de Bayes: un caso vivo de $P(A\mid B)\ne P(B\mid A)$. El recall es $P(+\mid\text{enfermo})$, la sensibilidad.

Calculadora de métricas: elige un escenario o escribe tu matriz

Tamizaje (slide)Cáncer de mama (slide)Filtro de spamFraude con tarjeta«Siempre negativo»

10 000 personas, 1% enfermas

predice negativo

predice positivo

real negativo

TN · verdadero negativo

FP · falsa alarma

real positivo

FN · se escapó

TP · verdadero positivo

accuracy96.8%

precision21.1%

recall (sensibilidad, TPR)80.0%

especificidad (TNR)97.0%

FPR = 1 − especificidad3.0%

F10.333

accuracy balanceada88.5%

prevalencia real1.0%

$$\text{prec} = \tfrac{80}{80+300} = 0.211,\quad \text{rec} = \tfrac{80}{80+20} = 0.800,\quad F_1 = \tfrac{2PR}{P+R} = 0.333$$

Aquí un FN (enfermo que se escapa) es lo más caro: se prioriza el recall y los positivos se confirman con una segunda prueba.

Regla para elegir: si un FN es caro (enfermedad, fraude que se escapa) ⇒ prioriza recall y baja el umbral. Si un FP es caro (bloquear a un cliente legítimo, mandar un correo importante a spam) ⇒ prioriza precision y sube el umbral. F1 equilibra ambos cuando los dos importan.

Más métricas que conviene conocer

Métrica	Fórmula	Cuándo mirarla
Especificidad (TNR)	$TN/(TN+FP)$	cuántos sanos se descartan bien (pareja de la sensibilidad en medicina)
FPR	$FP/(FP+TN) = 1-$ especificidad	eje x de la ROC
Accuracy balanceada	$(\text{TPR} + \text{TNR})/2$	clases desbalanceadas, alternativa honesta a la accuracy
$F_\beta$	$(1+\beta^2)\frac{PR}{\beta^2P + R}$	$\beta > 1$ prioriza recall; $\beta < 1$ prioriza precision
Curva PR / AP	precision vs recall al mover el umbral	positivos muy raros (fraude): más informativa que la ROC

Barriendo el umbral: la curva ROC

El 0.5 es solo una elección. Moviéndolo, TPR (= recall) y FPR $=\frac{FP}{FP+TN}$ se intercambian. La ROC grafica ese trade-off para todos los umbrales; el AUC (área bajo la curva) resume la calidad del ranking: 1.0 perfecto, 0.5 azar. ROC/AUC juzgan los scores independientemente de dónde pongas el umbral; luego eliges el punto de operación que tu aplicación necesita.

El umbral es una perilla

El modelo produce un score (p. ej. la probabilidad). Todo lo que supera el umbral se declara positivo. Las curvas están escaladas por la prevalencia: con 1% de enfermos, la campana naranja es diminuta.

umbral 1.88separación d′ (calidad del modelo) 2.72prevalencia 1%

Tamizaje de la slide (1%)«Siempre di sano»Clases balanceadas

sanos (negativos)enfermos (positivos)ROC · AUC = 0.973umbral actual

predice −

predice +

real −

9,602TN

298FP · falsa alarma

real +

20FN · se escapa

80TP

accuracy96.8%

precision TP/(TP+FP)21.2%

recall TP/(TP+FN)80.0%

F1 = 2PR/(P+R)0.335

Accuracy de 96.8% pero F1 de 0.33: con clases desbalanceadas la accuracy miente. «Siempre di sano» saca 99% y recall 0.

🕵️

Caso de uso · bancaDetección de fraude: 0.2% de positivos

De 100 000 transacciones, 200 son fraude. Un modelo marca 1 050 como sospechosas y atrapa 150 fraudes:

• Accuracy 99.05% … pero «nunca marcar nada» saca 99.8%. La accuracy no sirve.
• Recall 75% (150 de 200) y precision 14% (150 de 1 050): por cada fraude real, el equipo revisa ~6 alertas falsas.
• La decisión es de costos: si revisar una alerta cuesta S/ 2 y un fraude no detectado cuesta S/ 800, conviene bajar el umbral aunque la precision caiga.
• Se reporta la curva PR y la precision en el top-k de alertas (lo que el equipo alcanza a revisar por día), no la accuracy.

Caso real: cáncer de mama

scikit-learn breast cancer: 569 casos, 30 features; logística estandarizada, partición estratificada 75/25. Accuracy 0.958, precision 0.967, recall 0.967, F1 0.967, ROC-AUC 0.995; confusión TN = 50, FP = 3, FN = 3, TP = 87: solo 3 malignos se escaparon.

Ejercicio

TP = 40, FP = 10, FN = 60, TN = 890. Calcula accuracy, precision, recall y F1. ¿Qué harías con el umbral si esto es un tamizaje?

Ver solución

• Accuracy $=(40+890)/1000 = 0.93$.
• Precision $=40/50 = 0.80$. Recall $=40/100 = 0.40$.
• $F_1 = 2(0.8)(0.4)/1.2 = 0.533$.

En un tamizaje los FN (enfermos que se escapan) son lo más caro: bajar el umbral para subir el recall, aceptando más falsas alarmas que luego se confirman con otra prueba.

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. La accuracy es el nº de predicciones incorrectas dividido entre el total.

a) Verdaderob) Falso

2. Con positivo = «tiene la enfermedad», ¿qué es VERDADERO?

a) Un FP es un enfermo declarado sanob) Los TN son los enfermos detectadosc) Un FN es un enfermo declarado sano; bajar el umbral reduce los FNd) La diagonal reúne los errores

3. ¿Qué es VERDADERO sobre F1?

a) media armónica de accuracy y precisionb) media armónica de precision y recall: $2PR/(P+R)$c) promedio aritmético de P y Rd) siempre queda por encima del mayor de P y R

4. Un AUC de 0.5 significa…

a) clasificador perfectob) ranking al azarc) recall de 50%d) umbral en 0.5

5. Subir el umbral de decisión normalmente…

a) sube recall y baja precisionb) sube precision y baja recallc) no cambia nadad) sube ambos

En código

from sklearn.metrics import (confusion_matrix, classification_report,
                             roc_auc_score, roc_curve, precision_recall_curve,
                             average_precision_score)

p = clf.predict_proba(X_test)[:, 1]
y_hat = (p >= 0.5).astype(int)
tn, fp, fn, tp = confusion_matrix(y_test, y_hat).ravel()   # ¡orden de sklearn!
print(classification_report(y_test, y_hat))                # precision, recall, F1 por clase
print('ROC-AUC', roc_auc_score(y_test, p), '· AP', average_precision_score(y_test, p))

# elegir el umbral en VALIDACIÓN para un recall mínimo de 0.95
prec, rec, thr = precision_recall_curve(y_val, clf.predict_proba(X_val)[:, 1])
t = thr[(rec[:-1] >= 0.95)].max()

↔ Conexiones con otros temas

Bayes y tasas baseLa precision de un test es un posterior; con prevalencia baja se desploma.El umbralLa logística entrega P(y=1|x); la clase (y la matriz) dependen del umbral.SVM sin probabilidadesEl SVM da un score con signo; para ROC basta, para probabilidades hace falta Platt.Probabilidades de un árbolp̂ de la hoja: extremas y mal calibradas en árboles profundos.

Para profundizar

interactivoMLU-Explain · Precision & RecallMueve el umbral y mira cómo cambian precision y recall.interactivoMLU-Explain · ROC & AUCLa curva ROC construida umbral por umbral.docsscikit-learn · Model evaluationPrecision, recall, F1, ROC-AUC y cómo elegir la métrica.cursoGoogle ML Crash CourseMódulos cortos con ejercicios: regresión, clasificación, métricas, regularización.

Fuente ·ML_Course_Logistic_Regression_and_Classification.pdf (slides 29–36) · ML_Course/session-04c-evaluation.ipynb · BANCO_DE_PREGUNTAS_ML_PART_1.pdf