Las matemáticas que usarás

💡En simple: lee esto primero

Solo necesitas tres herramientas: vectores (para guardar datos), probabilidad (para la incertidumbre) y derivadas (para ir mejorando el modelo).

Imagínalo así

Piensa en una receta: el álgebra lineal son los ingredientes ordenados en la mesa, la probabilidad es saber que el horno no siempre calienta igual, y el cálculo es probar la sopa y ajustar la sal poco a poco.

Lo que tienes que llevarte

• Un vector es una lista de números; una matriz, una tabla. Cada ejemplo de tus datos es un vector.
• El producto punto mide qué tanto «apuntan en la misma dirección» dos vectores: es la operación más usada de todo el curso.
• El gradiente te dice hacia dónde sube más rápido una función; para bajar, caminas al revés.

Palabras raras de esta página

norma

el largo de un vector.

autovalor / autovector

direcciones en que una matriz solo estira (no gira) las cosas, y cuánto las estira.

convexo

una función con forma de tazón: un solo fondo, imposible perderse.

distribución normal (gaussiana)

la típica campana: la mayoría de valores cerca del promedio y pocos en los extremos.

Más abajo viene la versión completa, con fórmulas. Si una palabra aparece subrayada con puntos, pasa el mouse (o tócala) para ver qué significa.

Tres herramientas aparecen una y otra vez:

• Álgebra lineal escribe los datos y el modelo.
• Probabilidad y estadística dicen qué tan seguros estamos.
• Cálculo y optimización ajustan el modelo a los datos.

Las tres caben en una sola línea, que es literalmente «entrenar»:

$$\theta^\star = \arg\min_\theta\; \underbrace{\frac1n \sum_{i=1}^n}_{\text{estadística}} \ell\big(\underbrace{h_\theta(\mathbf{x}_i)}_{\text{álgebra lineal}},\,y_i\big)\quad\longleftarrow\ \text{optimización}$$

¿Dónde aparece cada herramienta en el curso?

Herramienta	Qué hace	Dónde la usarás
Producto punto $\mathbf{w}^\top\mathbf{x}$	puntaje lineal, similitud, proyección	regresión, logística, SVM (distancia a la frontera), kernels
Normas $\ell_1$, $\ell_2$	tamaño de un vector, distancia	ridge, lasso, margen $2/\Vert\mathbf{w}\Vert$, kernel RBF
Inversa / sistemas lineales	resolver $\mathbf{A}\mathbf{w}=\mathbf{b}$	ecuaciones normales, kernel ridge $(\mathbf{K}+\lambda\mathbf{I})^{-1}\mathbf{y}$
Autovalores	ejes y curvatura	forma del bowl de $\mathbf{X}^\top\mathbf{X}$, PSD de kernels, PCA
Gaussiana	ruido, densidad de clase	MSE = MLE, Naive Bayes, LDA/QDA, RBF
Regla de Bayes	invertir condicionales	clasificadores generativos, precision de un test
Esperanza / varianza	promedios teóricos	riesgo $R(h)$, sesgo–varianza
Gradiente	dirección de máximo aumento	descenso de gradiente, logística, lasso (subgradiente)
Lagrange / KKT	optimizar con restricciones	SVM (dual, vectores de soporte)
Convexidad	un solo valle	garantías de OLS, logística, SVM

Álgebra lineal: datos y modelos

Escalares, vectores, matrices, tensores

Un dataset es una matriz $\mathbf{X}\in\mathbb{R}^{n\times d}$: una fila por ejemplo, una columna por feature. Una imagen a color es un tensor $\mathbb{R}^{H\times W\times 3}$.

El producto punto: similitud y score

$$\mathbf{a}^\top\mathbf{b} = \sum_k a_k b_k = \|\mathbf{a}\|\,\|\mathbf{b}\|\cos\theta$$

Positivo = apuntan parecido; 0 = ortogonales; negativo = opuestos. Dividido por $\|\mathbf{b}\|$ es la sombra (proyección) de $\mathbf{a}$ sobre $\mathbf{b}$. Un modelo lineal puntúa con un producto punto: $h_\mathbf{w}(\mathbf{x}) = \mathbf{w}^\top\mathbf{x}$.

Donde vuelve a aparecer

• En regresión, cada predicción es el producto punto de una fila de $\mathbf{X}$ con $\mathbf{w}$.
• En SVM, $\mathbf{w}^\top\mathbf{x}/\|\mathbf{w}\|$ es la distancia (con signo) a la frontera.
• En kernels, reemplazamos $\mathbf{x}_i^\top\mathbf{x}_j$ por una similitud $K(\mathbf{x}_i,\mathbf{x}_j)$.

Normas: longitud y distancia

$$\|\mathbf{v}\|_2 = \sqrt{v_1^2 + v_2^2 + \dots},\qquad \|\mathbf{v}\|_1 = |v_1| + |v_2| + \dots$$

La «bola unitaria» de $\ell_2$ es un círculo; la de $\ell_1$ es un rombo. Esa diferencia de forma es exactamente por qué el lasso produce ceros (ridge y lasso).

Matrices como transformaciones y eigenvectores

Una matriz transforma el espacio: el círculo unitario se vuelve una elipse. Un modelo lineal es una sola multiplicación $\hat{\mathbf{y}} = \mathbf{X}\mathbf{w}$. Los eigenvectores son direcciones que la matriz solo estira: $\mathbf{A}\mathbf{v} = \lambda\mathbf{v}$. Los eigenvectores de la matriz de covarianza son los ejes principales de los datos (PCA), y los de $\mathbf{X}^\top\mathbf{X}$ fijan la forma del «bowl» del costo (por eso importa escalar features).

Probabilidad: incertidumbre

Distribuciones y la gaussiana

Las muestras forman un histograma; una densidad lo idealiza. La media $\mu$ es el centro; la varianza $\sigma^2$, la dispersión. La normal es el modelo de ruido por defecto (la suma de muchos efectos pequeños tiende a ser gaussiana):

$$p(x) = \frac{1}{\sigma\sqrt{2\pi}}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\qquad\text{regla } 68/95/99.7 \text{ en } \pm1\sigma,\pm2\sigma,\pm3\sigma$$

Correlación y covarianza

La correlación dice si dos variables se mueven juntas ($\rho\in[-1,1]$). Apilando todas las covarianzas se obtiene la matriz de covarianza $\Sigma$, cuya forma es una elipse: es la pieza central de LDA y QDA.

Prior, likelihood, posterior y la regla de Bayes

$$\underbrace{P(A\mid B)}_{\text{posterior}} = \frac{\overbrace{P(B\mid A)}^{\text{likelihood}}\;\overbrace{P(A)}^{\text{prior}}}{P(B)}\qquad\Longrightarrow\qquad \text{posterior}\propto\text{likelihood}\times\text{prior}$$

Con una enfermedad rara, las tasas base dominan: la mayoría de positivos son falsas alarmas. Compruébalo contando personas:

🩺

Caso de uso · saludMamografías: por qué un positivo no significa «tienes cáncer»

En tamizajes poblacionales, la prevalencia es baja (≈1%). Aunque el test detecte al 80% de los casos (sensibilidad) y solo dé 3% de falsas alarmas, de cada 380 positivos solo ≈80 están enfermos (21%). Por eso un positivo lleva a una segunda prueba más específica, no a un diagnóstico directo. Este razonamiento (posterior ∝ likelihood × prior) es exactamente el de los clasificadores bayesianos de la sesión 05, y el 21% es la precision de la sesión 04.

Bayes contando personas

Mueve el prior (prevalencia), la sensibilidad del test y su tasa de falsas alarmas. La pregunta del paciente es siempre la misma: dado que salí positivo, ¿qué tan probable es que esté enfermo?

Prevalencia (prior) 1%Sensibilidad p(+|enfermo) 80%Falsa alarma p(+|sano) 3%

positivos totales377

de ellos, enfermos80

P(enfermo | +)21.2%

likelihood p(+|enfermo)80%

$$P(\text{enf}\mid +) = \frac{\pi\,p(+\mid\text{enf})}{\pi\,p(+\mid\text{enf}) + (1-\pi)\,p(+\mid\text{sano})} = \frac{0.010\cdot 0.80}{0.010\cdot 0.80 + 0.990\cdot 0.030} \approx 0.212$$

La mayoría de positivos son falsas alarmas: la tasa base (prior) domina. Nota que P(+|enfermo) = 80% pero P(enfermo|+) = 21%: invertir la barra «|» cambia la pregunta.

Esperanza y ley de los grandes números

El riesgo $R(h)=\mathbb{E}[\ell(h(\mathbf{x}),y)]$ es una esperanza. Los promedios muestrales se acercan a ella cuando $n$ crece: por eso más datos ayudan.

Cálculo y optimización: entrenar

• Derivada = pendiente. En un mínimo la pendiente es 0.
• Gradiente $\nabla J$: el vector de pendientes; apunta cuesta arriba (máximo aumento). Para minimizar se da un paso en $-\nabla J$.
• Descenso de gradiente: $\theta \leftarrow \theta - \eta\,\nabla J(\theta)$. La tasa de aprendizaje $\eta$ es la perilla clave: muy pequeña se arrastra, muy grande diverge.
• Convexo vs no convexo: con un solo valle (regresión lineal y logística) cualquier camino cuesta abajo gana; con muchos valles (redes profundas) buscamos un buen mínimo local.

Ejemplo con números: gradiente de una función de dos variables

1. Sea $J(w_1,w_2) = w_1^2 + 3w_2^2$ (un bowl alargado). Las derivadas parciales son $\partial J/\partial w_1 = 2w_1$ y $\partial J/\partial w_2 = 6w_2$, así que $\nabla J = (2w_1,\ 6w_2)$.
2. En $\mathbf{w} = (2,\ 1)$: $J = 4 + 3 = 7$ y $\nabla J = (4,\ 6)$. El gradiente apunta cuesta arriba, más empinado en $w_2$ (curvatura 3 veces mayor).
3. Un paso con $\eta = 0.1$: $\mathbf{w} \leftarrow (2,1) - 0.1\,(4,6) = (1.6,\ 0.4)$, y ahora $J = 2.56 + 0.48 = 3.04$. Bajó de 7 a 3.04.
4. Con $\eta = 0.4$: $(2,1) - 0.4(4,6) = (0.4,\ -1.4)$, $J = 0.16 + 5.88 = 6.04$: en $w_2$ se pasó del valle (el factor $1 - 6\eta = -1.4$ tiene valor absoluto > 1). Converge solo si $\eta < 2/6$.
5. Moraleja: la dirección más curva limita la tasa de aprendizaje. Si las features tuvieran la misma escala (curvaturas parecidas) podríamos usar un $\eta$ más grande: es el argumento de estandarizar.

← AnteriorSiguiente paso →Ver todoReiniciar

Rueda cuesta abajo: descenso de gradiente

Regla: w ← w − η·J′(w). Arrastra el punto de inicio con el slider y observa qué hace la tasa de aprendizaje η. Prueba los valores de la slide: 0.04, 0.3, 0.9 y 1.04.

Convexa: J(w) = (w − 1)²No convexa: dos valles

Tasa de aprendizaje η 0.3Inicio w₀ -2.5

ReproducirUn pasoReiniciar

iteración0

w actual-2.500

J(w)12.250

pendiente J′(w)-7.000

η = 0.3: buena: baja directo. Aquí cada paso multiplica la distancia al mínimo por (1 − 2η) = 0.40: converge si |1 − 2η| < 1, es decir 0 < η < 1. La línea roja es la tangente: su pendiente es el gradiente.

Autoevaluación

0/5 correctas · 0 respondidas Reiniciar

1. La bola unitaria de la norma $\ell_1$ en 2-D tiene forma de…

a) círculob) rombo (diamante)c) cuadrado alineado a los ejesd) elipse

2. Test con 80% de sensibilidad y 3% de falsas alarmas; prevalencia 1%. ¿$P(\text{enfermo}\mid +)$ aprox.?

a) 80%b) 97%c) 21%d) 1%

3. En $w \leftarrow w - \eta\nabla J$, ¿por qué el signo menos?

a) Por convenciónb) Porque el gradiente apunta cuesta arribac) Para que $\eta$ sea positivod) Porque $J$ es negativo

4. Con $J(w)=(w-1)^2$, ¿para qué $\eta$ el descenso diverge?

a) $\eta = 0.3$b) $\eta = 0.9$c) $\eta = 1.04$d) $\eta = 0.04$

5. ¿Qué garantiza la convexidad?

a) Que el gradiente nunca es cerob) Que todo mínimo local es globalc) Que no hace falta tasa de aprendizajed) Que la solución es única siempre

↔ Conexiones con otros temas

Ecuaciones normalesÁlgebra lineal pura: proyección sobre el espacio columna.Clasificadores bayesianosLa regla de Bayes convertida en un clasificador (MAP).Descenso de gradiente en 2-DCurvas de nivel, escalado de features y SGD.Geometría del SVMProducto punto como proyección y distancia a un hiperplano.

Para profundizar

libroMathematics for Machine LearningDeisenroth, Faisal y Ong: el libro de la sesión de fundamentos (gratis).video3Blue1Brown · Essence of linear algebraMatrices como transformaciones, producto punto, eigenvectores: la base visual.video3Blue1Brown · Bayes theoremBayes con frecuencias naturales: el mismo truco del árbol de 10 000 personas.interactivoSeeing Theory (Brown)Probabilidad y estadística visual: esperanza, varianza, distribuciones.videoStatQuest · Gradient Descent, Step-by-Step24 min: descenso de gradiente sobre una recta, a mano.

Fuente ·ML_Course_Math_Foundations.pdf (sesión complementaria)