Diplomado en Ciencia de Datos¶

Espacios vectoriales en los reales¶

Vectores, matrices, norma de un vector, geometría¶

Fuente: Wikipedia

Profesores¶

1. Campo Elías Pardo Turriago, cepardot@unal.edu.co
2. Alvaro Mauricio Montenegro Díaz, ammontenegrod@unal.edu.co
3. Daniel Mauricio Montenegro Reyes, dextronomo@gmail.com
4. Camilo José Torres Jiménez, Msc, cjtorresj@unal.edu.co

Asesora Medios y Marketing digital¶

4. Maria del Pilar Montenegro, pmontenegro88@gmail.com

Asistentes¶

1. Jessica López Mejia, jelopezme@unal.edu.co
2. Daniel Andrés Rojas, anrojasor@unal.edu.co

Introducción¶

En esta lección aprenderemos los conceptos básicos de espacios vectoriales en los reales con producto interno. Un espacio vectorial está constinuido por el conjunto de vectores (número infinito) de la misma dimesión. Los múmeros reales se pueden ver como vectores de una dimensión y se pueden representar en una recta, que denominamos la recta real. El conjunto de todos los números reales conforman us espacio vectorial y se nota $Re$. Dos números x y y pertenecen a $Re$ y se nota, $x \in \Re$, $y \in \Re$.

Las parejas ordenadas (si se cambia el orden se trata de una pareja distinta) de números reales, son vectores en $Re^2$, que son las infinitas parejas de dos números reales. Formalmente, la representación geométrica requiere de una métrica (distancia) que se define por medio de un producto interno. La geometría que conocemos desde la formación básica es una de ellas y podemos representar los vectores en $\Re^2$ como puntos en un plano cartesiano, definido por dos rectas perpendiculares y horizontal y la otra vertical, las dos perpendiculares. La generalización matemática de estos conceptos a cualquier dimensión $n$ es el conjunto infinito de vectores definidos en $\Re^n$.

Laa Geometría Euclidiana Multidimensional se soporta entonces en espacios vectoriales en $\Re^n$ dotados de un producto interno. Utilizaremos estos conceptos en las descripciones multivariadas de datos.

Para facilitar a quienes no han abordado el Álgebra Lineal, empezaremos con los vectores en $\Re^2$ y luego generalizaremos a $\Re^n$.

Vectores en $\Re^2$. Álgebra de vectores¶

Un vector en $\Re^2$ es una dupla de números reales. Sean x y y dos vectores en $\Re^2$: $\mathbf{x}=(x_1,x_2)$ y $\mathbf{y}=(y_1,y_2)$ por ejemplo $\mathbf{x} = (1,2)$ y $\mathbf{y} = (1,3)$. Se definen dos operaciones: suma y la multiplicación por escalar.

• Suma: $\mathbf{x} + \mathbf{y} = (x_1+y_1,x_2+y_2)$. Ejemplo: $(1,2)+(1,3)=(1+1,2+3) = (2,5)$

• Multiplicación por escalar: $c \mathbf{x} = (cx_1,cx_2)$. Ejemplo: sea $c=3$, $3 \mathbf{x} = 3(1,2) = (3,6)$

Se dice que $\Re^2$ dotado dotado de esas dos operaciones en un espacio vectorial, las duplas se llaman vectores y los elementos de las duplas se llaman componentes del vector. En la siguiente imagen (tomada del cuaderno sobre tensores) podemos reconocer varios vectores en $\Re^2$:

En una matriz $2 \times 2$, como la del ejemplo, se pueden ver:

• dos vectores fila en $\Re^2$: $(1,2)$ y $(3,4)$,
• dos vectores columna en $\Re^2$: $(1,3)$ y $(2,4)$.

En el tensor del ejemplo se pueden ver 4 vectores en $\Re^2$: $(1,2)$, $(3,2)$, $(1,7)$, $(5,4)$.

En Estadística escribimos los vectores como columnas, es decir como matrices, en $\Re^2$ ($2 \times 1$). Con esta opción estos 4 vectores son:

$$ \begin{bmatrix} 1 \\ 2 \end{bmatrix}, \begin{bmatrix} 3 \\ 2 \end{bmatrix}, \begin{bmatrix} 1 \\ 7 \end{bmatrix}, \begin{bmatrix} 5 \\ 4 \end{bmatrix} $$

Entonces los dos vectores fila de la matriz, los vemos como dos vectores transpuestos. La transpuesta de una matriz ($ \ \ ^{'}$, $^t$ o $^T$) se obtiene intercambiando filas por columnas.

Sea $\mathbf{A} = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}$ entonces la transpuesta de A es $\mathbf{A}^T = \begin{bmatrix} 1 & 3 \\ 2 & 4 \end{bmatrix}$

El transpuesto de un vector (columna) es el mismo vector pero escrito como una fila.

En esta sección hemos escrito unos cuantos vectores distintos, si los donotemos como $\mathbf{x}_i, \ i=1,2,\cdots$

$$ \mathbf{x}_1=\begin{bmatrix} 1 \\ 2 \end{bmatrix}, \ \mathbf{x}_2=\begin{bmatrix} 1 \\ 3 \end{bmatrix}, \ \mathbf{x}_3=\begin{bmatrix} 3 \\ 4 \end{bmatrix}, \ \mathbf{x}_4=\begin{bmatrix} 3 \\ 2 \end{bmatrix},\ \mathbf{x}_5=\begin{bmatrix} 1 \\ 7 \end{bmatrix},\ \mathbf{x}_6=\begin{bmatrix} 5 \\ 4 \end{bmatrix} $$

Podemos sumar los 6 vectores: $$ \sum_{i=1}^6 \mathbf{x}_i = \mathbf{x}_1+\mathbf{x}_2 + \mathbf{x}_3 + \mathbf{x}_4 + \mathbf{x}_5 + \mathbf{x}_6 = \begin{bmatrix} 1 \\ 2 \end{bmatrix} + \begin{bmatrix} 1 \\ 3 \end{bmatrix} + \begin{bmatrix} 3 \\ 4 \end{bmatrix} + \begin{bmatrix} 3 \\ 2 \end{bmatrix} + \begin{bmatrix} 1 \\ 7 \end{bmatrix} + \begin{bmatrix} 5 \\ 4 \end{bmatrix} = \begin{bmatrix} 1+1+3+3+1+5 \\ 2+3+4+2+7+4 \end{bmatrix} = \begin{bmatrix} 14 \\ 22 \end{bmatrix} $$

Si multiplicamos el vector suma por $\dfrac{1}{6}=0.167$ obtenemos el vector promedio de los 6 vectores: $$ \dfrac{1}{6}\ \begin{bmatrix} 14 \\ 22 \end{bmatrix} = \begin{bmatrix} 2.333 \\ 3.667 \end{bmatrix} $$ Hemos utilizado las dos operaciones básicas de los vectores: suma y multiplicación por escalar, que forman parte de la definición de espacio vectorial.

En R los podemos organizar en una matriz $2 \times 6$ y verificar los resultados, así:

Combinación lineal¶

Si se tienen $m$ vectores, el resultado de multiplicar cada uno de ellos por una constante (en general distinta) y sumar, se denomina combinación lineal. $$ \sum_{i=1}^m c_i \mathbf{x}_i = c_1x_1+c_2x_2+\cdots+c_ix_i+\cdots+c_mx_m $$

En el ejemplo de los 6 vectores, sean los $c_i$ $1, 2, 3, 4, 5, 6$ $$ \sum_{i=1}^6 c_i \mathbf{x}_i = 1\times\begin{bmatrix} 1 \\ 2 \end{bmatrix} \ + 2\times\begin{bmatrix} 1 \\ 3 \end{bmatrix} \ + 3\times\begin{bmatrix} 3 \\ 4 \end{bmatrix} \ +4\times\begin{bmatrix} 3 \\ 2 \end{bmatrix} \ + 5\times\begin{bmatrix} 1 \\ 7 \end{bmatrix} \ + 6\times\begin{bmatrix} 5 \\ 4 \end{bmatrix} = \begin{bmatrix} 1+2+9 +12+5 +30\\ 2+6+12+8 +35+24 \end{bmatrix} = \begin{bmatrix} 59 \\ 87 \end{bmatrix} $$

1. Haciendo la suma con un ciclo:

Nótese que la suma de los vectores es una combinación lineal con todos los $c_i$ iguales a 1. Y la media otra, con todos los $c_i = \frac{1}{6}.

Independencia lineal¶

Cuando se tiene un conjunto de vectores, sin que ninguno de ellos sea combinación lineal de los otros, se dice que los vectores son linealmente independientes.

En $\Re^2$ solo se pueden tener parejas de vectores linealmente independientes. Si se tienen tres vectores, por ejemplo, siempre uno de ellos se puede expresar como combinación lineal de los otros dos, si son linealmente independientes por parejas.

La dependencia lineal en $\Re^2$ de una pareja de vectores se detecta si uno de ellos es igual al otro por una constante, es decir que son colineales.

Base y base canónica¶

Cualquier pareja de vectores linealmente independientes es una base para $\Re^2$, la base más sencilla se llama base canónica.

La base canónica el espacio vectorial $\Re^2$ es: $\mathbf{e}_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix},\mathbf{e}_2 = \begin{bmatrix} 0 \\ 1 \end{bmatrix} $

En este caso los coeficientes para obtener un vector a partir del los dos son los mismos componentes del vector, por ejemplo: $$ \begin{bmatrix} 5 \\ 4 \end{bmatrix} = 5 \begin{bmatrix} 1 \\ 0 \end{bmatrix} + 4 \begin{bmatrix} 0 \\ 1 \end{bmatrix} $$

Todos estos conceptos tienen sentido en matemáticas como objetos abstractos. Sin embargo se pueden entender más fácilmente si le asociamos una representación geométrica. Para formalizar la representación geométrica

Distancia o métrica en $\Re^2$¶

Nótese que en campo se pueden establecer ángulos rectos, por ejemplo con tres varas de 3, 4, 5 metros, respectivamiente.

Sean los vectores $\mathbf{x}$ y $\mathbf{y}$ de $\Re^2$, se definen:

• el producto escalar de $\mathbf{x}$ y $\mathbf{y}$: $<\mathbf{x},\mathbf{y}> = \sum\limits_{i=1}^2 x_i y_i = x_1 y_1 + x_2 y_2$

el producto escalar $<\mathbf{x},\mathbf{x}> $ es $\sum\limits_{i=1}^2 x_i^2 = x_1^2 + x_2^2$

• la norma de x: $||x||=\sqrt{<\mathbf{x},\mathbf{x}>} $

• la distancia entre x y y: $d(\mathbf{x},\mathbf{y}) = ||\mathbf{x}-\mathbf{y}||$

• el coseno entre x y y: $cos(\mathbf{x},\mathbf{y}) = \dfrac{<\mathbf{x},\mathbf{y}>}{||x||||y||}$

• la ortogonalidad entre x y y: $\mathbf{x} \bot \mathbf{y} \ si \ <\mathbf{x},\mathbf{y}> = 0$

Ahora $\Re^2$ está dotado de una métrica (distancia) Euclidiana y tenemos una repesentación gráfica para los vectores.

Para los vectores de la base canónina su norma es un y el producto escalar (también se le dice producto punto entre los dos vectores es cero. $$ ||\mathbf{e}_1|| = 1 \ \ \ <\mathbf{e}_1,\mathbf{e}_2>=0 $$

Entonces la base canónica es una base ortonormal

Distancia o métrica en $\Re^2$¶

Fuente: Wikipedia

Sean los vectores $\mathbf{x}$ y $\mathbf{y}$ de $\Re^2$, se definen:

• el producto escalar de $\mathbf{x}$ y $\mathbf{y}$: $<\mathbf{x},\mathbf{y}> = \sum\limits_{i=1}^2 x_i y_i = x_1 y_1 + x_2 y_2$

el producto escalar $<\mathbf{x},\mathbf{x}> $ es $\sum\limits_{i=1}^2 x_i^2 = x_1^2 + x_2^2$

• la norma de x: $||x||=\sqrt{<\mathbf{x},\mathbf{x}>} $

• la distancia entre x y y: $d(\mathbf{x},\mathbf{y}) = ||\mathbf{x}-\mathbf{y}||$

• el coseno entre x y y: $cos(\mathbf{x},\mathbf{y}) = \dfrac{<\mathbf{x},\mathbf{y}>}{||x||||y||}$

• la ortogonalidad entre x y y: $\mathbf{x} \bot \mathbf{y} \ si \ <\mathbf{x},\mathbf{y}> = 0$

Ahora $\Re^2$ está dotado de una métrica (distancia) Euclidiana y tenemos una repesentación gráfica para los vectores.

Para los vectores de la base canónina su norma es un y el producto escalar (también se le dice producto punto entre los dos vectores es cero. $$ ||\mathbf{e}_1|| = 1 \ \ \ <\mathbf{e}_1,\mathbf{e}_2>=0 $$

Entonces la base canónica es una base ortonormal

Multiplicación matricial entre dos vectores en $\Re^2$¶

Fuente: Wikipedia

Los vectores en $\Re^2$, son también matrices de dimensión $2\times 1$, así que veamos cómo se define la multiplicación de dos matrices.

La matriz A se multiplica la matriz B y el resultado es la matriz C:

Cada multiplicacion de matrices se hace por la fórmula fila (matriz A) * columna (matriz B)

$ \mathbf{A} = \begin{bmatrix} 1 & 2\\ 3 & 4\end{bmatrix}$, $\mathbf{B} = \begin{bmatrix} 5 & 10\\ 20 & 30\end{bmatrix}$

Entonces se tiene que

$$ \mathbf{AB} = \begin{bmatrix} 1 & 2\\ 3 & 4\end{bmatrix} \begin{bmatrix} 5 & 10\\ 20 & 30\end{bmatrix} = \begin{bmatrix} 1\times 5 + 2 \times 20 & 1 \times 10 + 2\times 30 \\ 3\times 5 + 4 \times 20 & 3 \times 10 + 4 \times 30\end{bmatrix} = \mathbf{C} $$

Entonces los vectores en $\Re^2$ se pueden multiplicar matricialmente de dos formas:

• $\mathbf{x}^T \mathbf{y} = [x_1 \ \ x_2 ] \begin{bmatrix} y_1 \\ y_2 \end{bmatrix} = x_1 y_1 + x_2 y_2$ que es el producto escalar entre x y y

• $\mathbf{x} \mathbf{y}^T = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} [y_1 \ \ y_2] = \begin{bmatrix} x_1 y_1 & x_1 y_2 \\ x_2 y_1 & x_2 y_2 \end{bmatrix}$

El producto escalar entre dos vectores $\mathbf{x}$ y $\mathbf{x}$ en $\Re^2$, se nota y define así:

$$ <\mathbf{x},\mathbf{y}> = \mathbf{x}^T \mathbf{y} = x_1 y_1+x_2 y_2 = y_1 x_1 + y_2 x_2 = <\mathbf{y},\mathbf{x}> = \mathbf{y}^T \mathbf{x} $$

Los seis vectores son las columnas de la matriz X

El producto escalar $<\mathbf{x}_1,\mathbf{x}_2>$ es:

Nótese que si multiplicamos la transpuesta de X por X obtenemos los productos internos entre todos los vectores:

Las normas de los 6 vectores son las raíces cuadradas de la diagonal:

Productos escalares:

Distancias:

Representación geométrica en $\Re^2$¶

El espacio vectorial $\Re^2$ dotado del producto interno clásico permite hacer la representación gráfica en el plano. El el eje horizontal se genera con el vector $mathbf{e}_1$ y el eje vertical son el vector $mathbf{e}_2$. Las dos filas de X las podemos llamar $V_1$ y $V_2$ respectivamente.

Espacio vectorial $\Re^n$ con producto interno clásico¶

La generalización a cualquier espacio de dimensión $n$ es inmediata. Así se puede representan las tablas en espacios vectoriales.

Sea $\Re^n = \{(x_1,x_2 \cdots x^n) | x_i \in \Re,i=1,2 \cdots n \}$. En estadística se escriben en columnas $\mathbf{y}$ y $\mathbf{x}$: $$ \mathbf{x} =\begin{bmatrix} x_1 \\ \cdot \\ \cdot \\ \cdot \\ x_i \\ \cdot \\ \cdot \\ \cdot \\ x_n \end{bmatrix} \ \ \ \ \ \ \ \ \ \mathbf{y} =\begin{bmatrix} y_1 \\ \cdot \\ \cdot \\ \cdot \\ y_i \\ \cdot \\ \cdot \\ \cdot \\ y_n \end{bmatrix} $$

Suma¶

$$ \mathbf{x} + \mathbf{y} = \begin{bmatrix} x_1 \\ \cdot \\ \cdot \\ \cdot \\ x_i \\ \cdot \\ \cdot \\ \cdot \\ x_n \end{bmatrix} + \begin{bmatrix} y_1 \\ \cdot \\ \cdot \\ \cdot \\ y_i \\ \cdot \\ \cdot \\ \cdot \\ y_n \end{bmatrix} = \begin{bmatrix} x_1 + y_1 \\ \cdot \\ \cdot \\ \cdot \\ x_i + y_i \\ \cdot \\ \cdot \\ \cdot \\ x_n + y_n \end{bmatrix} $$

Multiplicación por escalar¶

$$ c\mathbf{x} = \begin{bmatrix} c x_1 \\ \cdot \\ \cdot \\ \cdot \\ c x_i \\ \cdot \\ \cdot \\ \cdot \\ c x_n \end{bmatrix} $$

El espacio vectorial $\Re^n$ tiene dimensión $n$ y sus vectores $n$ componentes

Combinación lineal en $\Re^n$¶

Si se tienen $m$ vectores, el resultado de multiplicar cada uno de ellos por una constante (en general distinta) y sumar, se denomina combinación lineal. $$ \sum_{i=1}^m c_i \mathbf{x}_i $$

Vectores linealmente independientes en $\Re^n$¶

Cuando se tiene un conjunto de vectores, sin que ninguno de ellos sea combinación lineal de los otros, se dice que los vectores son linealmente independientes.

En $\Re^n$ se pueden tener hasta $n$ de vectores linealmente independientes. Si se tienen $n+1$ vectores, por ejemplo, siempre uno de ellos se puede expresar como combinación lineal de los otros $n$ vectores que son linealmente independientes.

Un conjunto de $n$ vectores linealmente independiente es una base para el espacio vectorial $\Re^n$, se dice que la dimensión del espacio vetorial es $n$.

Base canónica en $\Re^n$¶

La base canónica el espacio vectorial $\Re^2$ es: $$ \mathbf{e}_1 = \begin{bmatrix} 1 \\ . \\ . \\ . \\ 0 \\ . \\ . \\ . \\ 0 \end{bmatrix},\mathbf{e}_2 = \begin{bmatrix} 0 \\ . \\ . \\ . \\ 1 \\ . \\ . \\ . \\ 0 \end{bmatrix} \cdots \mathbf{e}_n = \begin{bmatrix} 0 \\ . \\ . \\ . \\ . \\ . \\ . \\ . \\ 1 \end{bmatrix} $$

Obsérvese que la base canónica son las columnas de la matriz identidad $\mathbf{I}_n$: matriz diagonal de unos $n \times n$,

$$ \mathbf{I}_n = \begin{bmatrix} 1 & 0 & . & . & . & . & 0 \\ 0 & 1 & . & . & . & . & 0 \\ 0 & 0 & . & . & . & . & 0 \\ 0 & 0 & . & . & . & . & 0 \\ 0 & 0 & . & . & . & . & 0 \\ 0 & 0 & . & . & . & . & 0 \\ 0 & 0 & . & . & . & . & 1 \\ \end{bmatrix} $$

Subespacios vectoriales de $\Re^n$¶

Si cuando se tienen $q$ vectores linealmente independientes y si $q \le n$ se dice que $\Re^q$ es un subespacio vectorial de $\Re^n$ si $q$ es igual a:

• 1 : líneas
• 2 : planos
• 3 : 3D
• q : $\Re^q$
• n : $\Re^n$

Producto escalar clásico, métrica y geometría multidimensional¶

Fuente: Wikipedia

Sean los vectores $\mathbf{x}$ y $\mathbf{y}$ de $\Re^n$, se definen:

• el producto escalar de $\mathbf{x}$ y $\mathbf{y}$: $<\mathbf{x},\mathbf{y}> = \sum\limits_{i=1}^n x_i y_i = \mathbf{x}^T \mathbf{y} $

el producto escalar $<\mathbf{x},\mathbf{x}> $ es $\sum\limits_{i=1}^n x_i^n = \mathbf{x}^T \mathbf{x}$

• la norma de x: $||x||=\sqrt{<\mathbf{x},\mathbf{x}>} $

• la distancia entre x y y: $d(\mathbf{x},\mathbf{y}) = ||\mathbf{x}-\mathbf{y}||$

• el coseno entre x y y: $cos(\mathbf{x},\mathbf{y}) = \dfrac{<\mathbf{x},\mathbf{y}>}{||x||||y||}$

• la ortogonalidad entre x y y: $\mathbf{x} \bot \mathbf{y} \ si \ <\mathbf{x},\mathbf{y}> = 0$

Ahora $\Re^n$ está dotado de una métrica (distancia) Euclidiana y tenemos una repesentación gráfica abstracta (cuando $n > 3$ para los vectores.

Para los vectores de la base canónina su norma es un y el producto escalar o punto entre los dos vectores es cero. $$ ||\mathbf{e}_i|| = 1 \ \ \ <\mathbf{e}_i,\mathbf{e}_l>=0 \ \ \forall i \neq l $$

Entonces la base canónica es una base ortonormal

Transformaciones lineales¶

Una transformación lineal T es función lineal que va de un espacio vectorial en otro. Se dice lineal porque cumple:

• $T(\mathbf{x} + \mathbf{y}) = T(\mathbf{x}) +T( \mathbf{y})$
• $T(c \mathbf{x}) = c T(\mathbf{x})$.

Hay una relación uno a uno entre transformaciones lineales y matrices, es decir:

• Toda transformación lineal tiene asociada una matriz
• Toda matriz define una transformación lineal.

Proyección ortogonal sobre un vector¶

Fuente: Wikipedia

Por ejemplo en $\Re^2$ proyección del vector $\mathbf{x}$ sobre el vector $\mathbf{y}$ Sea $\mathbf{P}$ la transformación y la matriz asociada: $$ P: \Re^2 \longrightarrow \Re $$

La matriz $\mathbf{P} = \mathbf{y}^T = [ y_1 \ \ y_2 ]$ y el resultado es: $$ \mathbf{y}^T \mathbf{x} $$ Nótese que su valor es igual a producto escalar entre x y y $$ <\mathbf{x},\mathbf{y}> = \mathbf{x}^T\mathbf{y} = \mathbf{y}^T \mathbf{x} $$

Rotación en $\Re^2$¶

$$ A: \Re^2 \longrightarrow \Re^2 $$

$$ \mathbf{A} =\begin{bmatrix} \cos \theta & -\sin \theta \\ \cos \theta & \sin \theta \end{bmatrix} $$

• $\theta$ representa el ángulo de rotación. Si En $\theta = \pi/4$ la rotación es de $45^o$.

Diagonalización de una matriz: valores y vectores propios¶

Una matriz $\mathbf{V}$ define una transformación lineal de $\Re^n$ en $\Re^n$ $$ \mathbf{V}: \Re^n \longrightarrow \Re^n $$ $\mathbf{w} = \mathbf{Vu}$ Cuando la transformación cumple $$ \mathbf{V} \mathbf{u} = \lambda \mathbf{u} $$ es decir $\mathbf{w}=\lambda \mathbf{u}$ el vector $\mathbf{u}$ multiplicado por la constante $\lambda$, se dice que $\lambda$ es un valor propio de $\mathbf{V}$ y $\mathbf{u}$ es un vector propio asociado.

Ejercicio¶

construir un ejemplo en $\Re^2$

Rango de una matriz¶

Si $\mathbf{V}$ es una matriz definida positiva la matriz es de rango completo, es decir $n$. Si es semidefinida positiva el rango es el número de valores propios mayores que 0.

FIN Email: cepardot@unal.edu.co