第2章 向量空间与矩阵
2.1 向量与矩阵
$n$维列向量：含有$n$个数的数组，记为
$$\mathbf{a}=\begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}$$
$a_i$表示向量$a$的第$i$个元素。
定义$\mathbb{R}$为全体实数组成的集合，则由实数组成的$n$维列向量可表示为$\mathbb{R}^n$，称为$n$维实数向量空间。
$n$维行向量记为
$$\mathbf{a}=\left[a_1, a_2, \dots, a_n \right]$$
向量$\mathbf{a}$的转置记为$\mathbf{a}^\top$。如果
$$\mathbf{a}=\begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}$$
则
$$\mathbf{a}^\top=\left[a_1, a_2, \dots, a_n \right]$$
相应的，可记为
$$\mathbf{a}=\left[a_1, a_2, \dots, a_n \right]^\top$$
给定向量$\mathbf{a}=\left[a_1, a_2, \dots, a_n \right]^\top$和向量$\mathbf{b}=\left[b_1, b_2, \dots, b_n \right]^\top$，如果$a_i=b_i,i=1,2,\dots,n$，则两个向量相等。
向量加法运算： $$\mathbf{a}+\mathbf{b}=\left[a_1+b_1, a_2+b_2, \dots, a_n+b_n \right]^\top$$
向量加法运算的性质：
使得 $$\mathbf{a}+\mathbf{0}=\mathbf{0}+\mathbf{a}=\mathbf{a}$$
向量减法运算： $$\mathbf{a}-\mathbf{b}=\left[a_1-b_1, a_2-b_2, \dots, a_n-b_n \right]^\top$$ $$\mathbf{0}-\mathbf{b}=-\mathbf{b}$$
向量减法运算性质： $$\mathbf{b}+\{\mathbf{a}-\mathbf{b}\}=\mathbf{a} \\ -\left(-\mathbf{b}\right)=\mathbf{b} \\ -\left(\mathbf{a}-\mathbf{b}\right)=\mathbf{b}-\mathbf{a}$$
设$\mathbf{x}=\left[x_1,x_2,\dots,x_n\right]^\top$是$\mathbf{a}+\mathbf{x}=\mathbf{b}$的解，有
$$a_1+x_1=b_1 \\a_2+x_2=b_2 \\ \vdots \\ a_n+x_n=b_n$$
则$$\mathbf{x}=\mathbf{b}-\mathbf{a}$$
即向量$\mathbf{b}-\mathbf{a}$是向量方程$\mathbf{a}+\mathbf{x}=\mathbf{b}$的唯一解。
标量向量乘法运算: $$\alpha\mathbf{a}=\left[\alpha a_1, \alpha a_2, \dots, \alpha a_n \right], \quad \alpha \in \mathbb{R}, \mathbf{a} \in \mathbb{R}^n$$
标量向量乘法运算性质：
\left(\alpha+\beta\right)\mathbf{a}=\alpha\mathbf{a}+\beta\mathbf{a}$$ 2. 结合性 $\alpha\left(\beta\mathbf{a}\right)=\left(\alpha\beta\right)\mathbf{a}$ 3. 标量１满足 $1\mathbf{a}=\mathbf{a}$ 4. 任意标量$\alpha$满足 $\alpha\mathbf{0}=\mathbf{0}$ 5. 标量０满足 $0\mathbf{a}=\mathbf{0}$ 6. 标量-1满足 $\left(-1\right)\mathbf{a}=-\mathbf{a}$
如果方程$$\alpha_1\mathbf{a}_1+\alpha_2\mathbf{a}_2+\dots+\alpha_k\mathbf{a}_k=\mathbf{0}$$中所有的系数$\alpha_i\left(i=1,2,\dots,k\right)$都等于零，则称向量集合$\{\mathbf{a_1},\mathbf{a_2},\dots,\mathbf{a_k}\}$是线性无关的，否则称为线性相关的．
如果向量集合中只包含一个$\mathbf{0}$向量元素，由于对于任意$\alpha\neq0$，都有$\alpha\mathbf{0}=\mathbf{0}$，因此该集合是线性相关的．所有包含$\mathbf{0}$向量的集合都是线性相关的．
如果集合中只包括单个非零向量$\mathbf{a}\neq\mathbf{0}$，只有$\alpha=0$时，才有$\alpha\mathbf{0}=\mathbf{0}$成立，因此该集合是线性无关的．
给定向量$\mathbf{a}$，如果存在标量$\alpha_1,\alpha_2,\dots,\alpha_k$，使得 $$\mathbf{a}=\alpha_1\mathbf{a}_1+\alpha_2\mathbf{a}_2+\dots+\alpha_k\mathbf{a}_k$$ 则称向量$\mathbf{a}$为$\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k$的线性组合．
命题２.1 向量结合$\{\mathbf{a_1},\mathbf{a_2},\dots,\mathbf{a_k}\}$是线性相关的，当且仅当集合中的一个向量可以表示为其他向量的线性组合．
令$\mathcal{V}\subset\mathbb{R}^n$，如果对于$\mathbf{a},\mathbf{b}\in\mathcal{V}$，都有$\mathbf{a}+\mathbf{b}\in\mathcal{V},\alpha\mathbf{a}\in\mathcal{V}$（$\alpha$为任意标量），即$\mathcal{V}$在向量加法运算和标量向量乘法运算下是封闭的，则称$\mathcal{V}$为$\mathbb{R}$的子空间．
令$\mathbf{a}\in\mathcal{V}$，因为$\left(-1\right)\mathbf{a}=-\mathbf{a}$，所以$-\mathbf{a}\in\mathcal{V}$；因为$\mathbf{a}+\left(-\mathbf{a}\right)=\mathbf{0}$，所以$\mathbf{0}\in\mathcal{V}$，即每个子空间都包含$\mathbf{0}$向量．
设$\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\in\mathbb{R}$，它们所有线性组合的集合记为
$$span\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\right]=\left\{\sum_{i=1}^{k}\alpha_i\mathbf{a}_i:\alpha_1,\alpha_2,\dots,\alpha_k\in\mathbb{R}\right\}$$
称为$\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k$张成的子空间．
对于向量$\mathbf{a}$，子空间$span\left[\mathbf{a}\right]$由向量$\alpha\mathbf{a}$组成，其中$\alpha\in\mathbb{R}$．
如果向量$\mathbf{a}$可表示为$\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k$的线性组合，则 $$\mathrm{span}\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k,\mathbf{a}\right]=\mathrm{span}\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\right]$$
给定子空间$\mathcal{V}$，如果存在线性无关的向量集合$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}\subset\mathcal{V}$使得$\mathcal{V}=\mathrm{span}\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\right]$，则称$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}$是子空间$\mathcal{V}$的一组基．子空间$\mathcal{V}$中的所有基都包含相同数量的向量，这一数量称为$\mathcal{V}$的维数，记为$\mathrm{dim}\mathcal{V}$．
命题２.2 如果$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}$是子空间$\mathcal{V}$的一组基，则$\mathcal{V}$中的任意向量$\mathbf{a}$都可以唯一的表示为 $$\mathbf{a}=\alpha_1\mathbf{a}_1+\alpha_2\mathbf{a}_2+\dots+\alpha_k\mathbf{a}_k$$
给定$\mathcal{V}$的一组基$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}$和向量$\mathbf{a}\in\mathcal{V}$，如果
$$\mathbf{a}=\alpha_1\mathbf{a}_1+\alpha_2\mathbf{a}_2+\dots+\alpha_k\mathbf{a}_k$$
则系数$\alpha_i,i=1,2,\dots,k$称为向量$\mathbf{a}$对应于基$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}$的坐标．
$\mathbb{R}^n$的标准基定义为
$$\mathbf{e}_1=\begin{bmatrix} 1 \\ 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix},\mathbf{e}_2=\begin{bmatrix} 0 \\ 1 \\ 0 \\ \vdots \\ 0 \end{bmatrix},\dots,\mathbf{e}_n=\begin{bmatrix} 0 \\ 0 \\ 0 \\ \vdots \\ 1 \end{bmatrix}$$
在标准基下，向量$\mathbf{x}$可表示为 $$\mathbf{x}=\begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}=x_1\mathbf{e}_1+x_2\mathbf{e}_2+\dots+x_n\mathbf{e}_n$$
令$\mathbb{C}$表示复数集合，$\mathbb{C}^n$表示$n$维复数向量集合．集合$\mathbb{C}^n$具有与$\mathbb{R}^n$类似的属性，其中标量可以取复数．
矩阵：行列数组，$m$行$n$列矩阵称为$m\times n$矩阵，记为
$$\mathbf{A}=\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}$$
位于矩阵第$i$行第$j$列的实数$a_{ij}$称为矩阵的第$\left(i,j\right)$个元素．
如果认为矩阵$\mathbf{A}$是由$n$个列向量组成的，则每列都是$\mathbb{R}^m$空间的一个列向量.
如果认为矩阵$\mathbf{A}$是由$m$个行向量组成的，则每行都是$\mathbb{R}^n$空间的一个列向量．
$m \times n$矩阵$\mathbf{A}$的转置矩阵$\mathbf{A}^\top$是一个$n\times m$矩阵 $$\mathbf{A}^\top=\begin{bmatrix} a_{11} & a_{21} & \cdots & a_{m1} \\ a_{12} & a_{22} & \cdots & a_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1n} & a_{2n} & \cdots & a_{mn} \end{bmatrix}$$
符号$\mathbb{R}^{m\times n}$表示由$m\times n$矩阵组成的集合，矩阵中每个元素都是实数．
$\mathbb{R}^n$中的列向量可视为$\mathbb{R}^{n\times 1}$中的元素．$n$维行向量视为$\mathbb{R}^{1\times n}$中的元素．
2.2 矩阵的秩
$m\times n$矩阵
$$\mathbf{A}=\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}$$
的第$k$列用$\mathbf{a}_k$表示
$$\mathbf{a}_k=\begin{bmatrix} a_1k \\ a_2k \\ \vdots \\ a_mk \end{bmatrix}$$
矩阵$\mathbf{A}$中线性无关列的最大数据称为矩阵$\mathbf{A}$的秩，记为$\mathrm{rank}\mathbf{A}$． $$\mathrm{rank}\mathbf{A}=\mathrm{dim}\thinspace\mathrm{span}\left[a_1,a_2,\dots,a_n\right]$$
命题２.3 一下运算中，矩阵$\mathbf{A}$的秩保持不变：
如果矩阵$\mathbf{A}$的行数等于列数，则该矩阵为方阵．
行列式是与方阵$\mathbf{A}$对应的一个标量，记为$\mathrm{det}\mathbf{A}$或$|\mathbf{A}|$．
方阵的行列式是各列的函数，具有一下性质：
2. 如果对于某个$k$，有$\mathbf{a}_k=\mathbf{a}_{k+1}$，则
$$\mathrm{det}\mathbf{A}=\mathrm{det}\left[a_1,\dots,a_k,a_{k+1},\dots,a_n\right]=\mathrm{det}\left[a_1,\dots,a_k,a_k,\dots,a_n\right]=0$$
3. 令
$$\mathbf{I}_n=\left[\mathbf{e}_1,\mathbf{e}_2,\dots,\mathbf{e}_n\right]=\begin{bmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix}$$
其中$\{\mathbf{e}_1,\mathbf{e}_2,\dots,\mathbf{e}_n\}$是$\mathbb{R}_n$的标准基，则
$$\mathrm{det}\mathbf{I}_n=1$$
如果性质１中$\alpha=\beta=0$，则
$$\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{0},\mathbf{a}_{k+1},\mathbf{a}_n\right]=0$$
即如果方阵中一列为$\mathbf{0}$，则该方阵的行列式等于0．
如果在方阵中的一列中加上另外一列与某个标量的乘积，行列式的值不会发生变化．
$$\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\alpha\mathbf{a}_j,\mathbf{a}_{k+1},\dots,\mathbf{a}_j,\dots,\mathbf{a}_n\right] \\
=\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k,\mathbf{a}_{k+1},\dots,\mathbf{a}_j,\dots,\mathbf{a}_n\right] \\
+\alpha\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_j,\mathbf{a}_{k+1},\dots,\mathbf{a}_j,\dots,\mathbf{a}_n\right] \\
=\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k,\mathbf{a}_{k+1},\dots,\mathbf{a}_j,\dots,\mathbf{a}_n\right]$$
如果交换方阵中的列次序，则行列式的符号将发生改变． $$\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k,\mathbf{a}_{k+1},\dots,\mathbf{a}_n\right] \\ =\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\mathbf{a}_{k+1},\mathbf{a}_{k+1},\dots,\mathbf{a}_n\right] \\ =\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\mathbf{a}_{k+1},\mathbf{a}_{k+1}-\left(\mathbf{a}_k+\mathbf{a}_{k+1}\right),\dots,\mathbf{a}_n\right] \\ =\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\mathbf{a}_{k+1},-\mathbf{a}_k,\dots,\mathbf{a}_n\right] \\ =-\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\mathbf{a}_{k+1},\mathbf{a}_k,\dots,\mathbf{a}_n\right] \\ =-\left(\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k,\mathbf{a}_k,\dots,\mathbf{a}_n\right]+ \\ \mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_{k+1},\mathbf{a}_k,\dots,\mathbf{a}_n\right]\right) \\ =-\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_{k+1},\mathbf{a}_k,\dots,\mathbf{a}_n\right]$$
给定$m\times n$矩阵$\mathbf{A}$，其中$p$阶子式是一个$p\times p$矩阵的行列式，该$p\times p$行列式由矩阵$\mathbf{A}$去掉$m-p$行和$n-p$列获得，其中$p\leqslant\min{\{m,n\}}$
命题2.4 如果一个$m\times n\left(m\geqslant n\right)$矩阵$\mathbf{A}$具有非零的$n$阶子式，则$\mathbf{A}$的各列是线性无关的，即$\mathrm{rank}\mathbf{A}=n$．
如果矩阵存在一个非零子式，则与非零子式相对应的列都是线性无关的．
如果矩阵$\mathbf{A}$具有$r$阶子式$|\mathbf{M}|$，有以下性质1.$|\mathbf{M}|\neq 0$；2.从$\mathbf{A}$中抽取出一行和一列，增加到$\mathbf{M}$中，由此得到的新子式为零，则 $$\mathrm{rank}\mathbf{A}=r$$即矩阵$\mathbf{A}$的秩等于它非零子式的最高阶数．
一个非奇异（可逆）的矩阵是一个行列式非零的方阵．
设$\mathbf{A}$是$n\times n$方阵，$\mathbf{A}$是非奇异的，当且仅当存在$n\times n$方阵$\mathbf{B}$，使得 $$\mathbf{A}\mathbf{B}=\mathbf{B}\mathbf{A}=\mathbf{I}_n$$ 其中，$\mathbf{I}_n$表示$n\times n$单位矩阵： $$\mathbf{I}_n=\begin{bmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix}$$
矩阵$\mathbf{B}$称为矩阵$\mathbf{A}$的逆矩阵，记为$\mathbf{B}=\mathbf{A}^{-1}$
2.3 线性方程组
包含$n$个标量的$m$个方程可表示为向量等式 $$x_1\mathbf{a}_1+x_2\mathbf{a}_2+\dots+x_n\mathbf{a}_n=\mathbf{b}$$ 其中， $$\mathbf{a}_j=\begin{bmatrix} a_1j \\ a_2j \\ \vdots \\ a_mj \end{bmatrix},\mathbf{b}=\begin{bmatrix} b_1 \\ b_2 \\ \vdots \\ b_m \end{bmatrix}$$
该方程可表示为矩阵形式 $$\mathbf{A}\mathbf{x}=\mathbf{b}$$ 其中，$\mathbf{A}$为系数矩阵 $$\mathbf{A}=\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_n\right]$$ $\mathbf{x}$为未知数向量 $$\mathbf{x}=\begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$$ 增广矩阵定义为 $$\left[\mathbf{A},\mathbf{b}\right]=\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_n,\mathbf{b}\right]$$
定理2.1 方程组$\mathbf{A}\mathbf{x}=\mathbf{b}$有解，当且仅当 $$\mathrm{rank}\mathbf{A}=\mathrm{rank}\left[\mathbf{A},\mathbf{b}\right]$$
定理2.2 方程$\mathbf{A}\mathbf{x}=\mathbf{b}$中$\mathbf{A}\in\mathbb{R}^{n\times n}$且$\mathrm{rank}\mathbf{A}=m$．可以通过为$n-m$个未知数赋予任意值并求解其他未知数来获得$\mathbf{A}\mathbf{x}=\mathbf{b}$的解．
2.4 内积和范数
实数$a$的绝对值记为$|a|$，定义为 $$ |a|=\left\{ \begin{aligned} a,\quad a\geqslant 0 \\ -a,\quad a < 0 \end{aligned} \right. $$
实数绝对值的性质：
对于$\mathbf{x},\mathbf{y}\in\mathbb{R}^n$，定义欧式内积为 $$\langle\mathbf{x},\mathbf{y}\rangle=\sum_{i=1}^nx_i y_i=\mathbf{x}^\top\mathbf{y}$$
内积是一个实值函数$\langle\cdot\thinspace,\cdot\rangle:\mathbb{R}^n\times\mathbb{R}^n\to\mathbb{R}$，具有如下性质：
给定向量$\mathbf{x}$和$\mathbf{y}$，如果$\langle\mathbf{x},\mathbf{y}\rangle=0$，则称$\mathbf{x}$和$\mathbf{y}$是正交的．
向量$\mathbf{x}$的欧式范数定义为 $$\|\mathbf{x}\|=\sqrt{\langle\mathbf{x},\mathbf{x}\rangle}=\sqrt{\mathbf{x}^\top\mathbf{x}}$$
定理2.3 柯西－施瓦茨不等式 对于$\mathbb{R}^n$中任意两个向量$\mathbf{x}$和$\mathbf{y}$，有 $$|\langle\mathbf{x},\mathbf{y}\rangle|\leqslant\|\mathbf{x}\|\|\mathbf{y}\|$$ 成立．进一步，当且仅当对于某个$\alpha\in\mathbb{R}$有$\mathbf{x}=\alpha\mathbf{y}$时，该不等式的等号成立．
向量$\mathbf{x}$的欧式范数$\|\mathbf{x}\|$具有如下性质：
$p$范数定义为 $$\|\mathbf{x}\|_{p}=\left\{ \begin{aligned} \left(|x_1|^p+|x_2|^p+\dots+|x_n|^p\right)^{1/p}, 1\leqslant p<\infty \\ \max{\{|x_1|,|x_2|,\dots,|x_n|\}}, \qquad p=\infty \end{aligned} \right.$$
如果对于所有$\varepsilon>0$，都存在一个$\delta>0$，使得$\|\mathbf{y}-\mathbf{x}\|<\delta\Rightarrow\|\mathbf{f}\left(\mathbf{y}\right)-\mathbf{f}\left(\mathbf{x}\right)\|<\varepsilon$，则函数$\mathbf{f}:\mathbb{R}^n\to\mathbb{R}^m$在点$\mathbf{x}$是连续的．
如果函数$\mathbf{f}$在$\mathbb{R}^n$中任意点都是连续的，称该函数在$\mathbb{R}^n$中是连续的．
对于复数空间$\mathbb{C}^n$，内积$\langle\mathbf{x},\mathbf{y}\rangle$定义为$\sum_{i=1}^n x_i\overline{y}_i$，上划线表示共轭．
复数空间$\mathbb{C}^n$上的内积是一个复值函数，具有如下性质：