#!/usr/bin/env python
# coding: utf-8

# 第2章 向量空间与矩阵

# 2.1 向量与矩阵

# $n$维列向量：含有$n$个数的数组，记为  
# $$\mathbf{a}=\begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}$$  
# $a_i$表示向量$a$的第$i$个元素。

# 定义$\mathbb{R}$为全体实数组成的集合，则由实数组成的$n$维列向量可表示为$\mathbb{R}^n$，称为$n$维实数向量空间。

# $n$维行向量记为  
# $$\mathbf{a}=\left[a_1, a_2, \dots, a_n \right]$$

# 向量$\mathbf{a}$的转置记为$\mathbf{a}^\top$。如果
# $$\mathbf{a}=\begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix}$$    
# 则
# $$\mathbf{a}^\top=\left[a_1, a_2, \dots, a_n \right]$$  
# 相应的，可记为  
# $$\mathbf{a}=\left[a_1, a_2, \dots, a_n \right]^\top$$  

# 给定向量$\mathbf{a}=\left[a_1, a_2, \dots, a_n \right]^\top$和向量$\mathbf{b}=\left[b_1, b_2, \dots, b_n \right]^\top$，如果$a_i=b_i,i=1,2,\dots,n$，则两个向量相等。

# 向量加法运算：
# $$\mathbf{a}+\mathbf{b}=\left[a_1+b_1, a_2+b_2, \dots, a_n+b_n \right]^\top$$

# 向量加法运算的性质：
# 1. 交换性 $\mathbf{a}+\mathbf{b}=\mathbf{b}+\mathbf{a}$
# 2. 结合性 $\left(\mathbf{a}+\mathbf{b}\right)+\mathbf{c}=\mathbf{a}+\left(\mathbf{b}+\mathbf{c}\right)$
# 3. 存在零向量  
# $$\mathbf{0}=\left[0,0,\dots,0\right]^\top$$  
# 使得
# $$\mathbf{a}+\mathbf{0}=\mathbf{0}+\mathbf{a}=\mathbf{a}$$

# 向量减法运算：
# $$\mathbf{a}-\mathbf{b}=\left[a_1-b_1, a_2-b_2, \dots, a_n-b_n \right]^\top$$
# $$\mathbf{0}-\mathbf{b}=-\mathbf{b}$$

# 向量减法运算性质：
# $$\mathbf{b}+\{\mathbf{a}-\mathbf{b}\}=\mathbf{a} \\
# -\left(-\mathbf{b}\right)=\mathbf{b} \\
# -\left(\mathbf{a}-\mathbf{b}\right)=\mathbf{b}-\mathbf{a}$$

# 设$\mathbf{x}=\left[x_1,x_2,\dots,x_n\right]^\top$是$\mathbf{a}+\mathbf{x}=\mathbf{b}$的解，有  
# $$a_1+x_1=b_1 \\a_2+x_2=b_2 \\ \vdots \\ a_n+x_n=b_n$$  
# 则$$\mathbf{x}=\mathbf{b}-\mathbf{a}$$
# 即向量$\mathbf{b}-\mathbf{a}$是向量方程$\mathbf{a}+\mathbf{x}=\mathbf{b}$的唯一解。

# 标量向量乘法运算:
# $$\alpha\mathbf{a}=\left[\alpha a_1, \alpha a_2, \dots, \alpha a_n \right], \quad \alpha \in \mathbb{R}, \mathbf{a} \in \mathbb{R}^n$$

# 标量向量乘法运算性质：
# 1. 分配律　$$\alpha\left(\mathbf{a}+\mathbf{b}\right)=\alpha\mathbf{a}+\alpha\mathbf{b} \\  
# \left(\alpha+\beta\right)\mathbf{a}=\alpha\mathbf{a}+\beta\mathbf{a}$$  
# 2. 结合性　$\alpha\left(\beta\mathbf{a}\right)=\left(\alpha\beta\right)\mathbf{a}$
# 3. 标量１满足　$1\mathbf{a}=\mathbf{a}$
# 4. 任意标量$\alpha$满足　$\alpha\mathbf{0}=\mathbf{0}$
# 5. 标量０满足　$0\mathbf{a}=\mathbf{0}$
# 6. 标量-1满足　$\left(-1\right)\mathbf{a}=-\mathbf{a}$

# 如果方程$$\alpha_1\mathbf{a}_1+\alpha_2\mathbf{a}_2+\dots+\alpha_k\mathbf{a}_k=\mathbf{0}$$中所有的系数$\alpha_i\left(i=1,2,\dots,k\right)$都等于零，则称向量集合$\{\mathbf{a_1},\mathbf{a_2},\dots,\mathbf{a_k}\}$是线性无关的，否则称为线性相关的．

# 如果向量集合中只包含一个$\mathbf{0}$向量元素，由于对于任意$\alpha\neq0$，都有$\alpha\mathbf{0}=\mathbf{0}$，因此该集合是线性相关的．所有包含$\mathbf{0}$向量的集合都是线性相关的．

# 如果集合中只包括单个非零向量$\mathbf{a}\neq\mathbf{0}$，只有$\alpha=0$时，才有$\alpha\mathbf{0}=\mathbf{0}$成立，因此该集合是线性无关的．

# 给定向量$\mathbf{a}$，如果存在标量$\alpha_1,\alpha_2,\dots,\alpha_k$，使得
# $$\mathbf{a}=\alpha_1\mathbf{a}_1+\alpha_2\mathbf{a}_2+\dots+\alpha_k\mathbf{a}_k$$
# 则称向量$\mathbf{a}$为$\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k$的线性组合．

# 命题２.1 向量结合$\{\mathbf{a_1},\mathbf{a_2},\dots,\mathbf{a_k}\}$是线性相关的，当且仅当集合中的一个向量可以表示为其他向量的线性组合．

# 令$\mathcal{V}\subset\mathbb{R}^n$，如果对于$\mathbf{a},\mathbf{b}\in\mathcal{V}$，都有$\mathbf{a}+\mathbf{b}\in\mathcal{V},\alpha\mathbf{a}\in\mathcal{V}$（$\alpha$为任意标量），即$\mathcal{V}$在向量加法运算和标量向量乘法运算下是封闭的，则称$\mathcal{V}$为$\mathbb{R}$的子空间．

# 令$\mathbf{a}\in\mathcal{V}$，因为$\left(-1\right)\mathbf{a}=-\mathbf{a}$，所以$-\mathbf{a}\in\mathcal{V}$；因为$\mathbf{a}+\left(-\mathbf{a}\right)=\mathbf{0}$，所以$\mathbf{0}\in\mathcal{V}$，即每个子空间都包含$\mathbf{0}$向量．

# 设$\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\in\mathbb{R}$，它们所有线性组合的集合记为
# $$span\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\right]=\left\{\sum_{i=1}^{k}\alpha_i\mathbf{a}_i:\alpha_1,\alpha_2,\dots,\alpha_k\in\mathbb{R}\right\}$$  
# 称为$\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k$张成的子空间．

# 对于向量$\mathbf{a}$，子空间$span\left[\mathbf{a}\right]$由向量$\alpha\mathbf{a}$组成，其中$\alpha\in\mathbb{R}$．

# 如果向量$\mathbf{a}$可表示为$\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k$的线性组合，则
# $$\mathrm{span}\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k,\mathbf{a}\right]=\mathrm{span}\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\right]$$

# 给定子空间$\mathcal{V}$，如果存在线性无关的向量集合$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}\subset\mathcal{V}$使得$\mathcal{V}=\mathrm{span}\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\right]$，则称$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}$是子空间$\mathcal{V}$的一组基．子空间$\mathcal{V}$中的所有基都包含相同数量的向量，这一数量称为$\mathcal{V}$的维数，记为$\mathrm{dim}\mathcal{V}$．

# 命题２.2 如果$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}$是子空间$\mathcal{V}$的一组基，则$\mathcal{V}$中的任意向量$\mathbf{a}$都可以唯一的表示为
# $$\mathbf{a}=\alpha_1\mathbf{a}_1+\alpha_2\mathbf{a}_2+\dots+\alpha_k\mathbf{a}_k$$

# 给定$\mathcal{V}$的一组基$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}$和向量$\mathbf{a}\in\mathcal{V}$，如果
# $$\mathbf{a}=\alpha_1\mathbf{a}_1+\alpha_2\mathbf{a}_2+\dots+\alpha_k\mathbf{a}_k$$  
# 则系数$\alpha_i,i=1,2,\dots,k$称为向量$\mathbf{a}$对应于基$\{\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_k\}$的坐标．

# $\mathbb{R}^n$的标准基定义为  
# $$\mathbf{e}_1=\begin{bmatrix} 1 \\ 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix},\mathbf{e}_2=\begin{bmatrix} 0 \\ 1 \\ 0 \\ \vdots \\ 0 \end{bmatrix},\dots,\mathbf{e}_n=\begin{bmatrix} 0 \\ 0 \\ 0 \\ \vdots \\ 1 \end{bmatrix}$$  

# 在标准基下，向量$\mathbf{x}$可表示为　
# $$\mathbf{x}=\begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}=x_1\mathbf{e}_1+x_2\mathbf{e}_2+\dots+x_n\mathbf{e}_n$$

# 令$\mathbb{C}$表示复数集合，$\mathbb{C}^n$表示$n$维复数向量集合．集合$\mathbb{C}^n$具有与$\mathbb{R}^n$类似的属性，其中标量可以取复数．

# 矩阵：行列数组，$m$行$n$列矩阵称为$m\times n$矩阵，记为
# $$\mathbf{A}=\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}$$  
# 位于矩阵第$i$行第$j$列的实数$a_{ij}$称为矩阵的第$\left(i,j\right)$个元素．

# 如果认为矩阵$\mathbf{A}$是由$n$个列向量组成的，则每列都是$\mathbb{R}^m$空间的一个列向量.  
# 如果认为矩阵$\mathbf{A}$是由$m$个行向量组成的，则每行都是$\mathbb{R}^n$空间的一个列向量．

# $m \times n$矩阵$\mathbf{A}$的转置矩阵$\mathbf{A}^\top$是一个$n\times m$矩阵　　
# $$\mathbf{A}^\top=\begin{bmatrix} a_{11} & a_{21} & \cdots & a_{m1} \\ a_{12} & a_{22} & \cdots & a_{m2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1n} & a_{2n} & \cdots & a_{mn} \end{bmatrix}$$  

# 符号$\mathbb{R}^{m\times n}$表示由$m\times n$矩阵组成的集合，矩阵中每个元素都是实数．  
# $\mathbb{R}^n$中的列向量可视为$\mathbb{R}^{n\times 1}$中的元素．$n$维行向量视为$\mathbb{R}^{1\times n}$中的元素．

# 2.2 矩阵的秩

# $m\times n$矩阵
# $$\mathbf{A}=\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}$$  
# 的第$k$列用$\mathbf{a}_k$表示  
# $$\mathbf{a}_k=\begin{bmatrix} a_1k \\ a_2k \\ \vdots \\ a_mk \end{bmatrix}$$ 

# 矩阵$\mathbf{A}$中线性无关列的最大数据称为矩阵$\mathbf{A}$的秩，记为$\mathrm{rank}\mathbf{A}$．　　
# $$\mathrm{rank}\mathbf{A}=\mathrm{dim}\thinspace\mathrm{span}\left[a_1,a_2,\dots,a_n\right]$$

# 命题２.3 一下运算中，矩阵$\mathbf{A}$的秩保持不变：
# 1. 矩阵$\mathbf{A}$的某些列乘以非零标量；
# 2. 矩阵内部交换次序；
# 3. 在矩阵中加入列，该列是其他列的线性组合．

# 如果矩阵$\mathbf{A}$的行数等于列数，则该矩阵为方阵．

# 行列式是与方阵$\mathbf{A}$对应的一个标量，记为$\mathrm{det}\mathbf{A}$或$|\mathbf{A}|$．

# 方阵的行列式是各列的函数，具有一下性质：
# 1. 方阵$\mathbf{A}＝\left[a_1,a_2,\dots,a_n\right]$的行列式是各列的线性函数，即对与任意$\alpha,\beta\in\mathbb{R}$和$\mathbf{a}_k^{\left(1\right)},\mathbf{b}_k^{\left(2\right)}\in\mathbb{R}^n$，有　　
# $$\mathrm{det}=\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\alpha\mathbf{a}_k^{\left(1\right)}+\beta\mathbf{a}_k^{\left(2\right)},\mathbf{a}_{k+1},\dots,\mathbf{a}_n\right] \\
# =\alpha\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k^{\left(1\right)},\mathbf{a}_{k+1},\dots,\mathbf{a}_n\right] \\ 
# +\beta\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k^{\left(2\right)},\mathbf{a}_{k+1},\dots,\mathbf{a}_n\right]$$  
# 2. 如果对于某个$k$，有$\mathbf{a}_k=\mathbf{a}_{k+1}$，则  
# $$\mathrm{det}\mathbf{A}=\mathrm{det}\left[a_1,\dots,a_k,a_{k+1},\dots,a_n\right]=\mathrm{det}\left[a_1,\dots,a_k,a_k,\dots,a_n\right]=0$$  
# 3. 令  
# $$\mathbf{I}_n=\left[\mathbf{e}_1,\mathbf{e}_2,\dots,\mathbf{e}_n\right]=\begin{bmatrix} 1 & 0 & \cdots & 0   \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix}$$  
# 其中$\{\mathbf{e}_1,\mathbf{e}_2,\dots,\mathbf{e}_n\}$是$\mathbb{R}_n$的标准基，则  
# $$\mathrm{det}\mathbf{I}_n=1$$

# 如果性质１中$\alpha=\beta=0$，则  
# $$\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{0},\mathbf{a}_{k+1},\mathbf{a}_n\right]=0$$  
# 即如果方阵中一列为$\mathbf{0}$，则该方阵的行列式等于0．

# 如果在方阵中的一列中加上另外一列与某个标量的乘积，行列式的值不会发生变化．  
# $$\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\alpha\mathbf{a}_j,\mathbf{a}_{k+1},\dots,\mathbf{a}_j,\dots,\mathbf{a}_n\right]  \\
# =\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k,\mathbf{a}_{k+1},\dots,\mathbf{a}_j,\dots,\mathbf{a}_n\right] \\
# +\alpha\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_j,\mathbf{a}_{k+1},\dots,\mathbf{a}_j,\dots,\mathbf{a}_n\right] \\
# =\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k,\mathbf{a}_{k+1},\dots,\mathbf{a}_j,\dots,\mathbf{a}_n\right]$$

# 如果交换方阵中的列次序，则行列式的符号将发生改变．
# $$\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k,\mathbf{a}_{k+1},\dots,\mathbf{a}_n\right] \\
# =\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\mathbf{a}_{k+1},\mathbf{a}_{k+1},\dots,\mathbf{a}_n\right] \\
# =\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\mathbf{a}_{k+1},\mathbf{a}_{k+1}-\left(\mathbf{a}_k+\mathbf{a}_{k+1}\right),\dots,\mathbf{a}_n\right] \\
# =\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\mathbf{a}_{k+1},-\mathbf{a}_k,\dots,\mathbf{a}_n\right] \\
# =-\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k+\mathbf{a}_{k+1},\mathbf{a}_k,\dots,\mathbf{a}_n\right] \\
# =-\left(\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_k,\mathbf{a}_k,\dots,\mathbf{a}_n\right]+ \\ \mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_{k+1},\mathbf{a}_k,\dots,\mathbf{a}_n\right]\right) \\
# =-\mathrm{det}\left[\mathbf{a}_1,\dots,\mathbf{a}_{k-1},\mathbf{a}_{k+1},\mathbf{a}_k,\dots,\mathbf{a}_n\right]$$

# 给定$m\times n$矩阵$\mathbf{A}$，其中$p$阶子式是一个$p\times p$矩阵的行列式，该$p\times p$行列式由矩阵$\mathbf{A}$去掉$m-p$行和$n-p$列获得，其中$p\leqslant\min{\{m,n\}}$

# 命题2.4 如果一个$m\times n\left(m\geqslant n\right)$矩阵$\mathbf{A}$具有非零的$n$阶子式，则$\mathbf{A}$的各列是线性无关的，即$\mathrm{rank}\mathbf{A}=n$．

# 如果矩阵存在一个非零子式，则与非零子式相对应的列都是线性无关的．

# 如果矩阵$\mathbf{A}$具有$r$阶子式$|\mathbf{M}|$，有以下性质1.$|\mathbf{M}|\neq 0$；2.从$\mathbf{A}$中抽取出一行和一列，增加到$\mathbf{M}$中，由此得到的新子式为零，则
# $$\mathrm{rank}\mathbf{A}=r$$即矩阵$\mathbf{A}$的秩等于它非零子式的最高阶数．

# 一个非奇异（可逆）的矩阵是一个行列式非零的方阵．

# 设$\mathbf{A}$是$n\times n$方阵，$\mathbf{A}$是非奇异的，当且仅当存在$n\times n$方阵$\mathbf{B}$，使得
# $$\mathbf{A}\mathbf{B}=\mathbf{B}\mathbf{A}=\mathbf{I}_n$$
# 其中，$\mathbf{I}_n$表示$n\times n$单位矩阵：
# $$\mathbf{I}_n=\begin{bmatrix} 1 & 0 & \cdots & 0   \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix}$$  

# 矩阵$\mathbf{B}$称为矩阵$\mathbf{A}$的逆矩阵，记为$\mathbf{B}=\mathbf{A}^{-1}$

# 2.3 线性方程组

# 包含$n$个标量的$m$个方程可表示为向量等式
# $$x_1\mathbf{a}_1+x_2\mathbf{a}_2+\dots+x_n\mathbf{a}_n=\mathbf{b}$$
# 其中，
# $$\mathbf{a}_j=\begin{bmatrix} a_1j \\ a_2j \\ \vdots \\ a_mj \end{bmatrix},\mathbf{b}=\begin{bmatrix} b_1 \\ b_2 \\ \vdots \\ b_m \end{bmatrix}$$ 

# 该方程可表示为矩阵形式
# $$\mathbf{A}\mathbf{x}=\mathbf{b}$$
# 其中，$\mathbf{A}$为系数矩阵
# $$\mathbf{A}=\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_n\right]$$ 
# $\mathbf{x}$为未知数向量
# $$\mathbf{x}=\begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$$
# 增广矩阵定义为
# $$\left[\mathbf{A},\mathbf{b}\right]=\left[\mathbf{a}_1,\mathbf{a}_2,\dots,\mathbf{a}_n,\mathbf{b}\right]$$

# 定理2.1 方程组$\mathbf{A}\mathbf{x}=\mathbf{b}$有解，当且仅当
# $$\mathrm{rank}\mathbf{A}=\mathrm{rank}\left[\mathbf{A},\mathbf{b}\right]$$

# 定理2.2 方程$\mathbf{A}\mathbf{x}=\mathbf{b}$中$\mathbf{A}\in\mathbb{R}^{n\times n}$且$\mathrm{rank}\mathbf{A}=m$．可以通过为$n-m$个未知数赋予任意值并求解其他未知数来获得$\mathbf{A}\mathbf{x}=\mathbf{b}$的解．

# 2.4 内积和范数

# 实数$a$的绝对值记为$|a|$，定义为
# $$ |a|=\left\{
# \begin{aligned}
# a,\quad a\geqslant 0 \\
# -a,\quad a < 0
# \end{aligned}
# \right.
# $$

# 实数绝对值的性质：
# 1. $|a|=|-a|$  
# 2. $-|a|\leqslant a\leqslant|a|$
# 3. $|a+b|\leqslant |a|+|b|$
# 4. $||a|-|b||\leqslant |a-b|\leqslant|a|+|b|$
# 5. $|ab|=|a||b|$
# 6. 如果$|a|\leqslant c$且$|b|\leqslant d$，则$|a+b|\leqslant c+d$
# 7. $|a|\leqslant b \Leftrightarrow -b\leqslant a\leqslant b$
# 8. $|a|\geqslant b \Leftrightarrow \left(a\geqslant b\lor -a\geqslant b\right)$

# 对于$\mathbf{x},\mathbf{y}\in\mathbb{R}^n$，定义欧式内积为
# $$\langle\mathbf{x},\mathbf{y}\rangle=\sum_{i=1}^nx_i y_i=\mathbf{x}^\top\mathbf{y}$$

# 内积是一个实值函数$\langle\cdot\thinspace,\cdot\rangle:\mathbb{R}^n\times\mathbb{R}^n\to\mathbb{R}$，具有如下性质：
# 1. 非负性：$\langle\mathbf{x},\mathbf{y}\rangle\geqslant0$，当且仅当$\mathbf{x}=\mathbf{0}$时，$\langle\mathbf{x},\mathbf{x}\rangle=0$．  
# 2. 对称性：$\langle\mathbf{x},\mathbf{y}\rangle=\langle\mathbf{y},\mathbf{x}\rangle$  
# 3. 可加行：$\langle\mathbf{x}+\mathbf{y},\mathbf{z}\rangle=\langle\mathbf{x},\mathbf{z}\rangle+\langle\mathbf{y},\mathbf{z}\rangle$  
# 4. 齐次性：对于任意$r\in\mathbb{R}$，总有$\langle r\mathbf{x},\mathbf{y}\rangle=r\langle\mathbf{x},\mathbf{y}\rangle$

# 给定向量$\mathbf{x}$和$\mathbf{y}$，如果$\langle\mathbf{x},\mathbf{y}\rangle=0$，则称$\mathbf{x}$和$\mathbf{y}$是正交的．

# 向量$\mathbf{x}$的欧式范数定义为
# $$\|\mathbf{x}\|=\sqrt{\langle\mathbf{x},\mathbf{x}\rangle}=\sqrt{\mathbf{x}^\top\mathbf{x}}$$

# 定理2.3 柯西－施瓦茨不等式　　对于$\mathbb{R}^n$中任意两个向量$\mathbf{x}$和$\mathbf{y}$，有
# $$|\langle\mathbf{x},\mathbf{y}\rangle|\leqslant\|\mathbf{x}\|\|\mathbf{y}\|$$
# 成立．进一步，当且仅当对于某个$\alpha\in\mathbb{R}$有$\mathbf{x}=\alpha\mathbf{y}$时，该不等式的等号成立．

# 向量$\mathbf{x}$的欧式范数$\|\mathbf{x}\|$具有如下性质：
# 1. 非负性：$\|\mathbf{x}\|\geqslant 0$，当且仅当$\mathbf{x}\geqslant\mathbf{0}$时，$\|\mathbf{x}\|= 0$； 
# 2. 齐次性：$\|r\mathbf{x}\|=|r|\|\mathbf{x}\|,r\in\mathbb{R}$；
# 3. 三角不等式：$\|\mathbf{x}＋\mathbf{y}\|\leqslant\|\mathbf{x}\|+\|\mathbf{y}\|$．

# $p$范数定义为
# $$\|\mathbf{x}\|_{p}=\left\{
# \begin{aligned}
# \left(|x_1|^p+|x_2|^p+\dots+|x_n|^p\right)^{1/p}, 1\leqslant p<\infty \\
# \max{\{|x_1|,|x_2|,\dots,|x_n|\}}, \qquad p=\infty
# \end{aligned}
# \right.$$

# 如果对于所有$\varepsilon>0$，都存在一个$\delta>0$，使得$\|\mathbf{y}-\mathbf{x}\|<\delta\Rightarrow\|\mathbf{f}\left(\mathbf{y}\right)-\mathbf{f}\left(\mathbf{x}\right)\|<\varepsilon$，则函数$\mathbf{f}:\mathbb{R}^n\to\mathbb{R}^m$在点$\mathbf{x}$是连续的．

# 如果函数$\mathbf{f}$在$\mathbb{R}^n$中任意点都是连续的，称该函数在$\mathbb{R}^n$中是连续的．

# 对于复数空间$\mathbb{C}^n$，内积$\langle\mathbf{x},\mathbf{y}\rangle$定义为$\sum_{i=1}^n x_i\overline{y}_i$，上划线表示共轭．

# 复数空间$\mathbb{C}^n$上的内积是一个复值函数，具有如下性质：
# 1. $\langle\mathbf{x},\mathbf{x}\rangle\geqslant0$，当且仅当$\mathbf{x}=\mathbf{0}$时，$\langle\mathbf{x},\mathbf{x}\rangle=0$．  
# 2. $\langle\mathbf{x},\mathbf{y}\rangle=\overline{\langle\mathbf{y},\mathbf{x}\rangle}$  
# 3. $\langle\mathbf{x}+\mathbf{y},\mathbf{z}\rangle=\langle\mathbf{x},\mathbf{z}\rangle+\langle\mathbf{y},\mathbf{z}\rangle$  
# 4. 对于任意$r\in\mathbb{C}$，总有$\langle r\mathbf{x},\mathbf{y}\rangle=r\langle\mathbf{x},\mathbf{y}\rangle$ 

# In[ ]: