Notebook

線形代数(Linear Algebra III) ベクトル空間

cc by Shigeto R. Nishitani, 2018-03-16

file: /Users/bob/python/doing_math_with_python/linear_algebra/LA-III_vector_space.ipynb

Table of Contents¶

1 定義と解説

1.1 実数上の$n$次(元)数ベクトル空間

1.7 直交補空間(orthogonal complement, perp)

2 紙

3 python

定義と解説¶

実数上の$n$次(元)数ベクトル空間¶

実数の$n$個の組の全体 $$ \boldsymbol{R}^n = \{ (a_1,a_2,\ldots,a_n); a_1, a_2, \ldots, a_n \in \boldsymbol{R} \} $$

定義

$\boldsymbol{a}=(a_1,a_2,\ldots,a_n), \boldsymbol{b}=(b_1,b_2,\ldots,b_n) \in \boldsymbol{R}^n$に対して， * 相等 $\boldsymbol{a}=\boldsymbol{b} \iff a_1=b_1, a_2=b_2, \ldots , a_n = b_n$ * 和 $\boldsymbol{a}+\boldsymbol{b} =( a_1+b_1, a_2+b_2, \ldots , a_n + b_n)$ * スカラー倍 $\lambda\boldsymbol{a}= (\lambda a_1, \lambda a_2, \ldots , \lambda a_n)$

数ベクトル空間の要素を数ベクトルあるいは単にベクトルという．
数ベクトル$\boldsymbol{a}$は$n$次元行ベクトルと見なせるし，

$$ \boldsymbol{a} = \left(\begin{array}{c} a_1 \\ a_2 \\ \vdots \\ a_n \end{array}\right) $$

の$n$次元列ベクトルとも見なせる．

線形結合¶

$m$個の$n$次元数ベクトル$\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m$ に対して， $$ x_1 \boldsymbol{a}_1 + x_2 \boldsymbol{a}_2 + \cdots + x_m \boldsymbol{a}_m,\, x_1, x_2, \ldots, x_m \in \boldsymbol{R} $$ を$\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m$の線形結合(linear combination,一次結合，一次和)という．

一次独立, 一次従属

$x_1 \boldsymbol{a}_1 + x_2 \boldsymbol{a}_2 + \cdots + x_m \boldsymbol{a}_m = \boldsymbol{0} $となるのが， $$ \begin{array}{rcl} x_1 = x_2 = \cdots = x_m =0 以外に起こり得ない &\iff &\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m が一次独立 \\ x_1 = x_2 = \cdots = x_m =0 以外にもあり得る &\iff &\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m が一次従属 \end{array} $$

一次独立性と階数

数ベクトルを列ベクトルで表して$A=[\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m]$を$n \times m $行列とすると $$ \begin{array}{rcl} \boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m が一次独立 &\iff & {\rm rank}A = m\\ \boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m が一次従属 &\iff & {\rm rank}A < m \end{array} $$

基底，次元，要素¶

基底

$n$次元数ベクトル空間$\boldsymbol{R}^n$の$n$個の一次独立なベクトル $\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_n$を $\boldsymbol{R}^n$の基底という

標準的な基底

$\boldsymbol{e}_1=(1,0,\ldots,0), \boldsymbol{e}_2=(0,1,\ldots,0), \ldots, \boldsymbol{e}_n=(0,0,\ldots,1)$は$\boldsymbol{R}^n$の基底で， $\boldsymbol{R}^n$の標準的な基底という．

次元基底を構成する個数を次元といい，dimで表す．${\rm dim}\boldsymbol{R}^n=n$である．
成分
- $\mathfrak{B}=\{\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_n\}$

を$\boldsymbol{R}^n$の基底とする．$\boldsymbol{R}^n$のベクトル$\boldsymbol{a}= (a_1, a_2, \ldots, a_n)$は $$ \boldsymbol{a} = x_1\boldsymbol{a}_1+ x_2 \boldsymbol{a}_2+ \ldots + x_n\boldsymbol{a}_n $$ と一意的に表される．

この実数の組$(x_1,x_2,\ldots,x_n)$を$\boldsymbol{a}$の基底

$\mathfrak{B}=\{\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_n\}$に関する成分といい， $$ \boldsymbol{a} = (x_1, x_2,\ldots,x_n)_{\mathfrak{B}} $$ とかく．

この$(a_1, a_2, \ldots, a_n)$は$\boldsymbol{a}$の標準的な基底$\boldsymbol{e}_1, \boldsymbol{e}_2, \ldots,\boldsymbol{e}_n$に関する成分である．

部分空間¶

数ベクトル空間$\boldsymbol{R}^n$の部分集合$V(\neq 0)$が和とスカラー倍に閉じているとき，$\boldsymbol{R}^n$の部分空間という．
$\{\boldsymbol{0}\} \subseteq V \subseteq \boldsymbol{R}^n$
有限生成な部分空間

$\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m \in \boldsymbol{R}^n $に対して$\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m$の線形結合全体 $$ L\{\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m\} =\{x_1\boldsymbol{a}_1+x_2\boldsymbol{a}_2+ \ldots,+x_m\boldsymbol{a}_m; x_1, x_2, \ldots, x_m \in \boldsymbol{R}\} $$ は$\boldsymbol{R}^n$の部分空間で，これを$\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m \in \boldsymbol{R}^n $で生成される(張られる)部分空間といい，$\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m \in \boldsymbol{R}^n $を$L\{\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m \in \boldsymbol{R}^n \}$の生成系という．

rank

$$ \boldsymbol{b}\in L\{\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m\} \iff {\rm rank}[\boldsymbol{a}_1\, \boldsymbol{a}_2\, \ldots\,\boldsymbol{a}_m] = {\rm rank}[\boldsymbol{a}_1\, \boldsymbol{a}_2\, \ldots\,\boldsymbol{a}_m\,\boldsymbol{b}] $$

すなわち，$\boldsymbol{b}$が生成系に含まれるならば，$\boldsymbol{b}$を加えて作る拡大係数行列のrankが一致する．(一次従属だから)

基底

$$ Vのベクトル \boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m がVの基底 \iff \left\{ \begin{array}{l} (1)\, \boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m　は一次独立 \\ (2)\, \boldsymbol{a}_1, \boldsymbol{a}_2, \ldots,\boldsymbol{a}_m　はVの生成系 \end{array} \right. $$

同次連立一次方程式の解空間:$A$を$m \times n$行列とする．

同次連立一次方程式$A\boldsymbol{x} = \boldsymbol{0}$の解全体 $\{\boldsymbol{x} \in \boldsymbol{R}^n; A\boldsymbol{x} = \boldsymbol{0}\}$ は$ \boldsymbol{R}^n$の部分空間をなす．これを$A\boldsymbol{x} = \boldsymbol{0}$の解空間という．

部分空間の次元と基底

$$ {\rm dim}\{\boldsymbol{x} \in \boldsymbol{R}^n; A\boldsymbol{x} = \boldsymbol{0}\} = n -{\rm rank}A $$

であり，基本解は1組の基底である．

計量ベクトル空間¶

内積を考えているとき$V$を計量ベクトル空間または内積空間という．
内積

$V$を実数上の$n$次数ベクトル空間$\boldsymbol{R}^n$またはその部分空間とする． $V$のベクトル$\boldsymbol{a},\boldsymbol{b}$に対して，実数$\boldsymbol{a}\cdot\boldsymbol{b}$が定まり，つぎの(1)-(4)を満たすときこれを内積という．

$\boldsymbol{a}\cdot\boldsymbol{b} = \boldsymbol{b}\cdot\boldsymbol{a}$
$(\boldsymbol{a}_1+\boldsymbol{a}_2)\cdot\boldsymbol{b} =

\boldsymbol{a}_1 \cdot \boldsymbol{b} +\boldsymbol{a}_2 \cdot \boldsymbol{b}$

$(\lambda \boldsymbol{a})\cdot \boldsymbol{b} =

\lambda (\boldsymbol{a}\cdot \boldsymbol{b}) , (\lambdaは実数)$

$\boldsymbol{a} \cdot\boldsymbol{a} \ge 0$ (等号は$\boldsymbol{a}=0$に限る)

自然な内積

$\boldsymbol{R}^n$のベクトル$\boldsymbol{a}=(a_1, a_2, \ldots, a_n)$, $\boldsymbol{b}=(b_1, b_2, \ldots, b_n)$に対して $$ \boldsymbol{a} \cdot\boldsymbol{b} = a_1b_1 + a_2 b_2 + \cdots + a_nb_n $$ と定めると内積である．これを$\boldsymbol{R}^n$の自然な内積という．

$\boldsymbol{a},\boldsymbol{b}$を列ベクトルとみなすと

$$ \boldsymbol{a} \cdot\boldsymbol{b} = {^t \boldsymbol{a}} \boldsymbol{b} $$

である．

ベクトルの大きさ，長さ

計量ベクトル空間$V$のベクトル$\boldsymbol{a}$にたいし $$ \left| \boldsymbol{a} \right | = \sqrt{ \boldsymbol{a} \cdot \boldsymbol{a} } $$ を$\boldsymbol{a}$の大きさまたは長さという

長さの性質
1. $\left| \boldsymbol{a} \right | \ge 0$ (等号は$ \boldsymbol{a} = 0$のときに限る)
2. どんな実数$\lambda$に対しても

$\left| \lambda \boldsymbol{a} \right| = \left| \lambda \right| \left| \boldsymbol{a} \right|$ 1. $\left| \boldsymbol{a} \cdot \boldsymbol{b} \right| \le \left| \boldsymbol{a} \right| \left| \boldsymbol{b} \right|$ (シュヴァルツの不等式) 1. $\left| \boldsymbol{a} + \boldsymbol{b} \right| \le \left| \boldsymbol{a} \right| + \left| \boldsymbol{b} \right|$ (三角不等式)

単位ベクトル，正規化
- $\left| \boldsymbol{e}\right|=1$となるベクトル$\boldsymbol{e}$を

単位ベクトルという．

零ベクトルでないベクトル$\boldsymbol{a}$に対し，$\pm \frac{\boldsymbol{a}}{\left| \boldsymbol{a} \right|}$は単位ベクトルで，これを求める操作を正規化するという．
交角

$$ \cos \theta = \frac{ \boldsymbol{a} \cdot \boldsymbol{b} }{\left| \boldsymbol{a} \right| \left| \boldsymbol{b} \right|} \, (0 \le \theta \le \pi) $$

を満たす$\theta $はただ一つであって，これを交角という．

直交

$$ \boldsymbol{a} , \boldsymbol{b} は互いに直交 \iff \boldsymbol{a} \cdot \boldsymbol{b} = 0 $$

直交基底¶

正規直交系

$m$個のベクトル$\boldsymbol{a}_1, \boldsymbol{a}_2, \ldots, \boldsymbol{a}_n$が $$ \boldsymbol{a}_i \cdot \boldsymbol{a}_j = \delta_{ij}\, (クロネッカーのデルタ) $$ を満たすとき，これを正規直交系であるという

正規直交基底

基底が正規直交系のとき正規直交基底という．

グラム・シュミットの直交化法
直交補空間

$V$を$\boldsymbol{R}^n$の部分空間とする．このとき $$ V^{\perp} = \{\boldsymbol{x}\in\boldsymbol{R}^n;すべての\boldsymbol{y}\in\boldsymbol{V}に対して\boldsymbol{x}\cdot\boldsymbol{y}=0\} $$ は$\boldsymbol{R}^n$の部分空間で，これを$V$の直交補空間という．

$\boldsymbol{R}^n = \boldsymbol{V} \oplus \boldsymbol{V}^\perp$

直交補空間(orthogonal complement, perp)¶

magician genius

紙¶

LA-II

python¶

上述の関係をpythonのmplot3dで確認．まず同次連立一次方程式$A\boldsymbol{x} = \boldsymbol{0}$の解は $$ z = x/2 - y/2 \, or\\ x - y - 2z = 0 $$ であり，この時の面の法線ベクトルは，[1, -1, -2]である．これらのplotは次の通り．

In [1]:

%matplotlib notebook
from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt
import numpy as np

def f(x,y):
    return  x/2 - y/2
d = 3
x = np.arange(-d, d, 0.25)
y = np.arange(-d, d, 0.25)
X, Y = np.meshgrid(x, y)
Z1 = f(X,Y)

fig = plt.figure()

plot3d = Axes3D(fig)
plot3d.plot_surface(X,Y,Z1, color='y', alpha=0.1)

soa = np.array([[0, 0, 0, 1, 1, 0], 
                [0, 0, 0, 2, 0, 1]])
X, Y, Z, U, V, W = zip(*soa)
# plot3d.quiver(X, Y, Z, U, V, W)

#soa = np.array([[0, 0, 0, 1, -1, 1], [1, 1, 0, 1, -1, 1]])
soa = np.array([[0, 0, 0, 1, -1, -2]])
X, Y, Z, U, V, W = zip(*soa)
plot3d.quiver(X, Y, Z, U, V, W, color='r')


plt.show()

さらに面をなす1組の基底は[1, 1, 0], [2, 0, 1]である．また，これらの線型結合からなる1組のベクトル[1, 1, 0], [1, -1, 1]1組のベクトルとなる．

In [2]:

d = 3
x = np.arange(-d, d, 0.25)
y = np.arange(-d, d, 0.25)
X, Y = np.meshgrid(x, y)
Z1 = f(X,Y)

fig = plt.figure()

plot3d = Axes3D(fig)
plot3d.plot_surface(X,Y,Z1, color='y', alpha=0.1)

soa = np.array([[0, 0, 0, 1, 1, 0], [0, 0, 0, 2, 0, 1]])
X, Y, Z, U, V, W = zip(*soa)
plot3d.quiver(X, Y, Z, U, V, W)

soa = np.array([[0, 0, 0, 1, -1, 1], [1, 1, 0, 1, -1, 1]])
# soa = np.array([[0, 0, 0, 1, -1, -2]])
X, Y, Z, U, V, W = zip(*soa)
plot3d.quiver(X, Y, Z, U, V, W, color='r')

plt.show()

In [ ]: