admin管理员组文章数量:1613065
本文依据Nicholas Hoell的讲义The Fundamental Theorem of Linear Algebra翻译,水平有限,如有不当欢迎指正。
目录
- 一、预备知识:正交补空间
- 1.1 正交补空间的定义
- 1.2 表示定理
- 二、一个命题
- 三、线性代数基本定理
- 四、该定理的应用
一、预备知识:正交补空间
1.1 正交补空间的定义
对于一个
n
n
n维子空间
S
⊆
R
n
S\subseteq \mathbb{R}^n
S⊆Rn, 顾名思义,它的正交补空间(orthogonal complement)里的每一个向量都和
S
S
S中的列向量正交。
记
S
S
S的正交补空间为
S
⊥
⊆
R
n
S^\perp \subseteq \mathbb{R}^n
S⊥⊆Rn,它由列向量
v
∈
R
n
v\in \mathbb{R}^n
v∈Rn构成,要求
v
v
v与
S
S
S中的所有向量都正交。则
S
⊥
S^\perp
S⊥可以用数学语言描述为:
S
⊥
=
{
v
∈
R
n
∣
u
⋅
v
=
0
,
u
∈
S
}
S^\perp=\lbrace v\in\mathbb{R}^n|u\cdot v=0,u\in S\rbrace
S⊥={v∈Rn∣u⋅v=0,u∈S}
正交补空间也可以简称为“正交补”。
1.2 表示定理
设
v
∈
R
n
v\in\mathbb{R}^n
v∈Rn表示任意一个
n
n
n维向量,
S
⊆
R
n
S\subseteq\mathbb{R}^n
S⊆Rn,那么存在
s
∈
S
s\in S
s∈S,
s
⊥
∈
S
⊥
s_\perp\in S^\perp
s⊥∈S⊥,使得
v
=
s
+
s
⊥
v=s+s_\perp
v=s+s⊥
即,任意一个
n
n
n维向量可以表示为两个
n
n
n维向量的和:其中一个属于
n
n
n维空间的一个子空间,另一个属于这个子空间的正交补空间。
证明:
R n \mathbb{R}^n Rn的每个子空间 S S S都有自己的基,所以也有标准正交基(这个标准正交基可以由任意一组基得到,例如使用施密特正交化和标准化等方法),因此, S S S空间中的一个向量 s s s可以表示为:
s = ( v ⋅ s 1 ) s 1 + ( v ⋅ s 2 ) s 2 + . . . + ( v ⋅ s d i m ( S ) ) s d i m ( S ) s=(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)} s=(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)
其中, s 1 , s 2 , . . . , s d i m ( S ) s_1, s_2, ..., s_{dim(S)} s1,s2,...,sdim(S)是 S S S的一个标准正交基,易知它们满足: ∣ ∣ s j ∣ ∣ = 1 且 s j ⋅ s i = 0 , i ≠ j ||s_j||=1且s_j\cdot s_i=0, i\ne j ∣∣sj∣∣=1且sj⋅si=0,i=j。因此可以构造:
( v − s ) ⋅ s = v ⋅ s − s ⋅ s = v ⋅ [ ( v ⋅ s 1 ) s 1 + ( v ⋅ s 2 ) s 2 + . . . + ( v ⋅ s d i m ( S ) ) s d i m ( S ) ] − [ ( v ⋅ s 1 ) 2 s 1 ⋅ s 1 + ( v ⋅ s 2 ) 2 s 2 ⋅ s 2 + . . . + ( v ⋅ s d i m ( S ) ) 2 s d i m ( S ) ⋅ s d i m ( S ) ] = ( v ⋅ s 1 ) 2 + ( v ⋅ s 2 ) 2 + . . . + ( v ⋅ s d i m ( S ) ) 2 − [ ( v ⋅ s 1 ) 2 + ( v ⋅ s 2 ) 2 + . . . + ( v ⋅ s d i m ( S ) ) 2 ] = 0 (v-s)\cdot s=v\cdot s-s\cdot s\\=v\cdot[(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)}]\\-[(v\cdot s_1)^2s_1\cdot s_1+(v\cdot s_2)^2s_2\cdot s_2+...+(v\cdot s_{dim(S)})^2s_{dim(S)}\cdot s_{dim(S)}]\\=(v\cdot s_1)^2+(v\cdot s_2)^2+...+(v\cdot s_{dim(S)})^2\\-[(v\cdot s_1)^2+(v\cdot s_2)^2+...+(v\cdot s_{dim(S)})^2]\\=0 (v−s)⋅s=v⋅s−s⋅s=v⋅[(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)]−[(v⋅s1)2s1⋅s1+(v⋅s2)2s2⋅s2+...+(v⋅sdim(S))2sdim(S)⋅sdim(S)]=(v⋅s1)2+(v⋅s2)2+...+(v⋅sdim(S))2−[(v⋅s1)2+(v⋅s2)2+...+(v⋅sdim(S))2]=0
所以 ( v − s ) ⊥ s (v-s)\perp s (v−s)⊥s。利用这个关系,定义 s ⊥ = v − s s_\perp =v-s s⊥=v−s,这样就有 v = s + s ⊥ v=s+s_\perp v=s+s⊥,且 s ⊥ ∈ S ⊥ s_\perp\in S^\perp s⊥∈S⊥
二、一个命题
设
A
A
A为
m
×
n
m\times n
m×n矩阵,则:
(
c
o
l
(
A
T
)
)
⊥
=
k
e
r
(
A
)
(col(A^T))^\perp=ker(A)
(col(AT))⊥=ker(A)
其中
c
o
l
(
⋅
)
col(\cdot)
col(⋅)表示一个矩阵的列空间,
k
e
r
(
⋅
)
ker(\cdot)
ker(⋅)表示一个矩阵的核空间。
这个命题是线性代数基本定理的依据。
证明:
设 v ∈ k e r ( A ) v\in ker(A) v∈ker(A),则
A v = ( 0 0 ⋮ 0 ) = ( r o w 1 ( A ) ⋅ v r o w 2 ( A ) ⋅ v ⋮ r o w m ( A ) ⋅ v ) Av=\begin{pmatrix}0\\0\\\vdots\\0\end{pmatrix}=\begin{pmatrix}row_1(A)\cdot v\\row_2(A)\cdot v\\\vdots\\row_m(A)\cdot v\end{pmatrix} Av=⎝⎜⎜⎜⎛00⋮0⎠⎟⎟⎟⎞=⎝⎜⎜⎜⎛row1(A)⋅vrow2(A)⋅v⋮rowm(A)⋅v⎠⎟⎟⎟⎞
其中 r o w i ( A ) row_i(A) rowi(A)表示 A A A的第 i i i个行向量。所以 v ⊥ r o w i ( A ) , i = 1 , 2 , . . . , m v\perp row_i(A),i=1,2,...,m v⊥rowi(A),i=1,2,...,m,所以 v ∈ ( r o w ( A ) ) ⊥ = ( c o l ( A T ) ) ⊥ v\in (row(A))^\perp=(col(A^T))^\perp v∈(row(A))⊥=(col(AT))⊥, r o w ( A ) row(A) row(A)表示 A A A的行向量生成的空间。由于这个结论对所有的 v v v都成立,因此 k e r ( A ) ⊆ ( c o l ( A T ) ) ⊥ ker(A)\subseteq (col(A^T))^\perp ker(A)⊆(col(AT))⊥。同理,如果 v ∈ ( c o l ( A T ) ) ⊥ v\in (col(A^T))^\perp v∈(col(AT))⊥,则必有
v ⋅ r o w i ( A ) = 0 , i = 1 , 2 , . . . , m v\cdot row_i(A)=0, i=1,2,...,m v⋅rowi(A)=0,i=1,2,...,m
因此 v ∈ k e r ( A ) v\in ker(A) v∈ker(A)。由于这个结论对所有 v v v都成立,所以 ( c o l ( A T ) ) ⊥ ⊆ k e r ( A ) (col(A^T))^\perp\subseteq ker(A) (col(AT))⊥⊆ker(A)
所以 k e r ( A ) = ( c o l ( A T ) ) ⊥ ker(A)=(col(A^T))^\perp ker(A)=(col(AT))⊥
根据上面的内容,我们也可以顺便得到另一个重要性质:
S
=
(
S
⊥
)
⊥
S=(S^\perp)^\perp
S=(S⊥)⊥
证明:
如果 v ∈ ( S ⊥ ) ⊥ v\in (S^\perp)^\perp v∈(S⊥)⊥,则 v ⋅ s ⊥ = 0 v\cdot s_\perp=0 v⋅s⊥=0对所有 s ⊥ ∈ S ⊥ s_\perp\in S^\perp s⊥∈S⊥都成立。设 S S S和 S ⊥ S^\perp S⊥的标准正交基分别为 { s 1 , . . . , s d i m ( S ) } \{s_1,...,s_{dim(S)}\} {s1,...,sdim(S)}和 { s 1 ⊥ , s 2 ⊥ , . . . , s d i m ( S ) ⊥ } \{s_1^\perp,s_2^\perp,...,s_{dim(S)}^\perp\} {s1⊥,s2⊥,...,sdim(S)⊥},则有:
v = ( v ⋅ s 1 ) s 1 + ( v ⋅ s 2 ) s 2 + . . . + ( v ⋅ s d i m ( S ) ) s d i m ( S ) + ( v ⋅ s 1 ⊥ ) s 1 ⊥ + ( v ⋅ s 2 ⊥ ) s 2 ⊥ + . . . + ( v ⋅ s d i m ( S ) ⊥ ) s d i m ( S ) ⊥ = ( v ⋅ s 1 ) s 1 + ( v ⋅ s 2 ) s 2 + . . . + ( v ⋅ s d i m ( S ) ) s d i m ( S ) v=(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)}\\+(v\cdot s_1^\perp)s_1^\perp+(v\cdot s_2^\perp)s_2^\perp+...+(v\cdot s_{dim(S)}^\perp)s_{dim(S)}^\perp\\=(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)} v=(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)+(v⋅s1⊥)s1⊥+(v⋅s2⊥)s2⊥+...+(v⋅sdim(S)⊥)sdim(S)⊥=(v⋅s1)s1+(v⋅s2)s2+...+(v⋅sdim(S))sdim(S)
既然 v v v可以用 S S S的基表示,那么 v ∈ S v\in S v∈S。由于这个结论对所有 v v v都成立,所以 ( S ⊥ ) ⊥ ⊆ S (S^\perp)^\perp\subseteq S (S⊥)⊥⊆S。另一方面,对于 s ∈ S s\in S s∈S,由于 s ⋅ s ⊥ = 0 s\cdot s_\perp=0 s⋅s⊥=0,所以 s ∈ ( S ⊥ ) ⊥ s\in(S^\perp)^\perp s∈(S⊥)⊥。由于这个结论对所有 s ⊥ s_\perp s⊥都成立,所以 s ⊆ ( S ⊥ ) ⊥ s\subseteq(S^\perp)^\perp s⊆(S⊥)⊥。
所以 S = ( S ⊥ ) ⊥ S=(S^\perp)^\perp S=(S⊥)⊥。
三、线性代数基本定理
在此基础上,介绍线性代数基本定理:
设
A
A
A为
m
×
n
m\times n
m×n矩阵,则
c
o
l
(
A
T
)
=
(
k
e
r
(
A
)
)
⊥
col(A^T)=(ker(A))^\perp
col(AT)=(ker(A))⊥
因此,
R
n
=
k
e
r
(
A
)
⊕
c
o
l
(
A
T
)
=
k
e
r
(
A
)
⊕
r
o
w
(
A
)
\mathbb{R}^n=ker(A)\oplus col(A^T)=ker(A)\oplus row(A)
Rn=ker(A)⊕col(AT)=ker(A)⊕row(A)
其中
⊕
\oplus
⊕这个符号称为“direct sum”(直和)。可见,
n
n
n维空间被分为了两部分:
A
A
A的核空间与行空间。
这个定理有什么意义呢?
对于方程
A
x
=
b
Ax=b
Ax=b
如果
b
∈
c
o
l
(
A
)
b\in col(A)
b∈col(A),这个方程是有解的。根据这个定理,我们可以将解表示为
x
=
p
+
v
h
x=p+v_h
x=p+vh
其中
p
∈
r
o
w
(
A
)
p\in row(A)
p∈row(A)为
A
p
=
b
Ap=b
Ap=b的特解,而
v
h
∈
k
e
r
(
A
)
v_h\in ker(A)
vh∈ker(A)为核空间(
A
x
=
0
Ax=0
Ax=0)内的通解。矩阵的零化度描述了
A
x
=
b
Ax=b
Ax=b缺乏唯一可解性。
四、该定理的应用
这个定理可以用于证明最小二乘解的存在性,见:
如何证明ATAX=ATB一定有解?
版权声明:本文标题:线性代数基本定理(核空间与行空间)——The Fundamental Theorem of Linear Algebra 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dongtai/1728642882a1167339.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论