【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（10）：线性变换定义

编程入门行业动态更新时间:2024-10-26 00:26:09

【机器学习｜数学基础】Mathematics for Machine Learning系列之<a href=https://www.elefans.com/category/jswz/34/1769510.html style= 矩阵理论（10）：线性变换定义"/>

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（10）：线性变换定义

前言

Hello！小伙伴！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～

自我介绍 ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖…已保研。目前正在学习C++/Linux/Python
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！

机器学习小白阶段
文章仅作为自己的学习笔记用于知识体系建立以及复习
知其然知其所以然！

往期文章

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（1）：集合与映射

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（2）：线性空间定义及其性质

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（3）：线性空间的基与坐标

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（4）：基变换与坐标变换

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（5）：线性子空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（6）：子空间的交与和

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（7）：欧氏空间

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（8）：标准正交基与Gram-Schmidt过程

【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（9）：正交补与投影定理

3.1 线性变换定义

定义3.1 ：线性变换

设 A \mathscr{A} A是数域 K K K上线性空间 V V V到 V V V的一个变换，如果满足

A ( α + β ) = A ( α ) + A ( β ) \mathscr{A}(\alpha + \beta) = \mathscr{A}(\alpha) + \mathscr{A}(\beta) A(α+β)=A(α)+A(β)
A ( k α ) = k A ( α ) k ∈ K , α ∈ V \mathscr{A}(k\alpha)=k\mathscr{A}(\alpha) \quad k\in K,\alpha \in V A(kα)=kA(α)k∈K,α∈V

则称， A \mathscr{A} A是 V V V上的一个线性变换（或线性算子）

根据上面的定义，也可以定义

A ( k α + l β ) = k A ( α ) + l A ( β ) α , β ∈ V , k , l ∈ K \mathscr{A}(k\alpha + l\beta)=k\mathscr{A}(\alpha) + l\mathscr{A}(\beta) \quad \alpha,\beta \in V, k,l\in K A(kα+lβ)=kA(α)+lA(β)α,β∈V,k,l∈K

作为 A \mathscr{A} A是 V V V的一个线性变换的充分必要条件

线性变换的简单性质：

（1） T ( 0 ) = 0 \mathscr{T}(0)=0 T(0)=0

T ( 0 ) = T ( 0 ⋅ α ) = 0 ⋅ T ( α ) = 0 \mathscr{T}(0)=\mathscr{T}(0 \cdot \alpha)=0\cdot\mathscr{T}( \alpha)=0 T(0)=T(0⋅α)=0⋅T(α)=0

（2） T ( − α ) = − T ( α ) \mathscr{T}(-\alpha)=-\mathscr{T}(\alpha) T(−α)=−T(α)

T ( − α ) = T ( ( − 1 ) ⋅ α ) = ( − 1 ) ⋅ T ( α ) = − T ( α ) \mathscr{T}(-\alpha)=\mathscr{T}((-1) \cdot \alpha)=(-1) \cdot \mathscr{T}(\alpha)=-\mathscr{T}(\alpha) T(−α)=T((−1)⋅α)=(−1)⋅T(α)=−T(α)

（3） T ( ∑ i = 1 s k i α i ) = ∑ i = 1 s k i T ( α i ) \mathscr{T}(\sum^{s}_{i=1}k_i\alpha_i)=\sum^s_{i=1}k_i\mathscr{T}(\alpha_i) T(∑i=1skiαi)=∑i=1skiT(αi)

恒等变换

设 V V V是任意一个数域 K K K上的线性空间，定义如下映射

B : V → V χ → χ \mathscr{B}: V \rightarrow V\\ \quad\boldsymbol{\chi} \rightarrow \boldsymbol{\chi} B:V→Vχ→χ

称该变换为恒等变换

零变换

设 V V V是任意一个数域 K K K上的线性空间，定义如下映射

O : V → V χ → 0 \mathscr{O}: V \rightarrow V\\ \quad\boldsymbol{\chi} \rightarrow 0 O:V→Vχ→0

称该变换为零变换

数乘运算

设 V V V是任意一个数域 K K K上的线性空间，定义如下映射

K : V → V χ → k χ k ∈ K \mathscr{K}: V \rightarrow V\\ \boldsymbol{\chi} \rightarrow k\boldsymbol{\chi} \quad k \in K K:V→Vχ→kχk∈K

称该变换为数乘变换

R n R^n Rn上的一个线性变换

T : R n → R n χ → A χ \mathscr{T}: R^n \rightarrow R^n\\ \quad\boldsymbol{\chi} \rightarrow A\boldsymbol{\chi} T:Rn→Rnχ→Aχ

称 A \mathscr{A} A是 R n R^n Rn上的一个线性变换

R [ a b ] R[a \; b] R[ab]上的一个线性变换

R [ a b ] R[a \; b] R[ab]表示 [ a b ] [a \; b] [ab]区间上实连续函数构成的线性空间，定义

T : R [ a b ] → R [ a b ] f ( x ) → ∫ 0 x f ( t ) d t \mathscr{T}: R[a \; b] \rightarrow R[a \; b]\\ \quad f(x) \rightarrow \int_0^xf(t)dt T:R[ab]→R[ab]f(x)→∫0xf(t)dt

称 T \mathscr{T} T是 R [ a b ] R[a \; b] R[ab]上的一个线性变换

定义3.2

设 T \mathscr{T} T是线性空间 V V V上的线性变换

集合

R ( T ) = { T χ ｜ χ ∈ V } R(\mathscr{T})=\{\mathscr{T} \boldsymbol{\chi} ｜ \boldsymbol{\chi} \in V\} R(T)={Tχ｜χ∈V}

称之为 T \mathscr{T} T的值域，也就是 V V V在 T \mathscr{T} T之下像的集合

集合

N ( T ) = { χ ｜ T χ = 0 , χ ∈ V } N(\mathscr{T})=\{\boldsymbol{\chi}｜\mathscr{T}\boldsymbol{\chi}=0,\boldsymbol{\chi}\in V\} N(T)={χ｜Tχ=0,χ∈V}

称之为 T \mathscr{T} T的核域，也就是像为零元的那些源像的集合

定理3.1.1

T \mathscr{T} T是线性空间的一个线性变换，则 R ( T ) R(\mathscr{T}) R(T)和 N ( T ) N(\mathscr{T}) N(T)都是 V V V的线性子空间

1）证明 R ( T ) R(\mathscr{T}) R(T)是子空间

证加法封闭性：

设 α , β ∈ R ( T ) \alpha,\beta\in R(\mathscr{T}) α,β∈R(T)

则一定存在 ξ , η ∈ V \xi,\eta\in V ξ,η∈V，使得

T ( ξ ) = α , T ( η ) = β , 且 ξ + η ∈ V \mathscr{T}(\xi)=\alpha,\mathscr{T}(\eta)=\beta,且\xi + \eta \in V T(ξ)=α,T(η)=β,且ξ+η∈V

那么，有

α + β = T ( ξ ) + T ( η ) = T ( ξ + η ) ∈ R ( T ) \alpha + \beta=\mathscr{T}(\xi)+\mathscr{T}(\eta)=\mathscr{T}(\xi+\eta)\in R(\mathscr{T}) α+β=T(ξ)+T(η)=T(ξ+η)∈R(T)

即

α + β ∈ R ( T ) \alpha + \beta\in R(\mathscr{T}) α+β∈R(T)

证数乘封闭性：

设 α ∈ R ( T ) , k ∈ K \alpha\in R(\mathscr{T}),k\in K α∈R(T),k∈K，则一定存在 T ( ξ ) = α , 且 k α ∈ V \mathscr{T}(\xi)=\alpha,且k\alpha \in V T(ξ)=α,且kα∈V

那么，有

k α = k ⋅ T ( ξ ) = T ( k ξ ) ∈ R ( T ) k\alpha=k\cdot\mathscr{T}(\xi)=\mathscr{T}(k\xi)\in R(\mathscr{T}) kα=k⋅T(ξ)=T(kξ)∈R(T)

即

k α ∈ R ( T ) k\alpha\in R(\mathscr{T}) kα∈R(T)

综上， R ( T ) R(\mathscr{T}) R(T)是子空间

2）证明 N ( T ) N(\mathscr{T}) N(T)是子空间

证加法封闭性：

设 α , β ∈ N ( T ) \alpha,\beta\in N(\mathscr{T}) α,β∈N(T)，依据 N ( T ) N(\mathscr{T}) N(T)定义可知

T ( α ) = 0 , T ( β ) = 0 \mathscr{T}(\alpha)=0,\mathscr{T}(\beta)=0 T(α)=0,T(β)=0

从而，有

T ( α + β ) = T ( α ) + T ( β ) = 0 + 0 = 0 \mathscr{T}(\alpha + \beta) =\mathscr{T}(\alpha) + \mathscr{T}(\beta)=0 + 0= 0 T(α+β)=T(α)+T(β)=0+0=0

可以推导出

α + β ∈ N ( T ) \alpha + \beta \in N(\mathscr{T}) α+β∈N(T)

若 α \alpha α属于 N ( T ) N(\mathscr{T}) N(T)，则一定有 T ( α ) = 0 ⟺ \mathscr{T}(\alpha)=0 \Longleftrightarrow\quad T(α)=0⟺若 T ( α ) = 0 \mathscr{T}(\alpha)=0 T(α)=0，则有 α \alpha α属于 N ( T ) N(\mathscr{T}) N(T)

证数乘封闭性：

设 α ∈ R ( T ) , k ∈ K \alpha\in R(\mathscr{T}),k\in K α∈R(T),k∈K，依据 N ( T ) N(\mathscr{T}) N(T)定义可知

T ( α ) = 0 \mathscr{T}(\alpha)=0 T(α)=0

从而，有

T ( k ⋅ α ) = k T ( α ) = k ⋅ 0 = 0 \mathscr{T}(k \cdot \alpha)=k\mathscr{T}(\alpha)=k\cdot0=0 T(k⋅α)=kT(α)=k⋅0=0

可以推导出

k α ∈ N ( T ) k\alpha\in N(\mathscr{T}) kα∈N(T)

综上， N ( T ) N(\mathscr{T}) N(T)是子空间

定理3.1.2

若 V V V是 n n n维线性空间， T \mathscr{T} T是 V V V上的一个线性变换，则

d i m R ( T ) + d i m N ( T ) = n dimR(\mathscr{T})+dimN(\mathscr{T}) = n dimR(T)+dimN(T)=n

一般称

d i m R ( T ) dimR(\mathscr{T}) dimR(T)为线性变换 T \mathscr{T} T的秩
d i m N ( T ) dimN(\mathscr{T}) dimN(T)为线性变换 T \mathscr{T} T的零度

定义3.3

设 A 1 , A 2 \mathscr{A_1},\mathscr{A_2} A1,A2都是线性空间 V V V上的线性变换

若对任意的 α ∈ V \alpha \in V α∈V,都有 A 1 α = A 2 α \mathscr{A_1}\alpha=\mathscr{A_2}\alpha A1α=A2α

称 A 1 \mathscr{A_1} A1与 A 2 \mathscr{A_2} A2相等，记为

A 1 = A 2 \mathscr{A_1}=\mathscr{A_2} A1=A2

定义3.4

设 A , B \mathscr{A},\mathscr{B} A,B都是线性空间 V V V上的线性变换，定义 A \mathscr{A} A和 B \mathscr{B} B的和

( A + B ) ( α ) = A ( α ) + B ( α ) α ∈ V (\mathscr{A}+\mathscr{B})(\alpha)=\mathscr{A}(\alpha)+\mathscr{B}(\alpha)\quad \alpha\in V (A+B)(α)=A(α)+B(α)α∈V

A + B \mathscr{A}+\mathscr{B} A+B依然是 V V V上的线性变换

定义3.5

设 A \mathscr{A} A是线性空间 V V V上的线性变换，定义数 k k k乘以线性变换 A \mathscr{A} A

( k A ) ( α ) = k A ( α ) α ∈ V (k\mathscr{A})(\alpha)=k\mathscr{A}(\alpha) \quad \alpha \in V (kA)(α)=kA(α)α∈V

k A k\mathscr{A} kA也是 V V V上的线性变换

定义3.6

设 A , B \mathscr{A},\mathscr{B} A,B都是线性空间 V V V上的线性变换，定义 A \mathscr{A} A与 B \mathscr{B} B的积

( A B ) ( α ) = A ( B ( α ) ) (\mathscr{A}\mathscr{B})(\alpha)=\mathscr{A}(\mathscr{B}(\alpha)) (AB)(α)=A(B(α))

意思就是： A B \mathscr{A}\mathscr{B} AB是先对 α \alpha α进行 B \mathscr{B} B变换，再进行 A \mathscr{A} A变换
同样， A B \mathscr{A}\mathscr{B} AB也是 V V V上的线性空间

注意：一般来说，线性变化中的乘法不满足交换律，即 A B ≠ B A \mathscr{A}\mathscr{B}\neq\mathscr{B}\mathscr{A} AB=BA

但对于恒等变换 C \mathscr{C} C,任意的线性变换 A \mathscr{A} A，有

A C ( α ) = A ( α ) = C A ( α ) \mathscr{A}\mathscr{C}(\alpha)=\mathscr{A}(\alpha)=\mathscr{C}\mathscr{A}(\alpha) AC(α)=A(α)=CA(α)

如果线性变换 A \mathscr{A} A是一一对应的变换，假设 A ( β ) = α \mathscr{A}(\beta)=\alpha A(β)=α

那么一定存在 A \mathscr{A} A的逆变换 A − 1 \mathscr{A}^{-1} A−1

A − 1 : V → V α → β \mathscr{A}^{-1}: V \rightarrow V\\ \quad \alpha \rightarrow \beta A−1:V→Vα→β

即

A − 1 ( α ) = β \mathscr{A}^{-1}(\alpha)=\beta A−1(α)=β

简单的理解: β \beta β可以通过线性变换 A \mathscr{A} A变为 α \alpha α， α \alpha α也可以通过线性变换 A − 1 \mathscr{A}^{-1} A−1变为 β \beta β（因为是一一对应的）

那么，可以推导出

A A − 1 ( α ) = α A A − 1 ( β ) = β \mathscr{A}\mathscr{A}^{-1}(\alpha)=\alpha\\ \quad\\ \mathscr{A}\mathscr{A}^{-1}(\beta)=\beta AA−1(α)=αAA−1(β)=β

说明：

A A − 1 ( α ) = A ( A − 1 ( α ) ) = A ( β ) = α \mathscr{A}\mathscr{A}^{-1}(\alpha)=\mathscr{A}(\mathscr{A}^{-1}(\alpha))=\mathscr{A}(\beta)=\alpha AA−1(α)=A(A−1(α))=A(β)=α
A A − 1 ( β ) = A ( A − 1 ( β ) ) = A ( α ) = β \mathscr{A}\mathscr{A}^{-1}(\beta)=\mathscr{A}(\mathscr{A}^{-1}(\beta))=\mathscr{A}(\alpha)=\beta AA−1(β)=A(A−1(β))=A(α)=β

即

A A − 1 = C \mathscr{A}\mathscr{A}^{-1}=\mathscr{C} AA−1=C

C \mathscr{C} C为恒等变换

线性变换的指数法则：

T 0 = C \mathscr{T}^{0}=\mathscr{C} T0=C
T n = T T . . . T ⏟ n 个 \mathscr{T}^{n}=\underbrace{\mathscr{T}\mathscr{T}...\mathscr{T}}_{n个} Tn=n个 TT...T
T − n = T − 1 T − 1 . . . T − 1 ⏟ n 个 \mathscr{T}^{-n}=\underbrace{\mathscr{T}^{-1}\mathscr{T}^{-1}...\mathscr{T}^{-1}}_{n个} T−n=n个 T−1T−1...T−1
T m + n = T m ⋅ T n \mathscr{T}^{m+n}=\mathscr{T}^{m} \cdot \mathscr{T}^{n} Tm+n=Tm⋅Tn
( T m ) n = T m n (\mathscr{T}^{m})^{n}=\mathscr{T}^{mn} (Tm)n=Tmn
T − n = ( T − 1 ) n \mathscr{T}^{-n}=(\mathscr{T}^{-1})^n T−n=(T−1)n

设多项式 f ( x ) = a n x n + a n − 1 x n − 1 + . . . + a 1 x + a 0 a i ∈ K f(x)=a_nx^{n}+a_{n-1}x^{n-1}+...+a_1x+a_0\quad a_i\in K f(x)=anxn+an−1xn−1+...+a1x+a0ai∈K， T \mathscr{T} T是数域 K K K上线性空间 V V V的线性变换，由线性变换运算可知

f ( T ) = a n T n + a n − 1 T n − 1 + . . . + a 1 T + a 0 C f(\mathscr{T})=a_n\mathscr{T}^{n}+a_{n-1}\mathscr{T}^{n-1}+...+a_1\mathscr{T}+a_0\mathscr{C} f(T)=anTn+an−1Tn−1+...+a1T+a0C

也是 V V V的一个线性变换