1.3 矩阵

矩阵"/>

1.3 矩阵

一、向量与矩阵

下面是三个向量 u \boldsymbol u u、 v \boldsymbol v v、 w \boldsymbol w w： u = [ 1 − 1 0 ] v = [ 0 1 − 1 ] w = [ 0 0 1 ] \boldsymbol u=\begin{bmatrix}\,\,\,\,1\\-1\\\,\,\,\,0\end{bmatrix}\kern 10pt\boldsymbol v=\begin{bmatrix}\,\,\,\,0\\\,\,\,\,1\\-1\end{bmatrix}\kern 10pt\boldsymbol w=\begin{bmatrix}0\\0\\1\end{bmatrix} u= ​1−10​ ​v= ​01−1​ ​w= ​001​ ​它们在三维空间中的线性组合是 x 1 u + x 2 v + x 3 w x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w x1​u+x2​v+x3​w： 向量的线性组合 ： x 1 [ 1 − 1 0 ] + x 2 [ 0 1 − 1 ] + x 3 [ 0 0 1 ] = [ x 1 x 2 − x 1 x 3 − x 2 ] ( 1.3.1 ) \textbf{向量的线性组合}：\kern 5ptx_1\begin{bmatrix}\,\,\,\,1\\-1\\\,\,\,\,0\end{bmatrix}+x_2\begin{bmatrix}\,\,\,\,0\\\,\,\,\,1\\-1\end{bmatrix}+x_3\begin{bmatrix}0\\0\\1\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}\kern 12pt(1.3.1) 向量的线性组合：x1​ ​1−10​ ​+x2​ ​01−1​ ​+x3​ ​001​ ​= ​x1​x2​−x1​x3​−x2​​ ​(1.3.1)现在利用矩阵改写式（1.3.1）， u \boldsymbol u u、 v \boldsymbol v v、 w \boldsymbol w w 变成矩阵 A A A 的列，得到一个矩阵 A A A 乘向量 ( x 1 , x 2 , x 3 ) (x_1,x_2,x_3) (x1​,x2​,x3​)：

矩阵乘向量，列的组合 ： A x = [ 1 0 0 − 1 1 0 0 − 1 1 ] [ x 1 x 2 x 3 ] = [ x 1 x 2 − x 1 x 3 − x 2 ] ( 1.3.2 ) \textbf{矩阵乘向量，列的组合}：\kern 5ptA\boldsymbol x=\begin{bmatrix}\,\,\,\,1&\,\,\,\,0&0\\-1&\kern 7pt1&0\\\,\,\,\,0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}\kern 20pt(1.3.2) 矩阵乘向量，列的组合：Ax= ​1−10​01−1​001​ ​ ​x1​x2​x3​​ ​= ​x1​x2​−x1​x3​−x2​​ ​(1.3.2)

x 1 x_1 x1​、 x 2 x_2 x2​、 x 3 x_3 x3​ 是向量 x \boldsymbol x x 的分量，矩阵 A A A 乘向量 x \boldsymbol x x 与式（1.3.1）三个列的线性组合等价。
这里的改写可以让我们从不同的视角来观察，一开始是三个数字 x 1 x_1 x1​， x 2 x_2 x2​， x 3 x_3 x3​ 乘向量，现在是矩阵乘这三个数字。矩阵 A A A 作用于向量 x \boldsymbol x x，输出的 A x A\boldsymbol x Ax 是矩阵 A \pmb A A 列的组合 b \boldsymbol b b。
为方便观察，将 A x A\boldsymbol x Ax 的分量记为 b 1 b_1 b1​， b 2 b_2 b2​， b 3 b_3 b3​： A x = [ 1 0 0 − 1 1 0 0 − 1 1 ] [ x 1 x 2 x 3 ] = [ x 1 x 2 − x 1 x 3 − x 2 ] = [ b 1 b 2 b 3 ] = b ( 1.3.3 ) A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}=\boldsymbol b\kern 20pt(1.3.3) Ax= ​1−10​01−1​001​ ​ ​x1​x2​x3​​ ​= ​x1​x2​−x1​x3​−x2​​ ​= ​b1​b2​b3​​ ​=b(1.3.3)输入是 x \boldsymbol x x，输出是 b = A x \boldsymbol b=A\boldsymbol x b=Ax。这里 A A A 是一个差分矩阵（difference matrix），因为 b \boldsymbol b b 包含了输入 x \boldsymbol x x 的差。最上面的差是 x 1 − x 0 = x 1 − 0 x_1-x_0=x_1-0 x1​−x0​=x1​−0。
当 x = ( 1 , 4 , 9 ) \boldsymbol x=(1,4,9) x=(1,4,9) 时： x \boldsymbol x x 中是平方数， b \boldsymbol b b 中是奇数： x = [ 1 4 9 ] = 平方数 A x = [ 1 − 0 4 − 1 9 − 4 ] = [ 1 3 5 ] = b ( 1.3.4 ) \boldsymbol x=\begin{bmatrix}1\\4\\9\end{bmatrix}=平方数\kern 10ptA\boldsymbol x=\begin{bmatrix}1-0\\4-1\\9-4\end{bmatrix}=\begin{bmatrix}1\\3\\5\end{bmatrix}=\boldsymbol b\kern 20pt(1.3.4) x= ​149​ ​=平方数Ax= ​1−04−19−4​ ​= ​135​ ​=b(1.3.4)这里可以扩展到 4 × 4 4\times4 4×4 的矩阵，下一个平方数 x 4 = 16 x_4=16 x4​=16，下一个差是 x 4 − x 3 = 16 − 9 = 7 x_4-x_3=16-9=7 x4​−x3​=16−9=7（下个奇数）。这个矩阵可以一次性将所有的差 1 1 1、 3 3 3、 5 5 5、 7 7 7 都计算出来。
重要注解： 每次乘一行。矩阵与向量的乘法，可以用另一种方式来解释，即使用行而不是列。 A x A\boldsymbol x Ax 也是行的点积：

矩阵乘向量，行的点积 ： A x = [ 1 0 0 − 1 1 0 0 − 1 1 ] [ x 1 x 2 x 3 ] = [ ( 1 , 0 , 0 ) ⋅ ( x 1 , x 2 , x 3 ) ( − 1 , 1 , 0 ) ⋅ ( x 1 , x 2 , x 3 ) ( 0 , − 1 , 1 ) ⋅ ( x 1 , x 2 , x 3 ) ] ( 1.3.5 ) \textbf{矩阵乘向量，行的点积}：A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}\kern 7pt(1,0,0)\cdot(x_1,x_2,x_3)\\(-1,1,0)\cdot(x_1,x_2,x_3)\\(0,-1,1)\cdot(x_1,x_2,x_3)\end{bmatrix}\kern 15pt(1.3.5) 矩阵乘向量，行的点积：Ax= ​1−10​01−1​001​ ​ ​x1​x2​x3​​ ​= ​(1,0,0)⋅(x1​,x2​,x3​)(−1,1,0)⋅(x1​,x2​,x3​)(0,−1,1)⋅(x1​,x2​,x3​)​ ​(1.3.5)

二、线性方程组

以前的问题是数字 x 1 x_1 x1​、 x 2 x_2 x2​、 x 3 x_3 x3​ 已知，求 b \boldsymbol b b；现在的问题是 b \boldsymbol b b 已知，求出 x \boldsymbol x x。
老问题：计算线性组合 x 1 u + x 2 v + x 3 w x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w x1​u+x2​v+x3​w 求出 b \boldsymbol b b。
新问题： u \boldsymbol u u、 v \boldsymbol v v、 w \boldsymbol w w 什么样的线性组合可以得到特定的向量 b \boldsymbol b b ？
这两个问题是相反的。新问题是求解输入 x \boldsymbol x x 以便得到输出 b = A x \boldsymbol b=A\boldsymbol x b=Ax。这是 x 1 x_1 x1​、 x 2 x_2 x2​、 x 3 x_3 x3​ 的线性方程组，方程右侧是 b 1 b_1 b1​、 b 2 b_2 b2​、 b 3 b_3 b3​，现在要求解 A x = b A\boldsymbol x=\boldsymbol b Ax=b 找到 x 1 x_1 x1​， x 2 x_2 x2​， x 3 x_3 x3​：

方程 A x = b x 1 = b 1 − x 1 + x 2 = b 2 − x 2 + x 3 = b 3 解 x = A − 1 b x 1 = b 1 x 2 = b 1 + b 2 x 3 = b 1 + b 2 + b 3 ( 1.3.6 ) 方程\,A\boldsymbol x=\boldsymbol b\kern 10pt\begin{matrix}\kern 7ptx_1\kern 3pt\kern 20pt=b_1\\-x_1+x_2=b_2\\-x_2+x_3=b_3\end{matrix}\kern 10pt解\,\boldsymbol x=A^{-1}\boldsymbol b\kern 10pt\begin{matrix}x_1=b_1\kern 43pt\\x_2=b_1+b_2\kern 21pt\\x_3=b_1+b_2+b_3\end{matrix}\kern 12pt(1.3.6) 方程Ax=bx1​=b1​−x1​+x2​=b2​−x2​+x3​=b3​​解x=A−1bx1​=b1​x2​=b1​+b2​x3​=b1​+b2​+b3​​(1.3.6)

大部分线性系统并不容易求解。但是该例中，第一个方程求出 x 1 = b 1 x_1=b_1 x1​=b1​，第二个方程求出 x 2 = b 1 + b 2 x_2=b_1+b_2 x2​=b1​+b2​，第三个方程求出 x 3 = b 1 + b 2 + b 3 x_3=b_1+b_2+b_3 x3​=b1​+b2​+b3​。因为 A A A 是三角矩阵，这些方程可以有序的求出解（从顶部到底部）。
下面是两个具体的例子： b = [ 0 0 0 ] 得 x = [ 0 0 0 ] , b = [ 1 3 5 ] 得 x = [ 1 1 + 3 1 + 3 + 5 ] = [ 1 4 9 ] \boldsymbol b=\begin{bmatrix}0\\0\\0\end{bmatrix}得\,\boldsymbol x=\begin{bmatrix}0\\0\\0\end{bmatrix},\kern 5pt\boldsymbol b=\begin{bmatrix}1\\3\\5\end{bmatrix}得\,\boldsymbol x=\begin{bmatrix}1\kern 36pt\\1+3\kern 18pt\\1+3+5\end{bmatrix}=\begin{bmatrix}1\\4\\9\end{bmatrix} b= ​000​ ​得x= ​000​ ​,b= ​135​ ​得x= ​11+31+3+5​ ​= ​149​ ​第一个解全都是 0 0 0 的例子是很重要。用语言来描述就是：如果输出 b = 0 \boldsymbol b=\boldsymbol 0 b=0，则必有输入 x = 0 \boldsymbol x=\boldsymbol 0 x=0。对于这个矩阵 A A A 是成立的，但并不是对所有的矩阵都成立。
矩阵 A A A 是可逆的，从 b \boldsymbol b b 可以反推得到 x \boldsymbol x x，记作 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b。

三、逆矩阵

式（1.3.6）中的 A − 1 A^{-1} A−1 是一个求和矩阵： 求解 A x = b [ x 1 x 2 x 3 ] = [ b 1 b 1 + b 2 b 1 + b 2 + b 3 ] = [ 1 0 0 1 1 0 1 1 1 ] [ b 1 b 2 b 3 ] ( 1.3.7 ) 求解\,A\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}b_1\kern 43pt\\b_1+b_2\kern 22pt\\b_1+b_2+b_3\end{bmatrix}=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}\kern 15pt(1.3.7) 求解Ax=b ​x1​x2​x3​​ ​= ​b1​b1​+b2​b1​+b2​+b3​​ ​= ​111​011​001​ ​ ​b1​b2​b3​​ ​(1.3.7)如果 x \boldsymbol x x 之间的差是 b \boldsymbol b b，那么 b \boldsymbol b b 之间的和就是 x \boldsymbol x x。方程式（1.3.7）的求和矩阵就是差分矩阵 A A A 的逆矩阵 A − 1 A^{-1} A−1。
例： x = ( 1 , 2 , 3 ) \boldsymbol x=(1,2,3) x=(1,2,3) 的差是 b = ( 1 , 1 , 1 ) \boldsymbol b=(1,1,1) b=(1,1,1)，所以 b = A x \boldsymbol b=A\boldsymbol x b=Ax， x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b： A x = [ 1 0 0 − 1 1 0 0 − 1 1 ] [ 1 2 3 ] = [ 1 1 1 ] A − 1 b = [ 1 0 0 1 1 0 1 1 1 ] [ 1 1 1 ] = [ 1 2 3 ] A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}1\\1\\1\end{bmatrix}\kern 10ptA^{-1}\boldsymbol b=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\end{bmatrix}\begin{bmatrix}1\\1\\1\end{bmatrix}=\begin{bmatrix}1\\2\\3\end{bmatrix} Ax= ​1−10​01−1​001​ ​ ​123​ ​= ​111​ ​A−1b= ​111​011​001​ ​ ​111​ ​= ​123​ ​从方程（1.3.7）的解 x = ( x 1 , x 2 , x 3 ) \boldsymbol x=(x_1,x_2,x_3) x=(x1​,x2​,x3​) 可以得到两个结论：

1. 对于每一个 b \boldsymbol b b，都存在一个 A x = b A\boldsymbol x=\boldsymbol b Ax=b 的解；
2. 矩阵 A − 1 A^{-1} A−1 可以得到解 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b。

微积分注解：将这些特殊的矩阵同微积分联系起来，向量 x \boldsymbol x x 对应函数 x ( t ) x(t) x(t)，差分 A x A\boldsymbol x Ax 对应导数 d x / d t = b ( t ) \textrm dx/\textrm dt=b(t) dx/dt=b(t)，和 A − 1 b A^{-1}\boldsymbol b A−1b 就对应 b ( t ) b(t) b(t) 的积分。差的和就像导数的积分。
从微积分的基础定理我们知道：导数和积分互为逆运算。 A x = b 与 x = A − 1 b d x d t = b ( t ) 与 x ( t ) = ∫ 0 t b ( t ) d t ( 1.3.8 ) A\boldsymbol x=\boldsymbol b\,与\,\boldsymbol x=A^{-1}\boldsymbol b\kern 15pt\frac{\textrm dx}{\textrm dt}=b(t)\,与\,x(t)=\int_0^tb(t)\,\textrm dt\kern 15pt(1.3.8) Ax=b与x=A−1bdtdx​=b(t)与x(t)=∫0t​b(t)dt(1.3.8)平方数 0 0 0， 1 1 1， 4 4 4， 9 9 9 的差分是奇数 1 1 1， 3 3 3， 5 5 5， 7 7 7， x ( t ) = t 2 x(t)=t^2 x(t)=t2 的导数是 2 t 2t 2t，当 t = 1 , 2 , 3 t=1,2,3 t=1,2,3 时得到偶数 b = 2 , 4 , 6 b=2,4,6 b=2,4,6。但是差分和导数不同，这里矩阵 A A A 得到的不是 2 t 2t 2t，而是 2 t − 1 2t-1 2t−1：反向差分（backward difference） x ( t ) − x ( t − 1 ) = t 2 − ( t − 1 ) 2 = t 2 − ( t 2 − 2 t + 1 ) = 2 t − 1 ( 1.3.9 ) x(t)-x(t-1)=t^2-(t-1)^2=t^2-(t^2-2t+1)=2t-1\kern 10pt(1.3.9) x(t)−x(t−1)=t2−(t−1)2=t2−(t2−2t+1)=2t−1(1.3.9)前向差分（forward difference）会得到 2 t + 1 2t+1 2t+1。中心差分（centered difference）是 Δ x / Δ t \Delta x/\Delta t Δx/Δt，其中 Δ x = x ( t + 1 ) − x ( t − 1 ) \Delta x=x(t+1)-x(t-1) Δx=x(t+1)−x(t−1)， Δ t = ( t + 1 ) − ( t − 1 ) = 2 \Delta t=(t+1)-(t-1)=2 Δt=(t+1)−(t−1)=2： x ( t ) = t 2 的中心差分 ( t + 1 ) 2 − ( t − 1 ) 2 2 = 2 t ( 1.3.10 ) x(t)=t^2\,的中心差分\kern 15pt\frac{(t+1)^2-(t-1)^2}{2}=2t\kern 15pt(1.3.10) x(t)=t2的中心差分2(t+1)2−(t−1)2​=2t(1.3.10)

四、循环差分

循环差分（cyclic difference）是不可逆的，这里同上个例子有三个向量， u \boldsymbol u u 和 v \boldsymbol v v 不变，将 w \boldsymbol w w 改成 w ∗ \boldsymbol w^* w∗： u = [ 1 − 1 0 ] v = [ 0 1 − 1 ] w ∗ = [ − 1 0 1 ] \boldsymbol u=\begin{bmatrix}\kern 7pt1\\-1\\\kern 7pt0\end{bmatrix}\kern 5pt\boldsymbol v=\begin{bmatrix}\kern 7pt0\\\kern 7pt1\\-1\end{bmatrix}\kern 5pt\boldsymbol w^*=\begin{bmatrix}-1\\\kern 7pt0\\\kern 7pt1\end{bmatrix} u= ​1−10​ ​v= ​01−1​ ​w∗= ​−101​ ​现在 u , v , w ∗ \boldsymbol u,\boldsymbol v,\boldsymbol w^* u,v,w∗ 的线性组合将得到循环差分矩阵 C C C：

循环差分 C x = [ 1 0 − 1 − 1 1 0 0 − 1 1 ] [ x 1 x 2 x 3 ] = [ x 1 − x 3 x 2 − x 1 x 3 − x 2 ] = b ( 1.3.11 ) \textbf{循环差分}\kern 15ptC\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&-1\\-1&\kern 7pt1&\kern 7pt0\\\kern 7pt0&-1&\kern 7pt1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\boldsymbol b\kern 15pt(1.3.11) 循环差分Cx= ​1−10​01−1​−101​ ​ ​x1​x2​x3​​ ​= ​x1​−x3​x2​−x1​x3​−x2​​ ​=b(1.3.11)

C C C 不是一个三角矩阵。当给定 b \boldsymbol b b 时， C x = b C\boldsymbol x=\boldsymbol b Cx=b 要么有无穷多个解，要么无解： C x = 0 有无穷多个解 x [ x 1 − x 3 x 2 − x 1 x 3 − x 2 ] = [ 0 0 0 ] 的解是所有向量 [ x 1 x 2 x 3 ] = [ c c c ] ( 1.3.12 ) C\boldsymbol x=\boldsymbol 0\,有无穷多个解\,\boldsymbol x\kern 10pt\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}0\\0\\0\end{bmatrix} 的解是所有向量\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}c\\c\\c\end{bmatrix}\kern 10pt(1.3.12) Cx=0有无穷多个解x ​x1​−x3​x2​−x1​x3​−x2​​ ​= ​000​ ​的解是所有向量 ​x1​x2​x3​​ ​= ​ccc​ ​(1.3.12)每一个常数 c c c 都满足，例如 x = ( 3 , 3 , 3 ) \boldsymbol x=(3,3,3) x=(3,3,3) 的循环差都是 0 0 0。任意常数 c c c 就像不定积分时所加的任意常数 + C +C +C。
C x = b C\boldsymbol x=\boldsymbol b Cx=b 更大的可能是 x \boldsymbol x x 无解： C x = b [ x 1 − x 3 x 2 − x 1 x 3 − x 2 ] = [ 1 3 5 ] 左侧相加等于 0 右侧相加等于 9 x 1 , x 2 , x 3 无解 ( 1.3.13 ) C\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}1\\3\\5\end{bmatrix}\kern 10pt\begin{matrix}左侧相加等于0\\右侧相加等于9\\x_1,x_2,x_3无解\end{matrix}\kern 10pt(1.3.13) Cx=b ​x1​−x3​x2​−x1​x3​−x2​​ ​= ​135​ ​左侧相加等于0右侧相加等于9x1​,x2​,x3​无解​(1.3.13)从几何角度来看，不存在 u , v , w ∗ \boldsymbol u,\boldsymbol v,\boldsymbol w^* u,v,w∗ 的线性组合可以得到向量 b = ( 1 , 3 , 5 ) \boldsymbol b=(1,3,5) b=(1,3,5)，它们的线性组合无法形成全部的三维空间。右侧的向量必须满足 b 1 + b 2 + b 3 = 0 b_1+b_2+b_3=0 b1​+b2​+b3​=0 才能保证 C x = b C\boldsymbol x=\boldsymbol b Cx=b 有解，因为左侧的 ( x 1 − x 3 ) + ( x 2 − x 1 ) + ( x 3 − x 2 ) = 0 (x_1-x_3)+(x_2-x_1)+(x_3-x_2)=0 (x1​−x3​)+(x2​−x1​)+(x3​−x2​)=0。换句话说：
所有的线性组合 x 1 u + x 2 v + x 3 w ∗ x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w^* x1​u+x2​v+x3​w∗ 落在平面 b 1 + b 2 + b 3 = 0 b_1+b_2+b_3=0 b1​+b2​+b3​=0 上。
这里将代数与几何相结合，线性组合可以形成整个空间，也可以只形成一个平面。Figure1.10 展示了这两种情况之间的差别：

五、无关与相关

Figure1.10 中第一个图是矩阵 A A A 的列向量，第二个图是矩阵 C C C 的列向量。 u \boldsymbol u u 和 v \boldsymbol v v 是一样的，只看这两个向量的组合，可以得到一个二维的平面，关键是第三个向量是否在这个平面上。
无关（independence）： w \boldsymbol w w 不在 u \boldsymbol u u 和 v \boldsymbol v v 形成的平面上。
相关（dependence）： w ∗ \boldsymbol w^* w∗ 在 u \boldsymbol u u 和 v \boldsymbol v v 形成的平面上。
重点在于向量 w ∗ \boldsymbol w^* w∗ 是 u \boldsymbol u u 和 v \boldsymbol v v 的线性组合： u + v + w ∗ = 0 w ∗ = [ − 1 0 1 ] = − u − v ( 1.3.14 ) \boldsymbol u+\boldsymbol v+\boldsymbol w^*=\boldsymbol 0\kern 15pt\boldsymbol w^*=\begin{bmatrix}-1\\\kern 7pt0\\\kern 7pt1\end{bmatrix}=-\boldsymbol u-\boldsymbol v\kern 20pt(1.3.14) u+v+w∗=0w∗= ​−101​ ​=−u−v(1.3.14)这三个向量 u , v , w ∗ \boldsymbol u,\boldsymbol v,\boldsymbol w^* u,v,w∗ 分量的和都是零，它们所有的线性组合都会有 b 1 + b 2 + b 3 = 0 b_1+b_2+b_3=0 b1​+b2​+b3​=0（即将这三个方程相加），这个平面就是 u \boldsymbol u u 和 v \boldsymbol v v 的线性组合所形成的，而 w ∗ \boldsymbol w^* w∗ 已经在这个平面上了，我们并没有得到任何新的向量。
而 w = ( 0 , 0 , 1 ) \boldsymbol w=(0,0,1) w=(0,0,1) 并不在这个平面上，因为 0 + 0 + 1 ≠ 0 0+0+1\neq0 0+0+1=0， u , v , w \boldsymbol u,\boldsymbol v,\boldsymbol w u,v,w 的线性组合可以形成整个三维空间。对于任意的 b \boldsymbol b b，我们可以通过式（1.3.6） x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b 找到它的线性组合，使方程成立。
u , v , w \boldsymbol u,\boldsymbol v,\boldsymbol w u,v,w 无关，除了 0 u + 0 v + 0 w = 0 0\boldsymbol u+0\boldsymbol v+0\boldsymbol w=\boldsymbol 0 0u+0v+0w=0 外，没有其它任何线性组合可以得到 b = 0 \boldsymbol b=\boldsymbol 0 b=0。
u , v , w ∗ \boldsymbol u,\boldsymbol v,\boldsymbol w^* u,v,w∗ 相关，存在除 x = ( 0 , 0 , 0 ) \boldsymbol x=(0,0,0) x=(0,0,0) 之外的其它线性组合使得 A x = b = 0 A\boldsymbol x=\boldsymbol b=\boldsymbol 0 Ax=b=0。
将其推广到 n n n 维空间的 n n n 个向量，则这些向量是一个 n × n n\times n n×n 矩阵的列：
无关列： A x = 0 A\boldsymbol x=\boldsymbol 0 Ax=0 仅有一个解， A A A 是可逆矩阵。
相关列： C x = 0 C\boldsymbol x=\boldsymbol 0 Cx=0 有很多解， C C C 是奇异矩阵。

六、主要内容总结

1. 矩阵乘向量： A x = A A\boldsymbol x=A Ax=A 列的线性组合。
2. 当 A A A 是可逆矩阵时， A x = b A\boldsymbol x=\boldsymbol b Ax=b 的解是 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b。
3. 循环差分矩阵 C C C 没有逆矩阵，因为它的三个列在同一平面，这些相关列相加是零向量， C x = 0 C\boldsymbol x=\boldsymbol 0 Cx=0 有很多解。

七、例题

【例1】 将 A A A 的左下角单元 a 31 a_{31} a31​（第3行，1列）改成 a 31 = 1 a_{31}=1 a31​=1，则 A x = b A\boldsymbol x=\boldsymbol b Ax=b 变成： [ 1 0 0 − 1 1 0 1 − 1 1 ] [ x 1 x 2 x 3 ] = [ x 1 − x 1 + x 2 x 1 − x 2 + x 3 ] = [ b 1 b 2 b 3 ] \begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt1&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 47pt\\-x_1+x_2\kern 31pt\\x_1-x_2+x_3\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix} ​1−11​01−1​001​ ​ ​x1​x2​x3​​ ​= ​x1​−x1​+x2​x1​−x2​+x3​​ ​= ​b1​b2​b3​​ ​对任意的 b \boldsymbol b b 求出 x \boldsymbol x x。求出 A A A 的逆矩阵 A − 1 A^{-1} A−1，使得 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b 成立。
解： 从上到下求解（线性三角形）系统 A x = b A\boldsymbol x=\boldsymbol b Ax=b： { x 1 = b 1 x 2 = b 1 + b 2 x 3 = b 2 + b 3 可得 x = A − 1 b = [ 1 0 0 1 1 0 0 1 1 ] [ b 1 b 2 b 3 ] \left\{\begin{matrix}x_1=b_1\kern 44pt\\x_2=b_1+b_2\kern 22pt\\x_3=\kern 21ptb_2+b_3\end{matrix}\right.可得\,\boldsymbol x=A^{-1}\boldsymbol b=\begin{bmatrix}1&0&0\\1&1&0\\0&1&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix} ⎩ ⎨ ⎧​x1​=b1​x2​=b1​+b2​x3​=b2​+b3​​可得x=A−1b= ​110​011​001​ ​ ​b1​b2​b3​​ ​矩阵 A A A 的三个列仍是无关列，它们不在同一平面，这三个列的线性组合使用正确的加权 x 1 x_1 x1​， x 2 x_2 x2​， x 3 x_3 x3​，可以得到任意的三维向量 b = ( b 1 , b 2 , b 3 ) \boldsymbol b=(b_1,b_2,b_3) b=(b1​,b2​,b3​)，而这些加权可以从 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b 得到。

【例2】 E E E 是一个消元（elimination）矩阵， E E E 有一个减法， E − 1 E^{-1} E−1 则有一个加法。 b = E x [ b 1 b 2 ] = [ x 1 x 2 − l x 1 ] = [ 1 0 − l 1 ] [ x 1 x 2 ] E = [ 1 0 − l 1 ] \boldsymbol b=E\boldsymbol x\kern 15pt\begin{bmatrix}b_1\\b_2\end{bmatrix}=\begin{bmatrix}x_1\kern 27pt\\x_2-lx_1\end{bmatrix}=\begin{bmatrix}\kern 7pt1&0\\-l&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}\kern 15ptE=\begin{bmatrix}\kern 7pt1&0\\-l&1\end{bmatrix} b=Ex[b1​b2​​]=[x1​x2​−lx1​​]=[1−l​01​][x1​x2​​]E=[1−l​01​]第一个方程是 x 1 = b 1 x_1=b_1 x1​=b1​，第二个方程是 x 2 − l x 1 = b 2 x_2-lx_1=b_2 x2​−lx1​=b2​。因为消元矩阵有减法，所以其逆矩阵会把 l b 1 lb_1 lb1​ 加到 b 2 b_2 b2​： x = E − 1 b [ x 1 x 2 ] = [ b 1 l b 1 + b 2 ] = [ 1 0 l 1 ] [ b 1 b 2 ] E − 1 = [ 1 0 l 1 ] \boldsymbol x=E^{-1}\boldsymbol b\kern 15pt\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}b_1\kern 19pt\\lb_1+b_2\end{bmatrix}=\begin{bmatrix}1&0\\l&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\end{bmatrix}\kern 15ptE^{-1}=\begin{bmatrix}1&0\\l&1\end{bmatrix} x=E−1b[x1​x2​​]=[b1​lb1​+b2​​]=[1l​01​][b1​b2​​]E−1=[1l​01​]
【例3】将矩阵 C C C 从循环差分变为中心差分产生 x 3 − x 1 x_3-x_1 x3​−x1​： C x = b [ 0 1 0 − 1 0 1 0 − 1 0 ] [ x 1 x 2 x 3 ] = [ x 2 − 0 x 3 − x 1 0 − x 2 ] = [ b 1 b 2 b 3 ] ( 1.3.15 ) C\boldsymbol x=\boldsymbol b\kern 15pt\begin{bmatrix}\kern 7pt0&\kern 7pt1&0\\-1&\kern 7pt0&1\\\kern 7pt0&-1&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_2-0\kern 6pt\\x_3-x_1\\0-x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}\kern 20pt(1.3.15) Cx=b ​0−10​10−1​010​ ​ ​x1​x2​x3​​ ​= ​x2​−0x3​−x1​0−x2​​ ​= ​b1​b2​b3​​ ​(1.3.15) C x = b C\boldsymbol x=\boldsymbol b Cx=b 只有在 b 1 + b 3 = x 2 − x 2 = 0 b_1+b_3=x_2-x_2=0 b1​+b3​=x2​−x2​=0 时才有解，这个是三维空间中向量 b \boldsymbol b b 的一个平面。 C C C 的每一列都在这个平面上，该矩阵不可逆，所以这个平面包含了这些列的全部线性组合（即所有的向量 C x C\boldsymbol x Cx）。式（1.3.15）将 0 也写了进去，可以看到矩阵 C C C 产生了 “中心差分”， C x C\boldsymbol x Cx 的行 i i i 是 x i + 1 − x i − 1 x_{i+1}-x_{i-1} xi+1​−xi−1​。
下面是 4 × 4 4×4 4×4 中心差分的例子： C x = b [ 0 1 0 0 − 1 0 1 0 0 − 1 0 1 0 0 − 1 0 ] [ x 1 x 2 x 3 x 4 ] = [ x 1 − 0 x 3 − x 1 x 4 − x 2 0 − x 3 ] = [ b 1 b 2 b 3 b 4 ] C\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}0&1&0&0\\-1&0&1&0\\0&-1&0&1\\0&0&-1&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix}=\begin{bmatrix}x_1-0\\x_3-x_1\\x_4-x_2\\0-x_3\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\\b_4\end{bmatrix} Cx=b ​0−100​10−10​010−1​0010​ ​ ​x1​x2​x3​x4​​ ​= ​x1​−0x3​−x1​x4​−x2​0−x3​​ ​= ​b1​b2​b3​b4​​ ​这个矩阵是可逆的！但是 5 × 5 5\times5 5×5 的矩阵是奇异的 ⋯ \cdots ⋯