当 Ax=b 无解时，如何处理

如何处理"/>

当 Ax=b 无解时，如何处理

当 A x = b Ax=b Ax=b 无解时，可以在左右两边同时左乘 A T A^T AT 得到 A T A x ^ = A T b A^TA\hat{x}=A^Tb ATAx^=ATb，然后求解 x ^ \hat{x} x^ 即为 A x = b Ax=b Ax=b 的最优解。

证明：矩阵 A的映射矩阵 P = A ( A T A ) − 1 A T P=A(A^TA)^{-1}A^T P=A(ATA)−1AT，所以 b b b 在 A的列空间 C ( A ) C(A) C(A) 的映射为 p = P b p=Pb p=Pb， 所以通过 A x ^ = P b A\hat{x}=Pb Ax^=Pb 求得的 x ^ \hat{x} x^ 便是 A x = b Ax=b Ax=b 的最优解。

A x ^ = P b = A ( A T A ) − 1 A T b A\hat{x}=Pb = A(A^TA)^{-1}A^Tb Ax^=Pb=A(ATA)−1ATb 左右两边同时左乘 A T A^T AT

得到 A T A x ^ = A T A ( A T A ) − 1 A T b = ( A T A ) ( A T A ) − 1 A T b = A T b A^{T}A\hat{x} = A^TA(A^TA)^{-1}A^Tb = (A^TA)(A^TA)^{-1}A^Tb = A^Tb ATAx^=ATA(ATA)−1ATb=(ATA)(ATA)−1ATb=ATb。

有因为

A T A ( A T A ) − 1 = A T A A − 1 ( A T ) − 1 = A T I ( A T ) − 1 = I A^TA(A^TA)^{-1}=A^TAA^{-1}(A^T)^{-1}=A^TI(A^T)^{-1}=I ATA(ATA)−1=ATAA−1(AT)−1=ATI(AT)−1=I

A − 1 ( A T ) − 1 A T A = A − 1 I A = I A^{-1}(A^T)^{-1}A^TA=A^{-1}IA=I A−1(AT)−1ATA=A−1IA=I

所以 A T A A^TA ATA 是一个可逆矩阵，所以 A T A x ^ = A T b A^TA\hat{x}=A^Tb ATAx^=ATb 有解。