您的位置:首页 > 游戏 > 手游 > svd在求解最小二乘中的应用

svd在求解最小二乘中的应用

2024/12/23 4:39:32 来源:https://blog.csdn.net/xinxiangwangzhi_/article/details/140857761  浏览:    关键词:svd在求解最小二乘中的应用

文章目录

  • 线性最小二乘的直接解法(正规方程解法)
  • 什么是伪逆?
  • 伪逆矩阵的一般形式
  • 伪逆矩阵与SVD的关系

线性最小二乘的直接解法(正规方程解法)

对于 A x = b \boldsymbol{A}x=b Ax=b的线性最小二乘问题,有直解析解: x = ( A T A ) − 1 A T b x=(A^{\mathrm{T}}A)^{-1}A^{\mathrm{T}}b x=(ATA)1ATb

什么是伪逆?

对于正方形满秩矩阵而言存在逆矩阵,但是对于非正方形矩阵(行列数量不等)或者秩亏矩阵而言,若 A + A^{+} A+满足以下四个条件:
A A + A = A .  A A^{+} A=A \text {. } AA+A=A

A + A A + = A + .  A^{+} A A^{+}=A^{+} \text {. } A+AA+=A+

( A A + ) T = A A + . \left(A A^{+}\right)^T=A A^{+} . (AA+)T=AA+.

( A + A ) T = A + A \left(A^{+} A\right)^T=A^{+} A (A+A)T=A+A
则称 A + A^{+} A+为矩阵 A A A的伪逆矩阵,也称为Moore–Penrose 逆矩阵。

伪逆矩阵的一般形式

  • A A A 是列满秩矩阵时有:
    A + = ( A T A ) − 1 A T .  A^{+}=\left(A^T A\right)^{-1} A^T \text {. } A+=(ATA)1AT

此时称为左伪逆矩阵,此时满足 A + A = I A^{+} A=I A+A=I.

  • A A A 是行满秩矩阵(秩亏)时有:
    A + = A ∗ ( A A ∗ ) − 1 .  A^{+}=A^*\left(A A^*\right)^{-1} \text {. } A+=A(AA)1
    此时称为右伪逆矩阵,此时满足 A A + = I A A^{+}=I AA+=I.
    可以发现伪逆的一般形式与线性最小二乘的直接解法形式相同(二者相差右乘系数b)

伪逆矩阵与SVD的关系

A A A 的奇异值分解性质可知: ( A T A ) V = Σ 2 V 得: ( A T A ) = V Σ 2 V − 1 \left(A^T A\right)V=\Sigma^{2}V得: \left(A^T A\right)=V\Sigma^{2}V^{-1} (ATA)V=Σ2V得:(ATA)=VΣ2V1
因为: A T = ( V T ) T Σ T U T = V Σ T U T A^{\mathrm{T}}=\left(V^{\mathrm{T}}\right)^{\mathrm{T}} \Sigma^{\mathrm{T}} U^{\mathrm{T}}=V \Sigma^{\mathrm{T}} U^{\mathrm{T}} AT=(VT)TΣTUT=VΣTUT.
U , V U,V U,V为正交矩阵,所以:
U T = U − 1 , V T = V − 1 U^T=U^{-1},V^T=V^{-1} UT=U1,VT=V1

  • A A A 是列满秩矩阵时(参数数量小于方程数量,此时有最小二乘解)有:
    A + = ( A T A ) − 1 A T = ( V Σ 2 V − 1 ) − 1 V Σ U − 1 = V Σ − 1 U T A^{+}=\left(A^T A\right)^{-1} A^T =(V\Sigma^{2}V^{-1})^{-1}V \Sigma U^{-1} =V \Sigma^{-1} U^{T} A+=(ATA)1AT=(VΣ2V1)1VΣU1=VΣ1UT
    可以发现:利用SVD分解可以求解线性最小二乘问题。此外可以发现 Σ \Sigma Σ(奇异值)对于解的稳定性(是否是病态方程组)至关重要。特别地,当 A A A为满秩方阵时,奇异值最大值与最小值的比值为矩阵 A A A条件数,条件数反应了矩阵 A A A元素对方程解稳定性的影响程度。

参考
1
《线性代数及其应用》7.4
2
3
4
华东师范大学:第三讲线性最小二乘问题

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com