IT评测·应用市场-qidao123.com

标题: 线性代数条记20.SVD分解及其应用 [打印本页]

作者: 兜兜零元 时间: 2025-3-12 10:42
标题: 线性代数条记20.SVD分解及其应用
20.SVD分解及其应用

20.1 奇特值的概念

设存在复数矩阵\(A_{mn}\)，且\(R(A)=r\)

则对矩阵\((A^H\cdot A)_{nn}\)的特性值进行分析如下：

设存在n阶行向量\(x\)，则可将\((A^H\cdot A)_{nn}\)转换为二次型，可得：

\[\qquad \quad x\cdot A^H \cdot A \cdot x^H\]

\[=(Ax)^H\cdot Ax\]

\[=||Ax||^2 \geq0\]
由二次型相关定理可得：

\[\tag{1}二次型(x\cdot A^H \cdot A \cdot x^H) \geq0 \Leftrightarrow (A^H\cdot A)_{nn}的特性值\lambda_i \geq 0 (i=1,2,3,..,n)\]
设矩阵A的特性向量为p，且p中元素不重复，令\(x=py\)，则由二次型与对角化相关性子可得：

\[x\cdot A^H \cdot A \cdot x^H =y \Lambda y^H （\Lambda 为A的对角阵）\]
由矩阵的秩相关性子可得：

\[\tag{2}R(y\Lambda y^H)=R(\Lambda)=R(A)=r\]
由式(1)式(2)可得，矩阵A的特性值为：：

\[\tag{3}\lambda_1 \geq \lambda_2 \geq \lambda_3 \geq ... \geq \lambda_r = \lambda_{r+1}=\lambda_{r+2}=...=\lambda_n\]

奇特值的界说如下：

\[设存在\sigma_i=\sqrt{\lambda_i} （i=1,2,3,...,n）\]

\[\tag{4}则称\sigma_i为矩阵A的奇特值。若A=O，则\sigma_i均为0（i=1,2,3,...,n）\]
20.2 酉矩阵及其应用

20.2.1 酉矩阵相关概念

酉矩阵的界说如下：

设存在复数可逆矩阵\(U\)，若\(U\)满足：

\[\tag{5}U\cdot U^H=E(即U为正交阵)\]
则称\(U\)为\(酉矩阵\)

\(通过奇特值和酉矩阵对m \times n的矩阵进行表示：\)

设：存在复数矩阵\(A_{mn}\)，矩阵A满足：\(R(A)=r，且A的非零奇特值为\sigma_i（i=1,2,3,...,r）\)
存在酉矩阵\(U_{mr}\)、酉矩阵\(V_{nr}\)，此中：

\[酉矩阵U_{mr}=[u_1,u_2,u_3,...,u_r]\]

\[酉矩阵V_{nr}=[v_1,v_2,v_3,...,v_r]\]
设A的非零奇特值所形成的对角阵为：

\[\Sigma_{rr}=\begin{bmatrix}\sigma_1\\&\sigma_2\\&&\sigma_3\\&&......\\&&&\sigma_r\end{bmatrix}\]
则由SVD算法可得：

\[\tag{6}U^H \cdot A \cdot V=\begin{bmatrix}\Sigma&O\\O&O\end{bmatrix}\]
则矩阵\(A\)可表示为：

\[A=U \cdot U^H \cdot A \cdot V \cdot V^H=U \cdot\Sigma\cdot V^H\]

\[={[u_1,u_2,u_3,...,u_r]}_{mr} \cdot {\begin{bmatrix}\sigma_1\\&\sigma_2\\&&\sigma_3\\&&......\\&&&\sigma_r\end{bmatrix}}_{rr}\cdot{\begin{bmatrix}v_1\\v_2\\v_3\\...\\v_r\\\end{bmatrix}}_{rn}\]

\[\tag{7}=u_1\sigma_1v_1+u_2\sigma_2v_2+u_3\sigma_3v_3+...+u_r\sigma_rv_r\]
20.2.2 酉矩阵应用1：SVD图像压缩算法

由20.2.1相关内容，可对\(A_{mn}\)进行SVD压缩，具体如下：

对\(A_{mn}进行完备存储\)：

由式(7)，若采用SVD图像压缩算法，对\(A_{mn}\)进行完备存储，共需存储的元素个数为\((m+n+1)\cdot r\)个，即：

\[u_i共需存储：m \cdot r 个\]

\[v_j共需存储： n \cdot r 个\]

\[\sigma_i共需存储：r个\]
则完备存储的压缩服从为：

\[\frac{(m+n+1)\cdot r}{m \cdot n}\]

\(对A_{mn}进行部门存储：\)

由式(7)，若采用SVD图像压缩算法，对\(A\)进行部门存储
即：保留式(7)中的前k项，舍去后r-k项，则有：

\[u_i共需存储：m \cdot k 个\]

\[v_j共需存储： n \cdot k 个\]

\[\sigma_i共需存储：k个\]
则部门存储的压缩服从为：

\[\frac{(m+n+1)\cdot k}{m \cdot n}\]
部门存储的偏差率为：

\[1-\frac{\Sigma_{j=1}^k \sigma_j}{\Sigma_{i=1}^r \sigma_i}\]
20.2.3 酉矩阵应用2：深度学习加速

深度学习算法中，矩阵相乘盘算的次数对算法执行服从的影响较大
由20.2.1相关内容，可通过矩阵\(A_{mn}\)执行深度学习相关算法，以下对其算法执行服从进行分析：
设存在矩阵\(X_{n \times 1}\)，则有：

一般环境下的矩阵相乘盘算次数：

\[A_{m \times n} \cdot X_{n \times 1} \]

\[上式的矩阵相乘盘算次数为：m\times n 次\]

采用SVD加速后的矩阵相乘盘算次数：

\[A_{m \times n} \cdot X_{n \times 1} \]

\[=U_{m \times r} \cdot \Sigma_{r \times r} \cdot V^H_{r\times n} \cdot X_{n \times 1}\]

\[\tag{8}=(U \cdot \Sigma)_{m \times r} \cdot V^H_{r\times n} \cdot X_{n \times 1}\]

\[\tag{9}=(U \cdot \Sigma)_{m \times r} \cdot (V^H \cdot X)_{r \times 1}\]

\[\tag{10}=[(U \cdot \Sigma) \cdot (V^H \cdot X)]_{m \times 1}\]
由上可得：

\[(8)式中，U \cdot \Sigma产生r次乘法盘算\]

\[(9)式中，V^H \cdot X产生r\cdot n次乘法盘算\]

\[(10)式中，(U \cdot \Sigma) \cdot (V^H \cdot X)产生r\cdot m次乘法盘算\]
则产生的总乘法次数为：

\[r\cdot (m+n+1) 次\]

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)