当前位置：首页 > news >正文

Day21 奇异值分解（SVD）全面解析

news 来源：原创 2025/5/11 7:56:23

一、奇异值分解概述

奇异值分解是线性代数中一个重要的矩阵分解方法，对于任何矩阵，无论是结构化数据转化成的“样本 * 特征”矩阵，还是天然以矩阵形式存在的图像数据，都能进行等价的奇异值分解（SVD）。

二、不必纠结的部分

1. 线性代数概念回顾

奇异值分解涉及诸多线性代数概念，不过对于很多实际应用场景，不深入掌握这些概念也不妨碍我们使用奇异值分解来解决问题。

2. 奇异值推导

奇异值的推导过程较为复杂，涉及大量的数学公式和证明。在实际应用中，我们更关注其应用而非推导过程，所以这部分也可不掌握。

三、奇异值的强大应用

1. 特征降维

减小计算量：在结构化数据里，原本有 $m$ 个特征，通过奇异值分解，我们能选取保留前 $K$ 个奇异值及其对应的奇异向量，将数据降维成 $k$ 个新特征。新特征是原始特征的线性组合，捕捉了数据的主要方差信息。降维后的数据规模变小，用于机器学习模型（如分类、回归）时，能显著提高计算效率。
可视化：高维数据难以直接可视化，通过奇异值分解降维到二维或三维，就能在平面或空间中直观展示数据分布，帮助我们更好地理解数据特征。

import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris# 加载鸢尾花数据集
data = load_iris()
X = data.data# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)# 进行奇异值分解
U, S, VT = np.linalg.svd(X_scaled)# 选择前 2 个奇异值进行降维
K = 2
X_reduced = np.dot(U[:, :K], np.diag(S[:K]))print("原始数据形状:", X_scaled.shape)
print("降维后数据形状:", X_reduced.shape)

在这里插入图片描述

2. 数据重构

重构信号：在信号处理领域，奇异值分解可以对信号矩阵进行分解。通过保留主要的奇异值和奇异向量重构信号，去除噪声干扰，恢复信号的主要特征。
重构图像：对于图像数据，利用奇异值分解选取部分奇异值和奇异向量重构图像。既能在一定程度上压缩图像数据，又能保持图像的主要视觉特征，实现图像的有损压缩。

import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris# 加载鸢尾花数据集
data = load_iris()
X = data.data# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)# 进行奇异值分解
U, S, VT = np.linalg.svd(X_scaled)# 选择前 2 个奇异值进行重构
K = 2
S_k = np.zeros((X_scaled.shape[0], X_scaled.shape[1]))
S_k[:K, :K] = np.diag(S[:K])
X_reconstructed = np.dot(np.dot(U, S_k), VT)# 计算 Frobenius 范数相对误差
error = np.linalg.norm(X_scaled - X_reconstructed) / np.linalg.norm(X_scaled)
print("Frobenius 范数相对误差:", error)