【高级机器学习】6. 稀疏编码与正则化

一、为什么需要“稀疏”（Why sparse?）

许多信号在某个变换域中呈现稀疏性：只有极少数系数不为零（或显著非零），其余系数接近于零。
典型动机与示例：

• 三个正弦波在时域看似复杂、叠加起伏；在频域只在对应频率处出现少量冲击——系数极少，表示稀疏。
• 对于不同信号 $y_1,y_2$，在时域呈复杂波形，但在恰当变换（如傅里叶、小波等）后，其频域/系数域多为脉冲式稀疏。
• 在过完备基（如“时间+频率”联合）下，信号通常能用更少的原子（基向量）组合起来。
• 自然数据的例子：乐器音谱、语音声谱图；自然图像在曲波/小波等域中也呈极强的稀疏性（大量系数接近 0，少量系数集中在边缘/纹理等结构处）。

---

二、字典学习的统一形式（Dictionary Learning）

设数据矩阵 $X\in {\mathbb{R}}^{d\times n}$。字典学习试图用字典 $D\in {\mathbb{R}}^{d\times k}$ 与系数/表示 $R\in {\mathbb{R}}^{k\times n}$ 近似分解：
$$\underset{D\in \mathcal{D},,R\in \mathcal{R}}{\min }|X-DR{|}_F^2.$$
$\mathcal{D},\mathcal{R}$ 表示对字典与系数的可行域/约束（稍后分别给出不同任务下的具体约束）。

---

三、稀疏编码（Sparse Coding）模型

在过完备字典（$k>d$）下，希望每个样本的系数向量尽可能稀疏：
$$\underset{D\in \mathcal{D},,R\in \mathcal{R}}{\min }|X-DR{|}_F^2,\text{s.t. 每列 }{r}_i\text{ 稀疏。}$$

直观图示：$D$ 列数多（过完备），$R$ 的大部分条目为 0，仅少数非零块支撑重构。

---

四、${\ell }_p$ 范数与稀疏

向量 $\alpha \in {\mathbb{R}}^k$ 的 ${\ell }_p$ 范数：
$$||\alpha |{|}_p=(\sum _{j=1}^k|{\alpha }_j{|}^p{)}^{1/p}.$$

五、K-means 作为字典学习的特例

K-means 可写成：
$$\underset{D\in \mathcal{D},,R\in \mathcal{R}}{\min }|X-DR{|}_F^2,$$
其中约束为：$R$ 的每一列是one-hot 向量（$|R_i{|}_0=1$ 且 $|R_i{|}_1=1$）。
这对应“每个样本只选一个簇中心”——极端稀疏（1-sparse）。

---

六、K-SVD

在一般稀疏编码中，要求每列 $R_i$ 的非零个数受限：
$$\underset{D,R}{\min }|X-DR{|}_F^2,|R_i{|}_0\le k^{\prime },k^{\prime }\ll k.$$
K-SVD 交替更新：先用稀疏编码（如 OMP）求 $R$，再用 SVD 逐列更新字典原子。

---

七、稀疏编码的实际应用

• 图像压缩：在相同比特预算（如 820 bytes/图）下，K-SVD 等稀疏表示可较 PCA/JPEG/JPEG2000 获得更低失真（示例对比图）。
• 图像修补（Inpainting）：在 70%/90% 丢样的情况下，K-SVD/DCT/Haar 进行稀疏重建，RMSE 对比显示 K-SVD 具有竞争力。
• 文本去除修补：对覆盖文字的区域以稀疏先验重建背景纹理，达到去字效果。

---

八、如何度量并诱导稀疏：目标函数

在字典学习统一目标上加入稀疏正则：
$$\underset{D,R}{\min }|X-DR{|}_F^2+\lambda ,\psi (R),$$
其中 $\psi (R)$ 用于控制每列表示的稀疏性。问题：$\psi (\cdot )$ 如何设计？

---

九、${\ell }_0$ 稀疏度与其难点

用 ${\ell }_0$ 直接计数是理想但难优化：非凸、NP-hard。

二维几何直观：如果约束 $|\alpha {|}_1\le \mu$（左图为菱形）与 ${\ell }_2$ 球（右图为圆），与同心误差球相切的点在 ${\ell }_1$ 情形更易落在坐标轴上（促稀疏）。

---

十、${\ell }_1$ 替代与常见形式（LASSO 型）

两种标准化写法：
$$\underset{\alpha }{\min }|\alpha {|}_1\text{s.t.}|X-D\alpha |\ast F^2\le ϵ,$$
或
$$\min \ast \alpha |X-D\alpha {|}_F^2+\lambda |\alpha {|}_1.$$
${\ell }_1$ 是凸的、计算上可解，且在很多条件下能近似恢复 ${\ell }_0$ 稀疏解。

L1不是处处可导的，但是可以减少维度。

---

十一、基于 ${\ell }_0$ 的贪心算法

目标的两种 ${\ell }_0$ 约束/约束化写法：
$$\underset{\alpha }{\min }|X-D\alpha {|}_F^2\text{s.t.}\forall i,|\alpha |\ast 0<L,$$
或
$$\min \ast \alpha |\alpha {|}_0\text{s.t.}|X-D\alpha {|}_F^2\le ϵ.$$
常见贪心方法：OMP（Orthogonal Matching Pursuit）、SP、CoSaMP、IHT 等。

---

十二、${\ell }_1$ 方法与贝叶斯方法

${\ell }_1$ 系列同样对应两种形式（约束式/正则式），见上文。
贝叶斯稀疏：

• RVM（Relevance Vector Machine）
• BCS（Bayesian Compressed Sensing）
  通过稀疏先验（如稀疏促性的层级高斯/拉普拉斯等）自动实现模型选择与稀疏化。

---

十三、正则化与算法稳定性（Regularisation & Stability）

No-Free-Lunch 提示：朴素稀疏算法可能不稳定。

如果训练数据的轻微扰动导致算法输出的微小变化，那么学习算法就是稳定的，并且这些变化随着数据集越来越大而消失

算法稳定性（uniform stability）定义：给训练集
$$S=(X_1,Y_1),\dots ,(X_n,Y_n),S^i=(X_1,Y_1),\dots ,(X_i^{\prime },Y_i^{\prime }),\dots ,(X_n,Y_n),$$
二者仅在第 $i$ 个样本上不同。若对任意样本 $(X,Y)$ 都有
$$|\ell (X,Y,h_S)-\ell (X,Y,h\ast S^i)|\le ϵ(n),$$
且 $ϵ(n)\to 0$ 随 $n\to \infty$，则学习算法稳定。

---

13.1 泛化误差的分解（关键不等式链）

对经验风险最小化器 $h_S$ 与最优 $h^{\ast }$，有
$$R(h_S)-\underset{h\in H}{\min }R(h)=R(h_S)-R(h^{\ast })\le 2\underset{h\in H}{\sup },|R(h)-R_S(h)|.$$
这表明：泛化误差由“真实风险与经验风险的最大偏差”控制。

---

13.2 期望形式与稳定性

考虑期望差：
$$\mathbb{E}[R(h_S)-R_S(h_S)]\le {ϵ}^{\prime }(n),$$
当算法对单个样本扰动“不敏感”时，上式右端随数据量增大趋小，意味着稳定 $\Rightarrow$ 好的期望泛化。

---

13.3 ${\ell }_2$ 正则化与稳定性

L2范数正则化将使学习算法稳定，如果所使用的代理损失函数是凸的

若使用凸替代损失 $\ell$ 且对 $h$ 是 $L$-Lipschitz，输入有界 $|X{|}_2\le B$。考虑
$$h_S=\arg \underset{h\in H}{\min }\frac{1}{n}\sum _{i=1}^n\ell (X_i,Y_i,h)+\lambda |h{|}_2^2.$$
则可得稳定性界：
$$|\ell (X,Y,h_S)-\ell (X,Y,h_{S^i})|\le \frac{2L^2{B}^2}{\lambda n}.$$

---

13.4 证明要点（可选）

1. L-Lipschitz：
   若对任意 $h,h^{\prime }$ 有
   $$|\ell (X,Y,h)-\ell (X,Y,h^{\prime })|\le L,|h(X)-h^{\prime }(X)|,$$
   则 $\ell$ 关于 $h$ 为 L-Lipschitz。

2. $\mu$-强凸（Strongly Convex）：
   若
   $$f(y)\ge f(x)+⟨\nabla f(x),y-x⟩+\frac{\mu }{2}|x-y{|}^2,$$
   等价于 $\mu I⪯{\nabla }^{2}f(x)$。

3. 两步关键不等式链（只给结论与核心步骤）：

   由目标的强凸性与最优性，得到
   $$\lambda |h_{S^i}-h_S{|}^2\le R_{S^i,\lambda }(h_S)-R_{S,\lambda }(h_S)+R_{S,\lambda }(h_{S^i})-R_{S^i,\lambda }(h_{S^i}),$$
   进一步界为
   $$|h_{S^i}-h_S|\le \frac{2LB}{\lambda n}.$$
   然后由 Lipschitz 条件推出
   $$|\ell (X,Y,h_S)-\ell (X,Y,h_{S^i})|\le L,|h_S-h_{S^i}|,|X|\le \frac{2L^2{B}^2}{\lambda n}.$$

   其中一步使用 Cauchy-Schwarz：$⟨a,b⟩\le |a|,|b|$。

---

结语式小结（按内容顺序回顾）

1. 稀疏性的动机与大量实证示例 →
2. 字典学习统一目标 $\min |X-DR{|}_F^2$ →
3. 稀疏编码（过完备 + 稀疏系数） →
4. ${\ell }_p$、${\ell }_0$ 与 ${\ell }_1$ 的稀疏诱导 →
5. K-means = one-hot 稀疏、K-SVD 的字典更新 →
6. 压缩/修补/去字等应用 →
7. 稀疏正则统一目标 $|X-DR{|}_F^2+\lambda \psi (R)$ →
8. 贪心（OMP/SP/CoSaMP/IHT）、${\ell }_1$ 与贝叶斯方法 →
9. 正则化—稳定性—泛化：${\ell }_2$ 正则 + 凸替代损失给出 $\frac{2L^2{B}^2}{\lambda n}$ 的稳定性界。