数学-绝对值（三）

当你迷茫的时候，请点击 目录大纲 快速查看前面的技术文章，相信你总能找到前行的方向

前言

前面 我们讨论了·|x-1|+|x-2|+|x-3|+...|x-n| 的几何意义, 通过建学校的现实问题去理解, 并且求得了最小值及最小值所在的位置

其实, |x-1|+|x-2|+|x-3|+…|x-n| 这个式子在数学上是有专业名称的, 叫作 L1 范数, 简写成

$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n|x_i|$$

那有 L1, 是否也有 L2,L3,...,Lp 范数 呢? 当然有啦, 数学就是用来满足你任何想象的

Lp 范数

定义

Lp 范数是向量空间中的一种范数，用于衡量向量的大小。对于一个 n 维向量

$$\mathbf{x}=(x_1,x_2,\dots ,x_n)$$

其 Lp 范数定义为：

$$\Vert \mathbf{x}{\Vert }_p={\left(\sum _{i=1}^n|x_i{|}^p\right)}^{1/p}$$

其中，p 是一个正实数，且 p ≥ 1

常见 Lp 范数

L1 范数（曼哈顿范数）

$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n|x_i|$$

表示向量各元素绝对值之和。

L2 范数（欧几里得范数）

$$\Vert \mathbf{x}{\Vert }_2={\left(\sum _{i=1}^n|x_i{|}^2\right)}^{1/2}$$

表示向量的欧几里得长度, 因为 L1 范数有绝对值, 去掉绝对值时还要考虑式子的正负号, 很麻烦, 用平方可以很方便去掉绝对值，L2范数在深度学习中求损失函数很常见

当 x 有 2 个值时, 那就相当于求勾股定理中的斜边长

$$\Vert \mathbf{x}{\Vert }_2=\sqrt{x_1^2+x_2^2}$$

当 x 有 3 个值时, 那就相当于长方体最长的对角边长

$$\Vert \mathbf{x}{\Vert }_2=\sqrt{x_1^2+x_2^2+x_3^2}$$

L∞ 范数（切比雪夫范数）

$$\Vert \mathbf{x}{\Vert }_{\infty }=\underset{1\le i\le n}{\max }|x_i|$$

表示向量元素中的最大绝对值。

性质

非负性

$$\Vert \mathbf{x}{\Vert }_p\ge 0$$

当且仅当

$$\mathbf{x}=0$$

$$\Vert \mathbf{x}{\Vert }_p=0$$

齐次性

k 为标量, 有

$$\Vert k\mathbf{x}{\Vert }_p=|k|\cdot \Vert \mathbf{x}{\Vert }_p$$

####三角不等式
$$\Vert \mathbf{x}+\mathbf{y}{\Vert }_p\le \Vert \mathbf{x}{\Vert }_p+\Vert \mathbf{y}{\Vert }_p$$

应用场景

L1 范数：

• 稀疏表示：在压缩感知和稀疏编码中，L1 范数用于促进稀疏解。
• 特征选择：在机器学习中，L1 正则化（Lasso 回归）用于选择重要特征。
• 鲁棒性：L1 范数对异常值不敏感，适用于鲁棒性要求高的场景。

L2 范数：

• 最小二乘法：在回归分析中，L2 范数用于最小化误差平方和。
• 正则化：在机器学习中，L2 正则化（Ridge 回归）用于防止过拟合。
• 几何距离：在几何和物理中，L2 范数用于计算欧几里得距离。

L∞ 范数：

• 最大误差：在优化和控制理论中，L∞ 范数用于限制最大误差。
• 图像处理：在图像压缩和滤波中，L∞ 范数用于控制最大像素误差。

总结

Lp 范数在数学、工程和计算机科学中有广泛应用，不同范数适用于不同场景。L1 范数适合稀疏性和鲁棒性要求高的场景，L2 范数适合误差平方和最小化的场景，L∞ 范数适合限制最大误差的场景。理解这些范数的性质和应用场景，有助于在实际问题中选择合适的范数进行建模和优化。