神经网络之线性变换

一、什么是线性变换（Linear Transformation）

1️⃣ 定义

设有一个从向量空间到向量空间的映射
$$T:{\mathbb{R}}^n\to {\mathbb{R}}^m$$
当且仅当它满足以下两个条件时，称 (T) 为线性变换：

$$\{\begin{array}{l}T(\mathbf{x}+\mathbf{y})=T(\mathbf{x})+T(\mathbf{y})T(c\mathbf{x})=cT(\mathbf{x})\forall c\in \mathbb{R}\end{array}$$

也就是说：

线性变换保持加法和数乘结构，它不会破坏向量之间的线性关系。

---

2️⃣ 直观理解

线性变换可以看作一种“纯粹的空间拉伸、旋转、翻转或投影”。
它让“原点仍然映射到原点”，所有通过原点的直线仍然映射为直线。
（而平移不是线性变换，因为平移会把原点移开。）

---

3️⃣ 矩阵形式表示

所有线性变换都可以写作矩阵乘法：
$$T(\mathbf{x})=A\mathbf{x}$$
其中 (A) 是一个矩阵。
因此线性变换的所有性质，都可以通过矩阵的性质来分析。

---

二、常见的线性变换类型

线性变换种类很多，常见的有以下几类，每一类都有清晰的几何意义👇

类型	常见形式	几何含义	是否线性
缩放（Scaling）	$(T(x,y)=(kx,ky))$	放大或缩小	✅
旋转（Rotation）	$(R(\theta )\mathbf{x})$	保持长度与角度	✅
反射（Reflection）	$(\mathbf{x}-2(\mathbf{n}\cdot \mathbf{x})\mathbf{n})$	关于直线/平面翻转	✅
投影（Projection）	$((\mathbf{u}\cdot \mathbf{x})\mathbf{u})$	投影到某方向或平面上	✅
错切（Shear）	$(T(x,y)=(x+ky,y))$	平行方向滑动	✅
零变换（Zero Map）	$(T(\mathbf{x})=0)$	所有向量变为零	✅
单位变换（Identity）	$(T(\mathbf{x})=\mathbf{x})$	不改变任何向量	✅
平移（Translation）	$(T(\mathbf{x})=\mathbf{x}+\mathbf{b})$	整体移动	❌（非线性）

---

三、各类型的线性本质与几何理解

---

（1）缩放变换（Scaling）

$$T(x,y)=(kx,ky)$$
矩阵形式：
$$A=\left[\begin{array}{ccc}k& 00& k\end{array}\right]$$

验证线性：
$$T(\mathbf{x}+\mathbf{y})=k(\mathbf{x}+\mathbf{y})=k\mathbf{x}+k\mathbf{y}=T(\mathbf{x})+T(\mathbf{y})$$
$$T(c\mathbf{x})=ck\mathbf{x}=cT(\mathbf{x})$$
✅ 满足线性条件。

几何意义：

• 当 (k>1) → 放大；
• 当 (0<k<1) → 缩小；
• 当 (k<0) → 翻转方向并缩放。

---

（2）旋转变换（Rotation）

二维情况下：
$$R(\theta )=\left[\begin{array}{ccc}\cos \theta & -\sin \theta \sin \theta & \cos \theta \end{array}\right]$$
$$T(\mathbf{x})=R(\theta )\mathbf{x}$$

验证线性：
$$R(\theta )(\mathbf{x}+\mathbf{y})=R(\theta )\mathbf{x}+R(\theta )\mathbf{y},R(\theta )(c\mathbf{x})=cR(\theta )\mathbf{x}$$
✅ 满足线性定义。

几何意义：
旋转保持长度与角度，只改变方向，是正交线性变换的一种。
$$R^{T}R=I,\det R=+1$$

---

（3）反射变换（Reflection）

关于某个单位法向量 $(\mathbf{n})$ 的反射：
$$T(\mathbf{x})=\mathbf{x}-2(\mathbf{n}\cdot \mathbf{x})\mathbf{n}$$

验证线性：
$$T(\mathbf{x}+\mathbf{y})=T(\mathbf{x})+T(\mathbf{y}),T(c\mathbf{x})=cT(\mathbf{x})$$
✅ 满足线性。

几何意义：

• 反射会翻转向量在法向量方向上的分量；
• 保持平面内分量不变；
• 改变方向$(\det R=-1)）$。

例如关于 x 轴反射：
$$T(x,y)=(x,-y),A=\left[\begin{array}{ccc}1& 00& -1\end{array}\right]$$

---

（4）投影变换（Projection）

将向量投影到方向 $(\mathbf{u})$（单位向量）上：
$$T(\mathbf{x})=(\mathbf{u}\cdot \mathbf{x})\mathbf{u}$$

验证线性：
$$T(\mathbf{x}+\mathbf{y})=(\mathbf{u}\cdot (\mathbf{x}+\mathbf{y}))\mathbf{u}=T(\mathbf{x})+T(\mathbf{y})$$
$$T(c\mathbf{x})=c(\mathbf{u}\cdot \mathbf{x})\mathbf{u}=cT(\mathbf{x})$$
✅ 满足线性。

几何意义：

• 把向量“垂直压”到某一方向或平面；
• 长度减小（除非在方向上）。

---

（5）错切变换（Shear）

$$T(x,y)=(x+ky,y),A=\left[\begin{array}{ccc}1& k0& 1\end{array}\right]$$

验证线性：
$$T(\mathbf{x}+\mathbf{y})=T(\mathbf{x})+T(\mathbf{y}),T(c\mathbf{x})=cT(\mathbf{x})$$
✅ 满足线性。

几何意义：

• 将空间“斜着推开”，形状改变但平行性保持；
• 各向量的比例关系依旧保持。

---

（6）平移变换（Translation）【⚠️非线性】

$$T(\mathbf{x})=\mathbf{x}+\mathbf{b}$$
验证：
$$T(c\mathbf{x})=c\mathbf{x}+\mathbf{b}\ne cT(\mathbf{x})=c(\mathbf{x}+\mathbf{b})$$
❌ 不满足线性定义。

几何意义：

• 平移改变了原点位置；
• 因此破坏了“原点到原点”的线性结构。

---

四、总结对比表

类型	线性	几何效果	矩阵形式	特征
缩放	✅	放大/缩小	$diag(k,k)$	改变长度，保持方向
旋转	✅	绕原点旋转	正交矩阵，det=+1	保长度与角度
反射	✅	镜像翻转	正交矩阵，det=-1	保长度但翻方向
投影	✅	压到某方向	$(\mathbf{u}{\mathbf{u}}^T)$	缩短长度
错切	✅	平行推移	上三角矩阵	改变形状
平移	❌	整体移动	含常数项	原点被移走

---

五、总结

• 线性变换的核心本质： 保持加法与数乘；
• 所有线性变换都可由矩阵乘法表示： $(T(\mathbf{x})=A\mathbf{x})$；
• 不同类型的线性变换只是矩阵形式不同，对空间的作用方式不同；
• **非线性变换（如平移）**破坏原点关系，因此不线性。