【分析学】Hilbert 空间的分离性

Riesz 表示定理

• Riesz 表示定理：希尔伯特空间 $H$ 上任意连续线性泛函 $f$ 可表示为 $f(x)=⟨x,y⟩$（$y\in H$）
  线性泛函： $f(\alpha x+\beta y)=\alpha f(x)+\beta f(y),x,y\in H,\alpha ,\beta \in \mathbb{K}$.

证明：
步骤 1：若 $f=0$，取 $y=0$。 显然成立。
步骤 2：假设 $f\ne 0$，构造 $y$。 由于 $f$ 是连续线性泛函，其核空间 ker⁡(f)={x∈H∣f(x)=0}\ker(f) = \{ x \in H \mid f(x) = 0 \}ker(f)={x∈H∣f(x)=0} 是 $H$ 的闭子空间（因为 $f$ 连续）。 由于 $f\ne 0$，存在 $z\in H$ 使得 $f(z)\ne 0$。我们可以分解 $H$ 为：
$$H=\ker (f)\oplus \ker (f{)}^{\perp },$$
其中 $\ker (f{)}^{\perp }$ 是 $\ker (f)$ 的正交补空间。
步骤 3：选取 $y$ 的方向。 由于 $\ker (f{)}^{\perp }$ 是一维的（因为 $\ker (f)$ 的余维数为 1），我们可以选择一个单位向量 $e\in \ker (f{)}^{\perp }$，使得 ker⁡(f)⊥=span{e}\ker(f)^\perp = \text{span}\{e\}ker(f)⊥=span{e}。 定义：
$$y=\overline{f(e)}e,$$
其中 $\overline{f(e)}$ 是 $f(e)$ 的复共轭（若 $H$ 是实空间，则直接取 $y=f(e)e$）。
步骤 4：验证 $f(x)=⟨x,y⟩$。 对任意 $x\in H$，可以唯一分解为：
$$x=x_0+\alpha e,x_0\in \ker (f),\alpha \in \mathbb{C}.$$
计算：
$$f(x)=f(x_0+\alpha e)=f(x_0)+\alpha f(e)=\alpha f(e),$$
因为 $x_0\in \ker (f)$。
另一方面，
$$⟨x,y⟩=⟨x_0+\alpha e,\overline{f(e)}e⟩=\alpha f(e)⟨e,e⟩=\alpha f(e),$$
因为 $x_0\perp e$。
因此，$f(x)=⟨x,y⟩$。

凸集投影定理

投影定理：设 $H$ 是 Hilbert 空间，$C\subseteq H$ 是非空闭凸子集。则对任意 $x\in H$，存在唯一的 $y\in C$ 使得：
$$\Vert x-y\Vert =\underset{z\in C}{\inf }\Vert x-z\Vert .$$
此 $y$ 称为 $x$ 在 $C$ 上的投影，记作 $y=P_C(x)$.

证明
证明分两步：存在性和唯一性。
1. 存在性
设 $d={\inf }_{z\in C}\Vert x-z\Vert$（$d\ge 0$）。由下确界定义，存在序列 {yn}⊆C\{y_n\} \subseteq C{yn​}⊆C 使得：
$$\underset{n\to \infty }{\lim }\Vert x-y_n\Vert =d.$$
需证 {yn}\{y_n\}{yn​} 是 Cauchy 列，从而收敛于某 $y\in C$，且 $\Vert x-y\Vert =d$.
Hilbert 空间的平行四边形法则：
$$\Vert u+v{\Vert }^2+\Vert u-v{\Vert }^2=2(\Vert u{\Vert }^2+\Vert v{\Vert }^2),\forall u,v\in H.$$
取 $u=x-y_m$, $v=x-y_n$，代入得：
$$\Vert (x-y_m)+(x-y_n){\Vert }^2+\Vert (x-y_m)-(x-y_n){\Vert }^2=2(\Vert x-y_m{\Vert }^2+\Vert x-y_n{\Vert }^2),$$
即：
$$\Vert 2x-(y_m+y_n){\Vert }^2+\Vert y_n-y_m{\Vert }^2=2(\Vert x-y_m{\Vert }^2+\Vert x-y_n{\Vert }^2).$$
整理得：
$$\Vert y_n-y_m{\Vert }^2=2(\Vert x-y_m{\Vert }^2+\Vert x-y_n{\Vert }^2)-\Vert 2x-(y_m+y_n){\Vert }^2.(\ast )$$
由于 $C$ 是凸集，$\frac{y_m+y_n}{2}\in C$，故：
$$\Vert x-\frac{y_m+y_n}{2}\Vert \ge d⟹\Vert 2x-(y_m+y_n)\Vert \ge 2d.$$
代入 ((*))：
$$\Vert y_n-y_m{\Vert }^2\le 2(\Vert x-y_m{\Vert }^2+\Vert x-y_n{\Vert }^2)-(2d{)}^2.$$
当 $m,n\to \infty$ 时，$\Vert x-y_m\Vert \to d$, $\Vert x-y_n\Vert \to d$，故：
$$\underset{m,n\to \infty }{\mathrm{limsup}}\Vert y_n-y_m{\Vert }^2\le 2(d^2+d^2)-4d^2=0.$$
因此 {yn}\{y_n\}{yn​} 是 Cauchy 列。因 $H$ 完备，存在 $y\in H$ 使得 $y_n\to y$。又因 $C$ 闭，$y\in C$。由范数连续性：
$$\Vert x-y\Vert =\underset{n\to \infty }{\lim }\Vert x-y_n\Vert =d.$$
故存在性得证。
2. 唯一性
假设存在 $y_1,y_2\in C$ 满足：
$$\Vert x-y_1\Vert =\Vert x-y_2\Vert =d.$$
由平行四边形法则：
$$\Vert (x-y_1)+(x-y_2){\Vert }^2+\Vert (x-y_1)-(x-y_2){\Vert }^2=2(\Vert x-y_1{\Vert }^2+\Vert x-y_2{\Vert }^2),$$
即：
$$\Vert 2x-(y_1+y_2){\Vert }^2+\Vert y_2-y_1{\Vert }^2=2(d^2+d^2)=4d^2.$$
因 $C$ 凸，$\frac{y_1+y_2}{2}\in C$，故：
$$\Vert x-\frac{y_1+y_2}{2}\Vert \ge d⟹\Vert 2x-(y_1+y_2)\Vert \ge 2d.$$
代入上式：
$$(2d{)}^2+\Vert y_2-y_1{\Vert }^2\le 4d^2⟹\Vert y_2-y_1{\Vert }^2\le 0.$$
因此 $\Vert y_2-y_1\Vert =0$，即 $y_1=y_2$。唯一性得证。

Hilbert 空间中凸集分离定理的证明

设 $H$ 是一个 Hilbert 空间（实或复），内积为 $⟨\cdot ,\cdot ⟩$，范数为 $\Vert \cdot \Vert$。

情况 1：

$A$ 是非空开凸集，$B$ 是非空凸集，且 $A\cap B=\varnothing$， 则存在 $s\in H$, $⟨s,x-y⟩<0$, $\forall x\in A$, $\forall y\in B$.

证明：
考虑集合 C=A−B={a−b∣a∈A,b∈B}C = A - B = \{a - b \mid a \in A, b \in B\}C=A−B={a−b∣a∈A,b∈B}。由于 $A$ 和 $B$ 是凸集，$C$ 也是凸集。又因 $A$ 是开集，且平移是连续映射，$C$ 是开集。由 $A\cap B=\varnothing$，有 $0\notin C$。
设 d=inf⁡{∥z∥∣z∈C}d = \inf\{\|z\| \mid z \in C\}d=inf{∥z∥∣z∈C}。由于 $C$ 是开集且 $0\notin C$，有 $d>0$（若 $d=0$，则存在序列 {zn}⊂C\{z_n\} \subset C{zn​}⊂C 使得 $\Vert z_n\Vert \to 0$，即 $z_n\to 0$，但 $C$ 是开集，故 $0$ 应为 $C$ 的内点，矛盾）。令 $K=\overline{C}$（$C$ 的闭包），则 $K$ 是闭凸集（凸集的闭包仍凸）。由于 $0\notin C$ 且 $C$ 是开集，$0$ 不是 $C$ 的极限点（否则存在序列收敛到 $0$，导致 $d=0$），故 $0\notin K$，且 d=inf⁡{∥z∥∣z∈K}>0d = \inf\{\|z\| \mid z \in K\} > 0d=inf{∥z∥∣z∈K}>0.
由 Hilbert 空间的投影定理，存在唯一向量 $p\in K$ 使得 $\Vert p\Vert =d>0$，且 $p$ 是 $0$ 到 $K$ 的最佳逼近点。投影定理蕴含：对任意 $z\in K$，有 $\mathrm{Re}⟨z-p,p⟩\ge 0$（在实 Hilbert 空间中，$⟨z-p,p⟩\ge 0$）。展开得：
$$\mathrm{Re}⟨z,p⟩-\mathrm{Re}⟨p,p⟩\ge 0⟹\mathrm{Re}⟨z,p⟩\ge \Vert p{\Vert }^2=d^2>0.$$
由于 $C\subseteq K$，对任意 $z\in C$，有 $\mathrm{Re}⟨z,p⟩\ge d^2>0$.
定义连续线性泛函 $f:H\to \mathbb{R}$ 为 $f(x)=\mathrm{Re}⟨x,p⟩$（由 Riesz 表示引理，此泛函连续）。对任意 $a\in A,b\in B$，有 $a-b\in C$，故：
$$f(a-b)=\mathrm{Re}⟨a-b,p⟩\ge d^2>0⟹f(a)>f(b).$$
令 $\beta ={\sup }_{b\in B}f(b)$（可能为 $+\infty$，但下证有限）。由 $f(a)>f(b)$ 对所有 $a\in A,b\in B$ 成立，有：
$$\underset{a\in A}{\inf }f(a)\ge \underset{b\in B}{\sup }f(b)+d^2>\underset{b\in B}{\sup }f(b)=\beta .$$
取常数 $c=\beta$。则：

• 对任意 $b\in B$，有 $f(b)\le c$。
• 对任意 $a\in A$，有 $f(a)>c$（因 $f(a)>\beta =c$）。
  由于 $A$ 是开集且 $f$ 连续，$f(A)$ 是开集，故 $f(a)>c$ 对所有 $a\in A$ 成立是合理的。超平面 {x∈H∣f(x)=c}\{x \in H \mid f(x) = c\}{x∈H∣f(x)=c} 分离 $A$ 和 $B$：$A$ 位于严格半空间 {x∣f(x)>c}\{x \mid f(x) > c\}{x∣f(x)>c}，$B$ 位于半空间 {x∣f(x)≤c}\{x \mid f(x) \leq c\}{x∣f(x)≤c}。

情况 2：

$A$ 是紧凸集，$B$ 是闭凸集，且 $A\cap B=\varnothing$,则存在 $s\in H$, $⟨s,x-y⟩<0$, $\forall x\in A$, $\forall y\in B$.

证明：
考虑集合 C=A−B={a−b∣a∈A,b∈B}C = A - B = \{a - b \mid a \in A, b \in B\}C=A−B={a−b∣a∈A,b∈B}。由于 $A$ 和 $B$ 是凸集，$C$ 是凸集。由 $A\cap B=\varnothing$，有 $0\notin C$。设 d=inf⁡{∥a−b∥∣a∈A,b∈B}d = \inf\{\|a - b\| \mid a \in A, b \in B\}d=inf{∥a−b∥∣a∈A,b∈B}。因 $A$ 紧、$B$ 闭且不相交，有 $d>0$（否则存在序列 {an}⊂A,{bn}⊂B\{a_n\} \subset A, \{b_n\} \subset B{an​}⊂A,{bn​}⊂B 使得 $\Vert a_n-b_n\Vert \to 0$；由 $A$ 紧，有子列 $a_{n_k}\to a\in A$，则 $b_{n_k}=a_{n_k}-(a_{n_k}-b_{n_k})\to a$，由 $B$ 闭得 $a\in B$，矛盾）。故 d=inf⁡{∥z∥∣z∈C}>0d = \inf\{\|z\| \mid z \in C\} > 0d=inf{∥z∥∣z∈C}>0.
令 $K=\overline{C}$（$C$ 的闭包），则 $K$ 是闭凸集。若 $0\in K$，则存在序列 {zn}⊂C\{z_n\} \subset C{zn​}⊂C 使得 $z_n\to 0$，即 $a_n-b_n\to 0$（$a_n\in A,b_n\in B$）。由 $A$ 紧，有子列 $a_{n_k}\to a\in A$，则 $b_{n_k}=a_{n_k}-(a_{n_k}-b_{n_k})\to a$，由 $B$ 闭得 $a\in B$，与 $A\cap B=\varnothing$ 矛盾。故 $0\notin K$，且 d=inf⁡{∥z∥∣z∈K}>0d = \inf\{\|z\| \mid z \in K\} > 0d=inf{∥z∥∣z∈K}>0.
由投影定理，存在唯一向量 $p\in K$ 使得 $\Vert p\Vert =d>0$，且对任意 $z\in K$，有 $\mathrm{Re}⟨z-p,p⟩\ge 0$，即：
$$\mathrm{Re}⟨z,p⟩\ge \Vert p{\Vert }^2=d^2>0.$$
由于 $C\subseteq K$，对任意 $z\in C$，有 $\mathrm{Re}⟨z,p⟩\ge d^2>0$.
定义连续线性泛函 $f:H\to \mathbb{R}$ 为 $f(x)=\mathrm{Re}⟨x,p⟩$。对任意 $a\in A,b\in B$，有 $a-b\in C$，故：
$$f(a-b)=\mathrm{Re}⟨a-b,p⟩\ge d^2>0⟹f(a)>f(b).$$
令 $\alpha ={\inf }_{a\in A}f(a)$, $\beta ={\sup }_{b\in B}f(b)$。由 $f(a)>f(b)$ 对所有 $a\in A,b\in B$ 成立，有 $\alpha \ge \beta +d^2\beta$。因 $A$ 紧且 $f$ 连续，$f$ 在 $A$ 上取最小值，即存在 $a_0\in A$ 使得 $f(a_0)=\alpha$。取常数 $c=\beta$。则：

• 对任意 $b\in B$，有 $f(b)\le c$。
• 对任意 $a\in A$，有 $f(a)\ge \alpha \ge \beta +d^2>\beta =c$，故 $f(a)>c$.
  超平面 {x∈H∣f(x)=c}\{x \in H \mid f(x) = c\}{x∈H∣f(x)=c} 分离 $A$ 和 $B$：$A$ 位于严格半空间 {x∣f(x)>c}\{x \mid f(x) > c\}{x∣f(x)>c}，$B$ 位于半空间 {x∣f(x)≤c}\{x \mid f(x) \leq c\}{x∣f(x)≤c}。